JP2004357239A - 映像システムの映像表示方法及び画像処理装置 - Google Patents

映像システムの映像表示方法及び画像処理装置 Download PDF

Info

Publication number
JP2004357239A
JP2004357239A JP2003155650A JP2003155650A JP2004357239A JP 2004357239 A JP2004357239 A JP 2004357239A JP 2003155650 A JP2003155650 A JP 2003155650A JP 2003155650 A JP2003155650 A JP 2003155650A JP 2004357239 A JP2004357239 A JP 2004357239A
Authority
JP
Japan
Prior art keywords
information
image
video
area
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003155650A
Other languages
English (en)
Other versions
JP2004357239A5 (ja
JP4250458B2 (ja
Inventor
Koji Takahashi
宏爾 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003155650A priority Critical patent/JP4250458B2/ja
Priority to US10/852,162 priority patent/US7391473B2/en
Priority to CNB2004100455056A priority patent/CN1291591C/zh
Publication of JP2004357239A publication Critical patent/JP2004357239A/ja
Publication of JP2004357239A5 publication Critical patent/JP2004357239A5/ja
Application granted granted Critical
Publication of JP4250458B2 publication Critical patent/JP4250458B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザーが面倒な操作を行うことなく、所望の部分画像を拡大処理して小画面の表示装置に表示させる。
【解決手段】受信部１０２、ディスク再生部１０４、メモリデータ読取部１０６から映像情報と小画面モニター１１７に表示させる部分映像に関する副情報とを入力し、注目領域データ抽出部１１１及び注目領域設定部１１２でその副情報に基づいて部分映像を抽出及び設定し、部分拡大処理部１１５がその部分映像を拡大処理して小画面モニター１１７に表示させる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された映像情報を表示する技術に関するものである。
【０００２】
【従来の技術】
液晶ディスプレイ技術の進展に伴い、画面サイズが２インチから４インチ程度の携帯用の液晶テレビが製品化され、その小型画面の液晶テレビで通常のテレビ放送を受像する視聴者が増加している。また、近い将来には地上波デジタル放送の開始が予定されているが、放送されたデジタル画像或いはインターネットからのデジタル画像を表示可能な携帯型装置（例えば、特許文献１参照）なども考えられている。
【０００３】
一方、通常のテレビ放送では、画面サイズが１４インチから３０インチ程度の受像機を想定し、各種番組の制作が行われていると思われる。
【０００４】
また、近年の傾向として、上述の通常放送に加え、デジタル放送技術の導入に合わせてＨＤ−ＴＶという高精彩テレビ放送も開始され、地上波デジタル放送の開始と共に、これらの高精彩番組が増加するという予想もされている。
【０００５】
このＨＤ−ＴＶは、表示条件として、３０〜５０インチ程度或いはそれ以上の画面サイズを視野に入れて番組制作を行っていると考えられる。
【０００６】
加えて、携帯電話、デジタルカメラ、カムコーダー、カーナビゲーションシステム、ノート型携帯パソコン（ＰＣ）等のモバイル機器の動画対応が急速に進展し、１．５インチから５インチ程度の小型画面で動画再生と言う状況が、一般化するのも時間の問題と予想される。
【０００７】
【特許文献１】
特開２００３−１０１８９８号公報
【発明が解決しようとする課題】
しかしながら、上述した通常テレビ放送の番組を２〜３インチ程度の携帯用の液晶テレビ等で視聴すると、出演者の顔や表情の判別が困難になり、カメラ撮影された文字（風景中の看板や新聞の記事見出し等）の判読が困難になる、という問題が生じる。
【０００８】
特に、携帯電話でテレビ放送の番組を視聴する場合や自動車用ナビゲーションシステムのＤＶＤ再生機能を利用して番組再生等を行う場合が今後増加してくると思われ、モバイル機器からの情報取得依存率が高くなって行く状況では、このような視聴の困難さを軽減させなくてはならないと言う課題がある。
【０００９】
更に、情報のデジタル化の進展に伴い、上述したようにＨＤ−ＴＶ等の動画の高精細化が進み、番組制作時の予想表示サイズと、実際の表示サイズの（多様化の一端である）小型画面との落差が開く傾向にある。
【００１０】
尚、これらの不具合を解消する方法の一つとして、視聴時に部分拡大表示機能を備えた機器が製品化されているが、画像毎に拡大率と拡大（中心）位置を手動で設定しなくてはならず、静止画であれば時間を掛ければ対応できても、これが動画になると、上記の２要素を刻々と手動で変更していくのは、一般ユーザーにとっては実質的に不可能な程の困難な操作であると思われる。
【００１１】
本発明は、上記課題を解決するためになされたもので、ユーザーが面倒な操作を行うことなく、所望の部分画像を拡大処理して小画面の表示装置に表示させることを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明は、入力された映像情報を表示する映像システムの映像表示方法であって、映像情報と、小画面の表示装置に表示させる部分映像に関する副情報とを入力する工程と、入力された副情報に基づいて前記部分映像を拡大処理する工程と、拡大処理された部分映像を前記小画面の表示装置に表示させる工程とを有することを特徴とする。
【００１３】
また、上記目的を達成するために、本発明は、入力された画像情報を処理する画像処理装置であって、画像情報と、小画面の表示装置に表示させる部分画像に関する副情報とを入力する入力手段と、入力された副情報に基づいて前記部分画像を拡大処理する処理手段と、拡大処理された部分画像を前記小画面の表示装置に表示させる表示制御手段とを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【００１５】
本実施形態として、例えばテレビ放送やモバイル機器によって記録された音声及び映像情報を入力し、その映像情報に付加されたメタデータで指定される所望の領域を部分拡大処理し、ユーザーが所望の領域を小画面表示器で見易いようにする場合について説明する。また、メタデータで指定される映像情報の重要度に基づいて映像を部分拡大処理する場合について説明する。
【００１６】
図１は、実施形態における映像システムの表示側の構成を示す図である。図１に示すように、本実施形態では、情報の入力ソースとして、以下の三種類を想定している。
（１）放送・通信系
（２）ディスク状記録媒体
（３）半導体メモリカード
また、上述した入力ソースは、アンテナ１０１、ディスク媒体１０３、メモリカード１０５のシンボルで示している。そして、各入力ソースは、（無線）受信部１０２、ディスク再生部１０４、メモリデータ読取部１０６により、デジタルデータストリームとして次段のソース選択部１０７へ供給される。
【００１７】
そして、システム制御部１１８がユーザー操作、或いはディスク媒体１０３、メモリカード１０５の装填状況を検出し、選択制御信号を生成してソース選択部１０７の選択動作を制御する。このシステム制御部１１８は、少なくとも全体を制御するＣＰＵと、そのＣＰＵのプログラムや制御データを格納するＲＯＭと、ＣＰＵが処理を実行時に使用する作業領域や各種テーブル等が定義されたＲＡＭとから構成されている。
【００１８】
次に、システム制御部１１８からの選択制御信号によりソース選択部１０７で選択されたデータ（ビット）ストリームは、次段のデータ分離部１０８へと供給される。このデータ分離部１０８は、データ（ビット）ストリームを主たる映像データ、音声データ、そしてメタデータに分離し、映像データはデータブロック抽出部１１３へ出力し、音声データはスピーカー等の音声再生装置１０９へ出力し、メタデータはメタデータ解析部１１０へ出力する。
【００１９】
ここで、メタデータ解析部１１０は多くのメタデータの中から所望の副情報を抽出ために、部分拡大するための参考情報がどのような形式で付加されているのかを確認する。大別すると、重要度に関する情報を送り、再生側で部分拡大領域の設定を行うタイプ（Ｔｙｐｅ−Ａ）と、直接的に部分拡大領域を指定する情報を送るタイプ（Ｔｙｐｅ−Ｂ）とに分けられる。この中でも、領域指定が長方形、円形、多角形の違いにより、定義の方式を変えることで効率化が図れる。このように、情報のタイプや定義方法の違いを判別し、後述する注目領域データ抽出部１１１及び注目領域設定部１１２が部分拡大領域を抽出及び設定する。
【００２０】
尚、上述のメタデータに含まれる副情報は、映像情報を撮像する側が自動的に又は手動で生成するものである。
【００２１】
次に、上述したタイプ（Ｔｙｐｅ−Ｂ）で指定された参考情報から副情報（部分拡大領域）を抽出する注目領域データ抽出部１１１の動作について、領域抽出方法の具体例を図２〜図５を用いて以下順に説明する。
【００２２】
図２は、領域直接指定における長方形の例を説明するための図である。図２に示す例は、参考情報が領域直接指定の長方形の場合であり、図２に示すような左上と右下の２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）によってｘ−ｙ座標指定された長方形として部分拡大領域を抽出する。
【００２３】
図３は、領域直接指定における円形の例を説明するための図である。図３に示す例は、参考情報が領域直接指定の円形の場合であり、図３に示すような中心点（ｘ１，ｙ１）と半径ｒとによって定義された円形として部分拡大領域を抽出する。
【００２４】
図４は、領域直接指定における多角形の例を説明するための図である。図４に示す例は、参考情報が領域直接指定の多角形の場合であり、図４に示すような多角形の全頂点によって座標指定された多角形として部分拡大領域を抽出する。
【００２５】
図５は、領域直接指定における多角形の例を説明するための図である。図５に示す例は、参考情報が領域直接指定の多角形の場合であり、この場合は、図５に示すような多角形の一つの頂点を起点として隣接する頂点を角度と距離によって順次定義し、全頂点を一巡する多角形として部分拡大領域を抽出する。具体的には、角度はｙ軸からの傾きθで表示し、長さは基準画面の対角線長を１００％とした時の割合を％で表示したものである。もちろん、ｘ−ｙ座標のスカラー値や画素数換算の距離等、他の形式で長さを規定してもかまわない。重要度の高い点或いは狭い領域の中心を座標で指定したものを（複数）指定する。そして、この情報を用いて表示側で適宜、部分拡大領域を設定する。
【００２６】
次に、上述したタイプ（Ｔｙｐｅ−Ａ）で指定された参考情報から副情報（部分拡大領域）を設定する注目領域設定部１１２の動作について、領域設定方法の具体例を図６〜図１０を用いて以下順に説明する。
【００２７】
図６は、重要点指定における部分拡大領域の設定を説明するための図である。図６に示す例では、重要度の高い順にＰ１（ｘ１，ｙ１）〜Ｐ５（ｘ５，ｙ５）までの５点をｘ−ｙ座標指定したものである。そして、複数の座標指定情報が副情報として、主たる情報の映像情報と共にメタデータの中に埋め込まれ、記録・伝送される。
【００２８】
これらの情報を受け取り、再生・表示側の要求に応じて部分拡大領域の演算・設定を行う。表示方法としては、表示したい重要度のレベルを指定し、この条件を満たす点Ｐ全てを含む最小領域を決定する。
【００２９】
図７は、上位三番目までの重要度を表示する場合の例を示す図である。図８は、上位５番目までの重要度を表示する場合の例を示す図である。但し、図７及び図８に示す表示例は、最小領域を示しているが、各点の周囲に欲しい情報が存在するはずなので、指定座標だけを含むようにすると、所望の領域が欠ける可能性が高いので、各点の周囲も含むように、最小領域よりも若干広めに設定する方が良い結果が得られる。
【００３０】
図９は、重要度の高い順にＰ１（ｘ１，ｙ１）からＰ３（ｘ３，ｙ３）までの３点を、ＨＤ−ＴＶ規格の画面内にｘ−ｙ座標指定した図である。この複数の座標指定情報が副情報として、主情報のＨＤ映像情報と共に、メタデータの中に埋め込まれ、記録・伝送される。
【００３１】
これらの情報を受け取り、再生・表示側の要求に応じて、部分拡大領域の演算・設定を行う。表示方法としては、ＨＤ−ＴＶ画面中にＱＶＧＡという元画像の１／１６程度の面積の領域を設定するが、上述した方法のように、３点全てを同時に表示するのではなく、まずは第一の重要点Ｐ１を中心としたＱＶＧＡ領域を部分拡大領域として設定する。ここで、もしもユーザーの希望により別の領域を表示したい場合には、選択操作（例えばＮＥＸＴボタンを押す）毎に、重要度の高い順に、Ｐ１→Ｐ２→Ｐ３と言う具合に、優先順位を付けて、表示領域を切り替えて行く。これらを図示したものが、図１０に示す（Ａ）、（Ｂ）、（Ｃ）である。
【００３２】
ここで、改めて各ソースから入力された全体のデータ（ビット）ストリームと、ＡＶ（音声及び映像）データ及びメタデータとの関係を詳細に説明する。
【００３３】
図１１は、直接的に部分拡大領域を指定した場合の全撮像領域と部分拡大領域の関係を時間軸に添って示す図である。表示時には、対象の動画像の全フレームにおいて部分拡大領域の設定がなされていなければならない。
【００３４】
図１１では、各フレーム毎に部分拡大領域が変化している様子を例示しているが、任意にキーフレームを指定することにより、固定しても構わない。例えば、ニュース番組でアナウンサーの背景に表示されている取材映像の領域を部分拡大領域として固定で指定しておくような利用も可能である。
【００３５】
次に、データ（ビット）ストリームの構造について説明する。
【００３６】
図１２は、データ（ビット）ストリームを所定単位（例えばＭＰＥＧのＧＯＰなど）毎に分割した場合の構成を示す図である。図１２において、１２０１はヘッダーであり、各種ＩＤやパラメータを記述したものである。１２０２はメタデータであり、基本的なものとしては、作成年月日、作者、タイトル、サムネイル画像、著作権情報、タイムコードなどである。いわゆる、据置型であると、ＴＶ番組や市販ソフトに対応して、番組情報（放送局、放送年月日、登場人物等）が、カムコーダー等であれば、カメラ系情報（Ｚｏｏｍ、Ｆｏｃｕｓ、Ｉｒｉｓ、Ｓｈｕｔｔｅｒ、Ｇａｉｎ等）が記録される。そして、１２０３はＡＶデータである。このＡＶデータについては更に後述する。
【００３７】
図１２では、本発明に関わる重要度情報及び部分拡大領域指定情報のみを記載し、上述した情報は不図示としているが、勿論、共に記録する構成を取るように考慮されている。
【００３８】
また、図１２に示す例では、ＧＯＰ（ＭＰＥＧのＩピクチャー単位の画像グループの基本単位で、通常１５フレームで構成される）毎にメタデータを設定しているが、上述した通り、実際の表示処理には、全フレームに対して部分拡大領域が設定されていなければならないので、ＧＯＰ内は同一の領域設定にするよう保持するか、前後のＧＯＰから領域の補間処理を行い、フレーム毎に変化させることも可能である。その際は、図１に示す注目領域設定部１１２にて演算処理する。
【００３９】
次に、図１２に示す例では、表示画像データのタイプを左端の２ビットのＩＤコードで識別する。このＩＤコードとタイプとの関係は以下のように決められている。
【００４０】
００：ＨＤ（高精彩テレビ）規格（９：１６ワイドアスペクト）
０１：ＳＤ−ＷＩＤＥ（標準精細度）の９：１６ワイドアスペクト
１０：ＳＤ（標準精細度）の３：４標準アスペクト
１１：ＱＶＧＡ（ＳＤのおよそ１／４の画面サイズ）
また、拡大領域設定のための副情報は、パラメータのＰ−ＩＤという３ビットの識別コードで表現している。
【００４１】
０００：全画面表示のＦｕｌｌモード、元画像と表示画像のサイズが同一であれば、部分拡大のための変換処理が必要ないので、Ｆｕｌｌモード、２点表示するならば、最左上端と最右下端を指定する
００１：重要点情報のモードなので、Ｐ−１〜Ｐ−６に重要な順に座標点を格納する
０１０：重要領域の円指定なので、中心点と半径を各々Ｐ−１、Ｐ−２に格納する、表示の際には、この円を含む最小の部分拡大領域を表示画面のアスペクト比に応じて設定する
１０１：多角形を角度と距離で設定し、Ｐ−１が起点でＰ−２とＰ−３とを一組にして角度と距離を順次格納する。
【００４２】
次に、図１に示すデータ分離部１０８で分離される音声データ及び映像データについて説明する。
【００４３】
図１３は、ＡＶ（音声と映像）データの一例を示す図である。図１３に示す例は、データ列としてビデオ（Ｖｉｄｅｏ）シーケンス１３０１とオーディオ（Ａｕｄｉｏ）シーケンス１３０２とで構成されている様子を示している。
【００４４】
図１４は、映像データのデータ（ビット）ストリームの詳細を示す図である。図中の上から下に向かって階層的に画像データの構造を示しており、ＭＰＥＧの代表的なものである。図１４に示すように、ビデオシーケンス層の中のＶＩＤＥＯ部分は、ＧＯＰ層で構成され、Ｉ，Ｐ，Ｂの三種類の符号化アルゴリズムで符号化されている。また、通常ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢの１５フレームで１つのＧＯＰが構成されている。
【００４５】
次の下層は、ピクチャ層でＹ（輝度）とＣｒ、Ｃｂ（色）からなり、次の下層は、スライス層という所定単位のデータ（マクロ）ブロックからなり、次の下層は、マクロブロック層であり、４：１：１の場合、Ｙが４ブロック、Ｃｒ、Ｃｂが各１ブロックの単位からなり、最下層は、ブロック層と言い、縦横８画素の計６４画素からなる画素ブロックである。
【００４６】
これらのデータブロック（マクロブロック或いは画素ブロック）の内、必要なものをデータブロック抽出部１１３が抽出し、エンコードされたアルゴリズムに対応したデコード処理をデコーダ１１４が実行することにより、画素情報に展開し、上述した注目領域データ抽出部１１１及び注目領域設定部１１２で抽出及び設定された部分拡大領域に対して部分拡大処理部１１５が展開された画素情報の拡大処理を実行する。
【００４７】
図１５は、複数の放送規格間の表示領域の包含関係を示す図である。図１５に示すように、ＨＤ（領域Ａ）、ＳＤ−ＷＩＤＥ（領域Ｂ）、ＳＤ（領域Ｃ）、Ｑ−ＶＧＡ（領域Ｄ）の順に面積が小さくなる。そして、各部分拡大領域の設定は、上記規格の領域以内で設定することになる。
【００４８】
例えば、ＨＤ規格で制作された映像（領域Ａ）をＳＤ規格（領域Ｃ）対応の表示装置（小画面モニター）で表示しようとした場合、Ｃ領域より狭い範囲で部分拡大領域を設定し、この設定された部分拡大領域情報を部分拡大処理部１１５へ供給し、Ｃ領域相当の面積に拡大処理する部分拡大処理を実行する。即ち、この部分拡大処理を施された情報をＳＤ規格（領域Ｃ）対応の表示装置へ供給し、表示することになる。また、領域Ｃに相当する枠で切り出す場合は、拡大処理を伴わない単なるトリミング処理となる。
【００４９】
以上説明したように、デコーダ１１４からは、標準画像信号が出力され、標準モニター１１６へ供給され、例えばＨＤサイズのソース本来のサイズでの画像表示を行う。一方、部分拡大処理された信号は、小画面モニター１１７へ供給され、小画面に適応した画像が表示される。
【００５０】
尚、各モニターの画面表示をオン・オフさせる判断は、ユーザーの操作或いは記憶媒体の装填状況等に応じて、システム制御部１１８が行い、モニター１１６、１１７へ適宜指示を出すものとする。
【００５１】
以上説明したように、本実施形態によれば、映像情報に付加されたメタデータを利用し、小画面における表示を良好に行うことが可能になり、従来技術の課題を解決するという効果が得られる。
【００５２】
特に、視聴者は視聴中に操作を行うことなく、上述の効果が得られ、自動化も実現可能である。
【００５３】
また、標準モニターと小画面モニターのどちらを使用するかに応じて、自動的に標準信号と部分拡大信号の選択を行うことができ、操作性の向上を図ることができる。
【００５４】
尚、本実施形態では、映像システムが標準モニターと小画面モニターとを備え、所望の部分映像を拡大処理して小画面モニターに表示させる場合について説明したが、本発明はこれに限らず、例えば携帯電話でテレビ放送の番組を視聴する場合や自動車用ナビゲーションシステムのＤＶＤ再生機能を利用して番組再生等を行う場合など、所望の部分映像を小画面の表示器に表示させる場合に適用しても良い。
【００５５】
［他の実施形態］
次に、図面を参照しながら本発明に係る他の実施形態を詳細に説明する。
【００５６】
他の実施形態として、映像情報の属性を利用して、部分的な領域選択を行い、小画面での良好な表示を行う場合を例に説明する。
【００５７】
尚、他の実施形態における映像システムの表示側の構成は図１に示した構成と同様であり、その説明は省略する。ここでは、注目領域設定部１１２が予め指定された映像情報の属性に基づき部分拡大処理する領域を設定するものとする。
【００５８】
図１６は、他の実施形態における部分拡大処理された画面表示を示す図である。図１６に示すように、属性１、属性２が動画像、属性３、属性４が文字と大別される。
【００５９】
更に詳細に区別すると、属性１が取材映像で、最もニュース性の高い映像属性である。属性２はスタジオ映像で、ニュース性では優先度は低くなる。属性３は文字情報で、更新頻度の比較的低い種類の情報であり、ニュース性の点では優先度は低い。属性４は同じく文字情報であり、突発的なニュース性の高い文字属性である。これらの属性を用いて、部分拡大するための領域設定を行う。
【００６０】
尚、これらの属性は、例えばカット毎になどの所定の期間に対して設定すれば良く、各フレーム単位に設定する必要は、必ずしも無い。
【００６１】
映像情報の重要な領域としては、属性１が適当であるので、属性１に該当する動画像領域を切り抜き、出力規格に適合されるように図１に示すブロックの部分拡大処理部１１５で部分拡大処理を施して小画面モニター１１７に表示する。
【００６２】
また、ニュース性の低い動画像及び文字の属性２、３を標準モニター１１６に表示し、ニュース性の高い文字の属性４を小画面モニター１１７に表示するように構成しても良い。
【００６３】
例えば、２画面構成の携帯電話のメイン画面に属性１の動画像を表示し、サブ画面に属性４の文字情報を表示するように制御する構成としても良い。
【００６４】
このように、他の実施形態によれば、映像情報の属性に基づいて表示する領域を分割し、部分拡大処理して表示することができる。
【００６５】
また、映像情報の属性毎に、表示するモニターをメイン（標準）モニター又はサブ（小画面）モニターに分けて表示させることもできる。
【００６６】
尚、本発明は複数の機器（例えば、ホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用しても良い。
【００６７】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【００６９】
このプログラムコードを供給するための記録媒体としては、例えばフロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
更に、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、ユーザーが面倒な操作を行うことなく、所望の部分画像を拡大処理して小画面の表示装置に表示させることができる。
【図面の簡単な説明】
【図１】実施形態における映像システムの表示側の構成を示す図である。
【図２】領域直接指定における長方形の例を説明するための図である。
【図３】領域直接指定における円形の例を説明するための図である。
【図４】領域直接指定における多角形の例を説明するための図である。
【図５】領域直接指定における多角形の例を説明するための図である。
【図６】重要点指定における部分拡大領域の設定を説明するための図である。
【図７】上位三番目までの重要度を表示する場合の例を示す図である。
【図８】上位５番目までの重要度を表示する場合の例を示す図である。
【図９】重要度の高い順にＰ１（ｘ１，ｙ１）からＰ３（ｘ３，ｙ３）までの３点を、ＨＤ−ＴＶ規格の画面内にｘ−ｙ座標指定した図である。
【図１０】優先順位に従って切り替える表示領域の表示画面を示す図である。
【図１１】直接的に部分拡大領域を指定した場合の全撮像領域と部分拡大領域の関係を時間軸に添って示す図である。
【図１２】データ（ビット）ストリームを所定単位（例えばＭＰＥＧのＧＯＰなど）毎に分割した場合の構成を示す図である。
【図１３】ＡＶ（音声と映像）データの一例を示す図である。
【図１４】映像データのデータ（ビット）ストリームの詳細を示す図である。
【図１５】複数の放送規格間の表示領域の包含関係を示す図である。
【図１６】他の実施形態における部分拡大処理された画面表示を示す図である。
【符号の説明】
１０１ アンテナ
１０２ （無線）受信部
１０３ ディスク媒体
１０４ ディスク再生部
１０５ メモリカード
１０６ メモリデータ読取部
１０７ ソース選択部
１０８ データ分離部
１０９ 音声再生装置
１１０ メタデータ解析部
１１１ 注目領域データ抽出部
１１２ 注目領域設定部
１１３ データブロック抽出部
１１４ デコーダ
１１５ 部分拡大処理部
１１６ 標準モニター
１１７ 小画面モニター
１１８ システム制御部

Claims (11)

  1. 入力された映像情報を表示する映像システムの映像表示方法であって、
    映像情報と、小画面の表示装置に表示させる部分映像に関する副情報とを入力する工程と、
    入力された副情報に基づいて前記部分映像を拡大処理する工程と、
    拡大処理された部分映像を前記小画面の表示装置に表示させる工程とを有することを特徴とする映像システムの映像表示方法。
  2. 前記副情報は、前記部分映像を指定する二次元の領域情報であることを特徴とする請求項１に記載の映像システムの映像表示方法。
  3. 前記副情報は、前記部分映像の重要度を示す情報であることを特徴とする請求項１に記載の映像システムの映像表示方法。
  4. 複数の部分映像に対して前記重要度を示す情報が指定されている場合、前記拡大処理する工程は重要度順に各部分映像を拡大処理することを特徴とする請求項３に記載の映像システムの映像表示方法。
  5. 前記副情報は、前記映像情報の属性を示す情報であることを特徴とする請求項１に記載の映像システムの映像表示方法。
  6. 前記映像情報の属性は、少なくとも動画領域、静止画領域、文字領域を識別するものであることを特徴とする請求項５に記載の映像システムの映像表示方法。
  7. 前記映像システムは前記小画面の表示装置と標準の表示装置とを備え、前記映像情報の属性に応じてそれぞれの表示装置に表示させることを特徴とする請求項６に記載の映像システムの映像表示方法。
  8. 前記映像情報を記録する際に、該映像情報に対する副情報を生成して記録する工程を有することを特徴とする請求項１に記載の映像システムの映像表示方法。
  9. 入力された画像情報を処理する画像処理装置であって、
    画像情報と、小画面の表示装置に表示させる部分画像に関する副情報とを入力する入力手段と、
    入力された副情報に基づいて前記部分画像を拡大処理する処理手段と、
    拡大処理された部分画像を前記小画面の表示装置に表示させる表示制御手段とを有することを特徴とする画像処理装置。
  10. コンピュータに請求項１に記載された映像システムの映像表示方法を実行させるためのプログラム。
  11. 請求項１０に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2003155650A 2003-05-30 2003-05-30 映像システムの映像表示方法及び画像処理装置 Expired - Fee Related JP4250458B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003155650A JP4250458B2 (ja) 2003-05-30 2003-05-30 映像システムの映像表示方法及び画像処理装置
US10/852,162 US7391473B2 (en) 2003-05-30 2004-05-25 Video display method of video system and image processing apparatus
CNB2004100455056A CN1291591C (zh) 2003-05-30 2004-05-28 影像系统的影像显示方法和图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003155650A JP4250458B2 (ja) 2003-05-30 2003-05-30 映像システムの映像表示方法及び画像処理装置

Publications (3)

Publication Number Publication Date
JP2004357239A true JP2004357239A (ja) 2004-12-16
JP2004357239A5 JP2004357239A5 (ja) 2006-07-13
JP4250458B2 JP4250458B2 (ja) 2009-04-08

Family

ID=33447898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003155650A Expired - Fee Related JP4250458B2 (ja) 2003-05-30 2003-05-30 映像システムの映像表示方法及び画像処理装置

Country Status (3)

Country Link
US (1) US7391473B2 (ja)
JP (1) JP4250458B2 (ja)
CN (1) CN1291591C (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119819A1 (ja) * 2006-04-14 2007-10-25 Nikon Corporation 画像記録再生装置
JP2008311807A (ja) * 2007-06-13 2008-12-25 Sony Corp 情報処理装置、情報処理方法、プログラム、および記録媒体
JP2009246917A (ja) * 2008-04-01 2009-10-22 Hitachi Ltd 映像表示装置及び映像処理装置
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292975A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc ボタン処理方法及びデータ処理装置
JP4813370B2 (ja) * 2004-12-02 2011-11-09 ソニー株式会社 映像信号処理装置、映像信号処理方法、プログラムおよび記録媒体
CN100338950C (zh) * 2005-06-25 2007-09-19 海信集团有限公司 电视机图像的任意位置区域放大方法
US8174617B2 (en) * 2005-08-05 2012-05-08 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
US20070074265A1 (en) * 2005-09-26 2007-03-29 Bennett James D Video processor operable to produce motion picture expert group (MPEG) standard compliant video stream(s) from video data and metadata
US20070200953A1 (en) * 2006-02-28 2007-08-30 Yu-Ying Liu Method and Device for Displaying the Content of a Region of Interest within a Video Image
US7792355B2 (en) * 2006-03-30 2010-09-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capturing apparatus
US20080007651A1 (en) * 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Sub-frame metadata distribution server
US20080007649A1 (en) * 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Adaptive video processing using sub-frame metadata
JP5347245B2 (ja) * 2007-06-28 2013-11-20 三菱化学株式会社 電子写真感光体、電子写真感光体カートリッジ及び画像形成装置
JP5105171B2 (ja) * 2008-02-08 2012-12-19 ソニー株式会社 表示装置、表示方法、供給装置、供給方法、およびプログラム、並びに制御システム
GB2466051A (en) * 2008-12-10 2010-06-16 Sony Uk Ltd Self-advertising TV
US20120086860A1 (en) * 2009-06-19 2012-04-12 Shenzhen Tcl New Technology Co., Ltd. Television and channel browsing method thereof
CN101616281A (zh) * 2009-06-26 2009-12-30 中兴通讯股份有限公司南京分公司 一种将手机电视播放画面局部放大的方法及移动终端
JP5610799B2 (ja) * 2010-03-15 2014-10-22 キヤノン株式会社 画像形成装置
CN102324097B (zh) * 2011-08-17 2013-12-11 深圳锐取信息技术股份有限公司 一种检测图像变化的方法
KR20140090999A (ko) * 2011-10-14 2014-07-18 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
US9154840B2 (en) * 2012-07-31 2015-10-06 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
US9930253B2 (en) * 2014-04-29 2018-03-27 Nokia Technologies Oy Method and apparatus for extendable field of view rendering
CN110858302B (zh) * 2018-08-24 2024-02-20 英业达科技有限公司 在画面影像中编辑监控脚本的系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2235856B (en) * 1989-09-01 1993-11-17 Quantel Ltd Improvements in or relating to electronic graphic systems
KR960009528B1 (en) * 1991-01-08 1996-07-20 Samsung Electronics Co Ltd 2 signal simultaneous display circuit & method through screen division
US5519485A (en) * 1992-07-31 1996-05-21 Kabushiki Kaisha Topcon Stereo image measuring apparatus
EP0598516A3 (en) * 1992-11-05 1996-07-03 Sony Corp Recording and playback of moving pictures.
JP2914140B2 (ja) * 1993-12-22 1999-06-28 日本電気株式会社 テレビジョン受像装置
JPH08256297A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ２画面テレビ受像機
JPH09326958A (ja) * 1996-06-05 1997-12-16 Sony Corp 画像処理装置および処理方法
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
US6356314B1 (en) * 1997-03-10 2002-03-12 Komatsu Ltd. Image synthesizing device and image conversion device for synthesizing and displaying an NTSC or other interlaced image in any region of a VCA or other non-interlaced image
JP4378782B2 (ja) 1998-09-03 2009-12-09 ソニー株式会社 映像機器
CN1120617C (zh) 1998-12-24 2003-09-03 Tcl王牌电子(深圳)有限公司 电视画面的交互式放大方法
US6774912B1 (en) * 2000-03-16 2004-08-10 Matrox Graphics Inc. Multiple display device display controller with video overlay and full screen video outputs
KR100364739B1 (ko) * 2000-08-21 2002-12-16 엘지전자 주식회사 티브이의 부화면 제어장치 및 방법
DE60122993T2 (de) * 2000-10-19 2007-10-18 Sanyo Electric Co., Ltd., Moriguchi Bilddatenausgabevorrichtung und Empfangsvorrichtung
JP3851129B2 (ja) 2001-09-26 2006-11-29 三洋電機株式会社 携帯型視聴装置
US20040168185A1 (en) * 2003-02-24 2004-08-26 Dawson Thomas Patrick Multimedia network picture-in-picture

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119819A1 (ja) * 2006-04-14 2007-10-25 Nikon Corporation 画像記録再生装置
JP2007288422A (ja) * 2006-04-14 2007-11-01 Nikon Corp 画像記録再生装置
US8908056B2 (en) 2006-04-14 2014-12-09 Nikon Corporation Image recording and reproducing device
JP2008311807A (ja) * 2007-06-13 2008-12-25 Sony Corp 情報処理装置、情報処理方法、プログラム、および記録媒体
US8774603B2 (en) 2007-06-13 2014-07-08 Sony Corporation Information processing apparatus, information processing method, program, and recording medium
JP2009246917A (ja) * 2008-04-01 2009-10-22 Hitachi Ltd 映像表示装置及び映像処理装置
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法

Also Published As

Publication number Publication date
CN1574923A (zh) 2005-02-02
US20040239810A1 (en) 2004-12-02
US7391473B2 (en) 2008-06-24
CN1291591C (zh) 2006-12-20
JP4250458B2 (ja) 2009-04-08

Similar Documents

Publication Publication Date Title
JP4250458B2 (ja) 映像システムの映像表示方法及び画像処理装置
US7808555B2 (en) Image display method and image display apparatus with zoom-in to face area of still image
US8285114B2 (en) Electronic apparatus and display method
EP3375197B1 (en) Image display apparatus and method of operating the same
JP3826039B2 (ja) 信号処理装置
JP4408845B2 (ja) 映像合成装置及びプログラム
JP4222869B2 (ja) 画像再生装置
US20140099066A1 (en) Content processing apparatus for processing high resolution content and content processing method thereof
JP4614391B2 (ja) 画像表示方法及び画像表示装置
US20110286720A1 (en) Electronic apparatus, video processing method, and program
US20060228047A1 (en) Image processing apparatus and method, recording medium and program
US20100013999A1 (en) Video processing apparatus
JP4573957B2 (ja) 画像制御装置、画像制御方法及びテレビ受信機
CN102364960B (zh) 移动数字电视画中画和频道缩略图的播放方法及移动终端
JP2005316007A (ja) 画像表示制御装置
JP2010176087A (ja) 画像表示装置、画像表示方法、画像データ供給装置、画像データ供給方法、画像表示プログラムおよび記録媒体
JP4800353B2 (ja) 映像合成装置、プログラム及び記録媒体
JP4413661B2 (ja) 録画再生装置、画像再生システムおよび端末装置
JP2005173471A (ja) 画像表示方法
JP2011151647A (ja) シーン検索装置、シーン検索方法、およびシーン検索プログラム
JP4964319B2 (ja) 映像合成装置、プログラム及び記録媒体
JP2008090611A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20050077123A (ko) Ｐｖｒ 시스템의 썸네일 영상 생성 장치 및 방법
JP2009117923A (ja) 画像処理装置、画像処理方法及びプログラム
JP4964320B2 (ja) 映像合成装置及び記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4250458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees