JP2009069185A - 映像処理装置及び映像処理方法 - Google Patents

映像処理装置及び映像処理方法 Download PDF

Info

Publication number
JP2009069185A
JP2009069185A JP2007234326A JP2007234326A JP2009069185A JP 2009069185 A JP2009069185 A JP 2009069185A JP 2007234326 A JP2007234326 A JP 2007234326A JP 2007234326 A JP2007234326 A JP 2007234326A JP 2009069185 A JP2009069185 A JP 2009069185A
Authority
JP
Japan
Prior art keywords
video
signal
video signal
display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007234326A
Other languages
English (en)
Inventor
Susumu Yamazaki
山崎　　進
Norihiro Kato
宣弘 加藤
Tei Ishikawa
禎 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007234326A priority Critical patent/JP2009069185A/ja
Priority to CNA2008101467576A priority patent/CN101388981A/zh
Priority to US12/203,000 priority patent/US20090067723A1/en
Publication of JP2009069185A publication Critical patent/JP2009069185A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】この発明は、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようにした映像処理装置及び映像処理方法を提供することを目的としている。
【解決手段】表示映像の中から特定の対象物を指定させる指定手段（７２ｂ，７２ｇ，７２ｈ）と、指定された対象物が表示映像の中に存在するか否かを判別する判別手段（７２ｃ）と、存在すると判断された場合、当該対象物を含む所定の領域を表示映像から切り出して表示させる制御手段（７２ｄ，７２ｅ）とを備える。
【選択図】図４

Description

この発明は、例えばデジタルテレビジョン放送受信装置等に使用して好適する映像処理装置及び映像処理方法に関する。
周知のように、近年では、テレビジョン放送のデジタル化が推進されてきている。例えば、日本国内においては、ＢＳ（broadcasting satellite）デジタル放送及び１１０度ＣＳ（communication satellite）デジタル放送等の衛星デジタル放送だけでなく、地上デジタル放送も開始されている。
そして、このようなデジタルテレビジョン放送を受信するデジタル放送受信装置にあっては、現在の高度化されたデジタル映像処理技術を用いることにより、受信した映像データに多種多様な編集加工処理を施すことが可能になっていることから、ユーザにとってより一層見易い形態での映像表示を行なえるようにするための開発が要求されている。
特許文献１には、大画面映像表示装置に表示されている映像を小型端末の画面に表示させる際、ユーザの眼球を撮影するカメラによって大画面上におけるユーザの注視点を認識し、その注視点を中心に大画面から切り出した映像を小型端末の画面に表示させるようにすることが開示されている。
特開２００４−１７３１０４号公報
そこで、この発明は上記事情を考慮してなされたもので、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようにした映像処理装置及び映像処理方法を提供することを目的とする。
この発明に係る映像処理装置は、放送信号を受信する受信手段と、受信手段で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理手段と、信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定手段と、信号処理手段で生成された映像信号から指定手段で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出手段と、抽出手段で抽出された対象物映像信号を用いて、信号処理手段で生成された映像信号から対象物の映像認識を行ない、対象物が存在するか否かを判別する判別手段と、判別手段で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を信号処理手段で生成された映像信号から切り出して出力する制御手段とを備えるようにしたものである。
また、この発明に係る映像処理方法は、放送信号を受信する受信工程と、受信工程で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理工程と、信号処理工程で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定工程と、信号処理工程で生成された映像信号から指定工程で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出工程と、抽出工程で抽出された対象物映像信号を用いて、信号処理工程で生成された映像信号から対象物の映像認識を行ない、対象物が存在するか否かを判別する判別工程と、判別工程で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を信号処理工程で生成された映像信号から切り出して出力する制御工程とを備えるようにしたものである。
上記した発明によれば、表示映像の中から特定の対象物を指定し、指定された対象物が表示映像の中に存在する場合、当該対象物を含む所定の領域の映像を表示映像から切り出して出力させるようにしたので、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができる。
以下、この発明の実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明するデジタルテレビジョン放送受信装置１１の外観と、このデジタルテレビジョン放送受信装置１１を中心として構成されるネットワークシステムの一例を概略的に示している。
すなわち、デジタルテレビジョン放送受信装置１１は、主として、薄型のキャビネット１２と、このキャビネット１２を起立させて支持する支持台１３とから構成されている。そして、キャビネット１２には、例えば液晶表示パネル等を備えた平面パネル型ディスプレイである映像表示器１４、スピーカ１５、操作部１６、リモートコントローラ１７から送信される操作情報を受ける受光部１８等が設置されている。
また、このデジタルテレビジョン放送受信装置１１には、例えばＳＤ（secure digital）メモリカード、ＭＭＣ（multimedia card）及びメモリスティック等の第１のメモリカード１９が着脱可能となっており、この第１のメモリカード１９に対して番組や写真等の情報の記録再生が行なわれるようになっている。
さらに、このデジタルテレビジョン放送受信装置１１には、例えば契約情報等の記録された第２のメモリカード［ＩＣ（integrated circuit）カード］２０が着脱可能となっている。そして、この第２のメモリカード２０に対して契約情報の再生が行なわれるようになっている。
また、このデジタルテレビジョン放送受信装置１１は、第１のＬＡＮ（local area network）端子２１、第２のＬＡＮ端子２２、ＵＳＢ（universal serial bus）端子２３及びＩＥＥＥ（institute of electrical and electronics engineers）１３９４端子２４を備えている。
このうち、第１のＬＡＮ端子２１は、ＬＡＮ対応ＨＤＤ専用ポートとして使用されるもので、接続されたＮＡＳ（network attached storage）であるＬＡＮ対応のＨＤＤ（hard disk drive）２５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される。
このように、ＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子２１を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＨＤＤ２５に対してハイビジョン画質による番組の情報記録を安定して行なうことができるようになる。
また、第２のＬＡＮ端子２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用されるもので、例えばハブ２６を介して、ＬＡＮ対応のＨＤＤ２７、ＰＣ（personal computer）２８、デジタル放送受信機能を有するＨＤＤ内蔵のＤＶＤ（digital versatile disk）レコーダ２９等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
なお、ＤＶＤレコーダ２９については、第２のＬＡＮ端子２２を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路３０を設ける必要がある。
さらに、この第２のＬＡＮ端子２２は、ハブ２６に接続されたブロードバンドルータ３１を介して、例えばインターネット等のネットワーク３２に接続可能であり、そのネットワーク３２を介してＰＣ３３や携帯電話３４等の各種情報端末と情報伝送を行なうために使用される。
また、上記ＵＳＢ端子２３は、一般的なＵＳＢ対応ポートとして使用されるもので、例えばハブ３５を介して、携帯電話３６、デジタルカメラ３７、メモリカードに対するカードリーダ／ライタ３８、ＨＤＤ３９、キーボード４０等のＵＳＢ機器を接続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。
さらに、上記ＩＥＥＥ１３９４端子２４は、例えば、それぞれがデジタル放送受信機能を有するＡＶ（audio video）−ＨＤＤ４１やＤ（digital）−ＶＨＳ（video home system）４２等のデジタル記録再生機器をシリアル接続し、これらの機器と情報伝送を行なうために使用される。
図２は、上記したデジタルテレビジョン放送受信装置１１の主要な信号処理系を示している。すなわち、ＢＳ／ＣＳデジタル放送受信用のアンテナ４３で受信した衛星デジタル放送信号は、入力端子４４を介して衛星デジタル放送用のチューナ４５に供給されることにより、所望のチャンネルの放送信号が選局される。
そして、このチューナ４５で選局された放送信号は、ＰＳＫ（phase shift keying）復調器４６に供給されてＴＳ（transport stream）が復調される。このＴＳは、ＴＳ復号器４７に供給されてデジタルの映像信号及び音声信号等に復号化された後、信号処理部４８に出力される。
また、地上波放送受信用のアンテナ４９で受信した地上デジタルテレビジョン放送信号は、入力端子５０を介して地上デジタル放送用のチューナ５１に供給されることにより、所望のチャンネルの放送信号が選局される。
そして、このチューナ５１で選局された放送信号は、ＯＦＤＭ（orthogonal frequency division multiplexing）復調器５２に供給されてＴＳが復調される。このＴＳは、ＴＳ復号器５３に供給されてデジタルの映像信号及び音声信号に復号化された後、上記信号処理部４８に出力される。
また、上記地上波放送受信用のアンテナ４９で受信した地上アナログテレビジョン放送信号は、入力端子５０を介して地上アナログ放送用のチューナ５４に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ５４で選局された放送信号は、アナログ復調器５５に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部４８に出力される。
ここで、上記信号処理部４８は、ＴＳ復号器４７，５３からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部５６及び音声処理部５７に出力している。
また、上記信号処理部４８には、複数（図示の場合は４つ）の入力端子５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。これら入力端子５８ａ〜５８ｄは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送受信装置１１の外部から入力可能とするものである。
そして、この信号処理部４８は、上記アナログ復調器５５及び各入力端子５８ａ〜５８ｄからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、そのデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部５６及び音声処理部５７に出力している。
このうち、グラフィック処理部５６は、信号処理部４８から供給されるデジタルの映像信号に、ＯＳＤ（on screen display）信号生成部５９で生成されるＯＳＤ信号を重畳して出力する機能を有する。また、このグラフィック処理部５６は、信号処理部４８の出力映像信号と、ＯＳＤ信号生成部５９の出力ＯＳＤ信号とを選択的に出力することや、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
そして、グラフィック処理部５６から出力されたデジタルの映像信号は、映像処理部６０に供給される。この映像処理部６０は、入力されたデジタルの映像信号を、前記映像表示器１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１４に出力して映像表示させるとともに、出力端子６１を介して外部に導出させる。
また、上記音声処理部５７は、入力されたデジタルの音声信号を、前記スピーカ１５で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ１５に出力して音声再生させるとともに、出力端子６２を介して外部に導出させる。
ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含むその全ての動作を制御部６３によって統括的に制御されている。この制御部６３は、ＣＰＵ（central processing unit）６３ａを内蔵しており、前記操作部１６からの操作情報を受け、または、リモートコントローラ１７から送出され前記受光部１８で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部６３は、主として、そのＣＰＵ６３ａが実行する制御プログラムを格納したＲＯＭ（read only memory）６３ｂと、該ＣＰＵ６３ａに作業エリアを提供するＲＡＭ（random access memory）６３ｃと、各種の設定情報及び制御情報等が格納される不揮発性メモリ６３ｄとを利用している。
また、この制御部６３は、カードＩ／Ｆ（interface）６４を介して、前記第１のメモリカード１９が装着可能なカードホルダ６５に接続されている。これによって、制御部６３は、カードホルダ６５に装着された第１のメモリカード１９と、カードＩ／Ｆ６４を介して情報伝送を行なうことができる。
さらに、上記制御部６３は、カードＩ／Ｆ６６を介して、前記第２のメモリカード２０が装着可能なカードホルダ６７に接続されている。これにより、制御部６３は、カードホルダ６７に装着された第２のメモリカード２０と、カードＩ／Ｆ６６を介して情報伝送を行なうことができる。
また、上記制御部６３は、通信Ｉ／Ｆ６８を介して第１のＬＡＮ端子２１に接続されている。これにより、制御部６３は、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５と、通信Ｉ／Ｆ６８を介して情報伝送を行なうことができる。この場合、制御部６３は、ＤＨＣＰ（dynamic host configuration protocol）サーバ機能を有し、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５にＩＰ（internet protocol）アドレスを割り当てて制御している。
さらに、上記制御部６３は、通信Ｉ／Ｆ６９を介して第２のＬＡＮ端子２２に接続されている。これにより、制御部６３は、第２のＬＡＮ端子２２に接続された各機器（図１参照）と、通信Ｉ／Ｆ６９を介して情報伝送を行なうことができる。
また、上記制御部６３は、ＵＳＢ Ｉ／Ｆ７０を介して前記ＵＳＢ端子２３に接続されている。これにより、制御部６３は、ＵＳＢ端子２３に接続された各機器（図１参照）と、ＵＳＢ Ｉ／Ｆ７０を介して情報伝送を行なうことができる。
さらに、上記制御部６３は、ＩＥＥＥ１３９４ Ｉ／Ｆ７１を介してＩＥＥＥ１３９４端子２４に接続されている。これにより、制御部６３は、ＩＥＥＥ１３９４端子２４に接続された各機器（図１参照）と、ＩＥＥＥ１３９４ Ｉ／Ｆ７１を介して情報伝送を行なうことができる。
また、上記制御部６３は、対象映像制御部７２を備えている。この対象映像制御部７２は、詳細は後述するが、映像表示器１４に表示されている映像の中から特定の対象物をユーザに指定させる機能、映像表示器１４に表示されている映像の中から指定された対象物を含む所定の領域を切り出す機能、切り出した領域内に占める対象物の相対的なサイズや位置をユーザに指定させる機能等を司るとともに、映像表示器１４に表示されている映像の中に指定された対象物が存在するか否かを判別する機能、存在する場合にその対象物を含む切り出し領域を映像表示器１４に例えば子画面として表示させる機能等を司るものである。
これにより、映像表示器１４に表示されている映像の中に、ユーザの指定した対象物が存在している場合には、その対象物が画面内のどの位置にあっても、画面内の所定位置に表示されている子画面内に、ユーザが予め指定したサイズや位置で対象物が表示されるようになる。すなわち、ユーザの指定した対象物について、その周囲の映像が、全体の映像とは別に子画面として表示されるため、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようになる。
図３は、上記リモートコントローラ１７の外観を示している。このリモートコントローラ１７には、主として、電源キー１７ａ、入力切換キー１７ｂ、衛星デジタル放送チャンネルのダイレクト選局キー１７ｃ、地上波放送チャンネルのダイレクト選局キー１７ｄ、ポインタキー１７ｅ、カーソルキー１７ｆ、決定キー１７ｇ、番組表キー１７ｈ、ページ切換キー１７ｉ、ローリングキー１７ｊ、戻るキー１７ｋ、終了キー１７ｌ、青，赤，緑，黄のカラーキー１７ｍ、チャンネルアップダウンキー１７ｎ、音量調整キー１７ｏ、メニューキー１７ｐ等が設けられている。
図４は、上記対象映像制御部７２の一例を示している。すなわち、この対象映像制御部７２は、入力端子７２ａを備えている。この入力端子７２ａには、上記アンテナ４３，４９及び各端子２１〜２４等を介して受信され、所定の復調処理や復号化処理等の施されたデジタルの映像信号が供給されている。
この入力端子７２ａに供給されたデジタルの映像信号は、映像キャプチャ部７２ｂ、指定映像認識部７２ｃ、指定映像抽出部７２ｄ及び出力映像生成部７２ｅにそれぞれ供給される。
このうち、映像キャプチャ部７２ｂは、制御端子７２ｆを介して対象物指定要求信号が供給されることにより、入力端子７２ａに供給されたデジタルの映像信号をフレーム単位で取り込み、その取り込んだ映像信号を、対象物情報抽出部７２ｇ及び出力映像生成部７２ｅにそれぞれ出力している。なお、上記制御端子７２ｆに供給された対象物指定要求信号は、出力映像生成部７２ｅにも供給されている。
そして、上記対象物情報抽出部７２ｇは、映像キャプチャ部７２ｂより供給された映像信号から、対象物指定ＵＩ（user interface）部７２ｈより供給される対象物指定信号で指定された対象物を映像認識し、その映像認識結果に基づいた対象物映像信号を抽出して上記指定映像認識部７２ｃに出力している。
また、この対象物情報抽出部７２ｇでは、対象物指定ＵＩ部７２ｈより供給される対象物指定信号に基づいて、表示映像から対象物を含む所定の領域を切り出すことや、その切り出した領域内に占める対象物の相対的なサイズや位置を設定することも行なっている。
なお、上記対象物指定ＵＩ部７２ｈは、制御端子７２ｉを介して供給されるユーザ操作情報に基づいて対象物指定信号を生成し、上記対象物情報抽出部７２ｇに出力している。
このユーザ操作情報は、上記操作部１６またはリモートコントローラ１７をユーザが操作することにより得られるもので、上記出力映像生成部７２ｅにも供給されている。
そして、上記指定映像認識部７２ｃは、対象物情報抽出部７２ｇより供給された対象物映像信号を用いて、入力された映像信号から対象物の映像認識を行ない、その認識結果を上記指定映像抽出部７２ｄに出力している。この場合、指定映像認識部７２ｃでは、先に設定された切り出し領域内に占める対象物の相対的なサイズや位置に基づいて、表示映像からの切り出し領域の位置を示す情報も上記指定映像抽出部７２ｄに出力している。
この指定映像抽出部７２ｄは、指定映像認識部７２ｃの認識結果に基づいて、入力された映像信号から対象物を含む切り出し領域を抽出し、その抽出映像信号を上記出力映像生成部７２ｅに出力している。そして、この出力映像生成部７２ｅは、対象物指定要求信号及びユーザ操作情報に基づいて、入力端子７２ａに供給された映像信号、映像キャプチャ部７２ｂが取り込んだ映像信号、指定映像抽出部７２ｄから出力された抽出映像信号を、選択的または重畳させて出力端子７２ｊから出力させるものである。
なお、この出力端子７２ｊから出力されたデジタルの映像信号は、上記信号処理部４８に供給されて所定のデジタル信号処理が施された後、前述したように、グラフィック処理部５６及び映像処理部６０による処理を経由して、映像表示器１４による映像表示に供されることになる。
次に、上記のような構成となされたデジタルテレビジョン放送受信装置１１の対象映像制御部７２を用いた主要な処理動作について、図５及び図６に示すフローチャートを参照して具体的に説明する。すなわち、処理が開始（ステップＳ１）されると、ユーザは、ステップＳ２で、対象物指定要求を発生させる。
この対象物指定要求は、例えば、ユーザが、リモートコントローラ１７のメニューキー１７ｐを操作して、階層構造となされたメニュー画面に分け入ることにより対象物指定要求画面に到達し、その対象物指定要求画面上で「対象物指定要求」を選択設定することにより発生される。
ユーザによる対象物指定要求が行なわれると、映像キャプチャ部７２ｂに対象物指定要求信号が供給される。このため、映像キャプチャ部７２ｂは、ステップＳ３で、対象物指定要求信号が入力されたときに、入力端子７２ａに供給されたデジタルの映像信号をフレーム単位で取り込む。
この映像キャプチャ部７２ｂに取り込まれたデジタルの映像信号は、上記対象物情報抽出部７２ｇに供給される他、出力映像生成部７２ｅに供給されて映像表示器１４による映像表示に供される。これにより、映像表示器１４には、図７に示すような静止映像が表示される。
次に、ユーザは、ステップＳ４で、映像表示器１４に表示された静止映像上に、図８に示すように、対象物を指定するためのポインタＰを表示させる。このポインタＰを表示させることは、対象物指定要求による静止映像の表示状態で、ユーザが、リモートコントローラ１７のポインタキー１７ｅを操作することにより可能となる。
その後、ユーザは、ステップＳ５で、映像表示器１４に表示された静止映像上でポインタＰを移動させることにより、対象物（例えば図８におけるボールＢ）を指定する。このポインタＰは、ユーザが、リモートコントローラ１７のローリングキー１７ｊを回転操作することにより、静止映像上で所望の方向に移動させることが可能となる。
この場合、出力映像生成部７２ｅが、リモートコントローラ１７のポインタキー１７ｅやローリングキー１７ｊの操作情報を受けることにより、映像キャプチャ部７２ｂで取り込み映像表示器１４に表示されている静止映像上に、ポインタＰを重畳して表示させることや、重畳表示されているポインタＰを移動させること等を行なっている。
また、リモートコントローラ１７のポインタキー１７ｅやローリングキー１７ｊの操作情報は、対象物指定ＵＩ部７２ｈにより解析され、ポインタＰの位置が対象物指定信号として対象物情報抽出部７２ｇに供給される。これにより、対象物情報抽出部７２ｇでは、映像キャプチャ部７２ｂで取り込んだ映像信号上において、ポインタＰの指定する対象物を特定することができる。
そして、映像表示器１４に表示されている静止映像上でポインタＰにより特定の対象物が指定され、ユーザが、リモートコントローラ１７の決定キー１７ｇを操作すると、出力映像生成部７２ｅは、ステップＳ６で、指定された対象物を、例えば、他の部分よりも明るく表示させる等のように、静止映像上で強調表示させる。
この場合も、出力映像生成部７２ｅが、リモートコントローラ１７の決定キー１７ｇの操作情報を受けることにより、ポインタＰで指定されている対象物を強調表示させるように制御している。また、リモートコントローラ１７の決定キー１７ｇの操作情報は、対象物指定ＵＩ部７２ｈにより解析され対象物情報抽出部７２ｇに供給される。これにより、対象物情報抽出部７２ｇでは、映像キャプチャ部７２ｂで取り込んだ映像信号上において決定された対象物を映像認識し、その映像認識結果に基づいた対象物映像信号を生成して出力することができる。
そして、ユーザは、ステップＳ７で、静止映像上で強調表示されている対象物が正しいか否かを判別し、正しくないと判断された場合（ＮＯ）、リモートコントローラ１７の戻るキー１７ｋを操作する。これにより、出力映像生成部７２ｅが対象物の強調表示を停止するとともに、対象物情報抽出部７２ｇが対象物映像信号の生成を停止する。さらに、処理がステップＳ５に戻され、ポインタＰによる対象物の指定が再開される。
また、上記ステップＳ７で、静止映像上で強調表示されている対象物が正しいと判断された場合（ＹＥＳ）、ユーザは、ステップＳ８で、リモートコントローラ１７の決定キー１７ｇを操作する。これにより、対象物情報抽出部７２ｇは、対象物の指定処理が完了したと判断し、現在映像認識している対象物の映像認識結果である対象物映像信号を指定映像認識部７２ｃに出力する。
さらに、対象物情報抽出部７２ｇは、ステップＳ９で、静止映像上から、指定された対象物を含む所定の領域を自動的に切り出し、その切り出した領域の映像を子画面として表示させるように制御する。これにより、映像表示器１４には、図９に示すように、全体映像［主（親）画面７３］の中の所定位置（図９では右下隅）に、対象物（ボールＢ）を中心においた子画面７４が表示される。
その後、対象物情報抽出部７２ｇは、ステップＳ１０で、ユーザの操作に基づいて、子画面７４内に占める対象物の相対的なサイズや位置を指定する。この場合、子画面７４内における対象物のサイズ指定は、ユーザがリモートコントローラ１７のチャンネルアップダウンキー１７ｎを操作することにより行なわれる。
例えば、チャンネルアップダウンキー１７ｎをアップ方向に操作すると対象物が順次拡大され、チャンネルアップダウンキー１７ｎをダウン方向に操作すると対象物が順次縮小されるようになる。また、子画面７４内における対象物の位置指定は、ユーザがリモートコントローラ１７のカーソルキー１７ｆを操作して、子画面７４内の表示映像を上下左右方向に移動させることにより行なわれる。
これにより、図１０に示すように、子画面７４内に占める対象物の相対的なサイズや位置が指定される。図１０では、子画面７４内において、対象物（ボールＢ）が、主（親）画面７３の映像よりも拡大され、かつ、中央下部に位置された状態を示している。このようにして設定された、子画面７４内に占める対象物の相対的なサイズや位置を示す設定情報は、対象物情報抽出部７２ｇから指定映像認識部７２ｃに供給される。
上記したように、映像キャプチャ部７２ｂで取り込んだ静止映像上から対象物が特定され、その特定された対象物を含む切り出し領域（子画面７４）上で対象物のサイズ及び位置が設定されると、対象物情報抽出部７２ｇは、ステップＳ１１で、ユーザによる設定操作が全て完了したと判断する。
すると、上記指定映像認識部７２ｃは、ステップＳ１２で、入力端子７２ａに供給された映像信号から、フレーム単位で、対象物情報抽出部７２ｇより供給された対象物映像信号に対応する映像（対象物）を映像パターン認識により検索し、ステップＳ１３で、映像フレーム内に対象物が存在するか否かを判別する。
そして、存在すると判断された場合（ＹＥＳ）、指定映像認識部７２ｃは、対象物情報抽出部７２ｇより供給された設定情報に基づいて、対象物の拡大率や表示位置等に対応するように、入力映像信号から切り出す領域を示す切り出し情報を指定映像抽出部７２ｄに出力する。
すると、上記指定映像抽出部７２ｄは、ステップＳ１４で、指定映像認識部７２ｃより供給された切り出し情報に基づいて、入力映像信号から画面の切り出しを行ない、その切り出した抽出映像信号を出力映像生成部７２ｅに出力する。そして、出力映像生成部７２ｅでは、入力映像信号に抽出映像信号を子画面として表示されるように組み合わせて出力する。
これにより、映像表示器１４には、図１１に示すように、主（親）画面７３上に対象物（ボールＢ）が存在する場合において、その対象物が子画面７４上に予め設定されたサイズ及び位置で表示されることになる。このため、ユーザは、主（親）画面７３で全体を見ながら、子画面７４で自分の指定した対象物の周囲の映像を拡大して見ることができ、ユーザに対してより一層見易い新規な映像表示形態を与えることが可能となる。
その後、対象映像制御部７２は、ステップＳ１５で、対象物指定ＵＩ部７２ｈを介してユーザから子画面表示の終了要求が発生されたか否かを判別する。この子画面表示の終了要求は、子画面７４の表示状態で、ユーザがリモートコントローラ１７の終了キー１７ｌを操作することにより発生される。
そして、子画面表示の終了要求が発生されていないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１２の処理に戻され、入力されたデジタルの映像信号からフレーム毎に対象物を検索する処理が継続して行なわれる。
また、子画面表示の終了要求が発生されていると判断された場合（ＹＥＳ）、対象映像制御部７２は、ステップＳ１６で、ユーザに対して子画面表示処理を終了することの確認をとる。この確認は、映像表示器１４に「子画面表示処理を終了しても良いですか」のメッセージとともに「終了する」、「終了しない」の２つの項目を表示させる。そして、リモートコントローラ１７のカーソルキー１７ｆを操作していずれかの項目を選択させ、決定キー１７ｇを操作することにより実行される。
このステップＳ１６で子画面表示終了の確認がとれないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１２の処理に戻され、入力されたデジタルの映像信号からフレーム毎に対象物を検索する処理が継続して行なわれる。また、上記ステップＳ１６で子画面表示終了の確認がとれたと判断された場合（ＹＥＳ）、対象映像制御部７２はそのまま処理を終了（ステップＳ１８）する。
一方、上記ステップＳ１３で、入力された映像フレーム内に対象物が存在しないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１７で、入力映像フレーム内に対象物が存在しない状態が、予め設定された所定時間継続されたか否かを判別し、継続されていないと判断された場合（ＮＯ）、ステップＳ１２の処理に移行し、継続されたと判断された場合（ＹＥＳ）、ステップＳ１６の処理に移行する。
上記した実施の形態によれば、ユーザが表示映像の中から自分の注目したい対象物を指定しておくことにより、入力映像の中にユーザの指定した対象物が存在している場合は、ユーザが予め指定したサイズや位置に対応させて、その対象物を含む所定の領域を切り出して子画面表示させるようにしている。すなわち、ユーザの指定した対象物の周囲の映像が、全体の映像とは別に子画面として表示されるため、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようになる。
また、映像キャプチャ部７２ｂで取り込まれた静止映像上で対象物が決定されると、その対象物を含む切り出し領域内には、一定の拡大率で、対象物が中央に表示される。そして、この切り出し領域内に占める対象物の相対的なサイズ及び位置の設定は、リモートコントローラ１７によって、あたかもビデオカメラ等を操作する感覚、つまり、上下左右（チルト、パン）に画面を振ることや、ズームイン、ズームアウトでできるようにすることが、ユーザにとって便利である。例えば、画面を右に振ると、対象物は、相対的に画面の左側に動き、上に振ると、画面の下側に移動する。これは、例えば、Gセンサ等を使用してその動作を感知することで実現される。
さらに、対象物として、例えば人の顔等のように形状が複雑なものは、１枚の静止映像から取得した対象物映像信号のみでは、入力映像から個人を特定するのが困難になる。そこで、注目すべき人物の顔を複数の異なる角度から取り込み、それらを同一対象物としてリンクすることで、対象物の認識精度を向上させることができる。さらに、過去の視聴時に登録した、対象物映像信号を呼び出すことで、毎回の視聴時に沢山の設定を行なわなくても精度の高い認識が可能になる。
また、同じ対象を複数のアングルから撮影した映像を同時に入力し、設定されている対象物に基づいて、ユーザの好む映像を自動的に選択させることも可能である。例えば、サッカーの場合、フィールド全景の映像、味方チームのゴール前、相手チームのゴール前の３映像を同時に入力し、その中から対象物として設定した人物がよく映っているアングルの映像を自動的に選択することができる。
さらに、切り出し領域（子画面部分）だけを記録しておき、この子画面部分だけを再生して視聴することができるようにすれば、ユーザにとって効果的である。
また、図１２に示すように、ユーザの設定した対象物を含む切り出し領域を主（親）画面７３として表示し、全体映像を子画面７４に表示する。この場合、全体映像の中のどの部分が主（親）画面７３に表示されているかがユーザにわかるように、子画面７４内に主（親）画面７３の表示部分を示す枠７５を表示する。
さらに、２つ以上の対象物を指定して、同時に認識させるようにすることもできる。この場合、認識した対象物間の相対位置を検出する。例えば、ボールとゴールポストとを対象物として指定しておき、画面上のそれぞれの対象物の大きさと距離とから相対距離を計算し、両対象物が一定の距離以上に近づいたら、両対象物を含む切り出し領域を子画面７４として表示する。
また、図１３に示すように、映像パターン認識により認識した対象物に目印としてタグ７６を付けたり、補色で反転（点滅）表示させたりして、全体映像中のどの部分に対象物が存在しているかを表示させることもできる。この場合、２つ以上の対象物を指定して、それぞれが全体画面上のどこにあるかを表示することもできる。
さらに、映像パターン認識により認識した対象物以外をフォーカスアウトして、認識した対象物が浮かび上がるように強調表示させることも可能である。
また、対象物の存在するフレームが複数続いた場合、各フレームで対象物を検出し切り出し領域を設定して拡大表示を行なうと、切り出し画面に対象物のフレーム単位での微細な揺れがそのまま表示されてしまい（特に拡大しているので揺れも目立つ）、ユーザにとって見難いものとなる。
このため、対象物の存在するフレームが複数続く場合には、映像フレームを適宜間引いて表示させることで揺れを目立たなくすることができる。具体的には、切り出し画面内での対象物の揺れを測定し、一定以上の距離ずれているフレームを間引く手法や、切り出し画面内での対象物の微妙な揺れの周期を計測し、その周期でフレームを間引く手法等が考えられる。
また、対象物の指定後に、画面内での対象物の大きさが変わった場合に、自動的に切り出し画面内における拡大率を調整して、切り出し画面に表示される対象物の大きさが常に一定になるように制御する。具体的には、対象物の拡大率を一定にして、切り出し画面の大きさを変える手法や、切り出し画面の大きさを一定にして、対象物の拡大率を変える手法等が考えられる。
さらに、切り出し画面内で対象物を予め設定された位置に表示するには、対象物の平面映像の中心位置や重心位置を求め、その求めた位置を切り出し画面内の指定位置に合わせる手法が考えられる。
また、上記したように、指定した対象物を全体の表示映像から映像パターン認識によって検出する技術は、ビデオカメラに適用することができる。例えば、ズームインして注目被写体（対象物）を指定した後、ズームアウトして全景を表示したときに、先に述べた対象物にタグ７６を付ける等の手法を利用して、注目被写体が画面内のどこにあるかを見失わないようにする。
さらに、対象物を切り出し画面内で拡大表示する場合に、元映像の解像度以上に拡大すると映像が汚くなる。この場合には、例えば超解像度技術等を用いて、高品位な拡大映像を提供できるようにすることが考えられる。この超解像度技術は、フレーム内劣化逆変換と称され、特長としては、拡大する際に、特にエッジを鮮鋭にして、くっきり感のある映像を生成する点、また、複数のフレームを用いず、１枚のフレームから拡大映像を生成する点にある。
処理手順としては、まず、元映像から通常のフィルタを用いて仮の拡大映像を生成し、その仮の拡大映像の画素値（輝度）を補正していくことにより、真の拡大映像を生成している。補正の際には、凸射影と呼ばれる手法が用いられる。これは、仮の拡大映像の画素値から計算モデルに基づいて画素値を求め、元映像との差分を拡大映像にフィードバックするという方法である。エッジ部については、自己合同対応点についても凸射影による補正を行なっている。
具体的に言えば、この高解像度化は、被写体の一部を取り出して、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したもので、同じ輝度値変化パターンに対する標本値が１つのフレームに複数あり、それらの位置を検出するものである。すなわち、入力した低解像度映像から、例えばSobelフィルタ等を用いてエッジを取得し、エッジについての情報（例えば２値画像）を取得する。
そして、エッジとして判断されている領域について、１つの低解像度画素とその周辺の輝度パターンが近いパターンを持つ対応点とを複数個探索する。輝度パターンの相関検出には、例えば、差分絶対値和や差分２乗和を用いることができる。また、複数の対応点を得る探索手法として、Ｘ軸またはＹ軸方向に１画素単位で探索範囲を設定し、他方の軸成分を変化させて対応点を探索する方法も用いることができる。この場合、例えば他方の軸成分を変化させて得たいくつかの点を、相関の高い点の候補として選び、その候補の中からパラボラフィッティング等の手法により、サブピクセル単位で対応点の座標を推定することができる。
そして、低解像度画素値と複数の対応点の情報とを用いることにより、高解像度画素値を算出する。高解像度画素値の具体的な算出方法としては、例えばＰＯＣＳ法（S.Park, et.al.“Super-Resolution Image Reconstruction: A Technical Overview”のP.29参照）を用いることができる。このＰＯＣＳ法では、双一次内挿法や３次畳込み内挿法等で、仮の高解像度映像の画素値を予め求めておく。低解像度映像のある注目画素について、その点の対応点による標本値（サブピクセル単位）が、高解像度映像の１画素単位で並ぶ画素の画素値の集合で再現される必要があるが、仮の画素値は一般にはそれを満たしていない。この標本値により、高解像度映像への画素の写像を行なって求めた標本値を仮の標本値とした際に、仮に求めた画素値と仮の標本値とが一致していないので、この誤差を求め、差分を無くすように仮の画素値を加減算することで更新する。この更新は、近傍の注目画素においても行われるため、その影響を受け仮の画素値は正しい値から変化する。そこで、この更新処理は、標本点全部に対して数回繰り返される。この反復により、次第に、仮の画素値が正確なものに近づくので、設定した回数反復して得られた画像を高解像度映像として出力する。
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
この発明の実施の形態を示すもので、デジタルテレビジョン放送受信装置とそれを中心として構成されるネットワークシステムの一例を概略的に説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置の主要な信号処理系を説明するために示すブロック構成図。 同実施の形態におけるデジタルテレビジョン放送受信装置のリモートコントローラを説明するために示す外観図。 同実施の形態におけるデジタルテレビジョン放送受信装置が備える対象映像制御部の一例を説明するために示すブロック構成図。 同実施の形態におけるデジタルテレビジョン放送受信装置で実行される主要な処理動作の一部を説明するために示すフローチャート。 同実施の形態におけるデジタルテレビジョン放送受信装置で実行される主要な処理動作の残部を説明するために示すフローチャート。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像の一例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像の他の例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。 同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
符号の説明
１１…デジタルテレビジョン放送受信装置、１２…キャビネット、１３…支持台、１４…映像表示器、１５…スピーカ、１６…操作部、１７…リモートコントローラ、１８…受光部、１９…第１のメモリカード、２０…第２のメモリカード、２１…第１のＬＡＮ端子、２２…第２のＬＡＮ端子、２３…ＵＳＢ端子、２４…ＩＥＥＥ１３９４端子、２５…ＨＤＤ、２６…ハブ、２７…ＨＤＤ、２８…ＰＣ、２９…ＤＶＤレコーダ、３０…アナログ伝送路、３１…ブロードバンドルータ、３２…ネットワーク、３３…ＰＣ、３４…携帯電話、３５…ハブ、３６…携帯電話、３７…デジタルカメラ、３８…カードリーダ／ライタ、３９…ＨＤＤ、４０…キーボード、４１…ＡＶ−ＨＤＤ、４２…Ｄ−ＶＨＳ、４３…アンテナ、４４…入力端子、４５…チューナ、４６…ＰＳＫ復調器、４７…ＴＳ復号器、４８…信号処理部、４９…アンテナ、５０…入力端子、５１…チューナ、５２…ＯＦＤＭ復調器、５３…ＴＳ復号器、５４…チューナ、５５…アナログ復調器、５６…グラフィック処理部、５７…音声処理部、５８ａ〜５８ｄ…入力端子、５９…ＯＳＤ信号生成部、６０…映像処理部、６１…出力端子、６２…出力端子、６３…制御部、６３ａ…ＣＰＵ、６３ｂ…ＲＯＭ、６３ｃ…ＲＡＭ、６３ｄ…不揮発性メモリ、６４…カードＩ／Ｆ、６５…カードホルダ、６６…カードＩ／Ｆ、６７…カードホルダ、６８…通信Ｉ／Ｆ、６９…通信Ｉ／Ｆ、７０…ＵＳＢ Ｉ／Ｆ、７１…ＩＥＥＥ１３９４ Ｉ／Ｆ、７２…対象映像制御部、７２ａ…入力端子、７２ｂ…映像キャプチャ部、７２ｃ…指定映像認識部、７２ｄ…指定映像抽出部、７２ｅ…出力映像生成部、７２ｆ…制御端子、７２ｇ…対象物情報抽出部、７２ｈ…対象物指定ＵＩ部、７２ｉ…制御端子、７２ｊ…出力端子、７３…主（親）画面、７４…子画面、７５…枠、７６…タグ。

Claims (10)

  1. 放送信号を受信する受信手段と、
    前記受信手段で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理手段と、
    前記信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定手段と、
    前記信号処理手段で生成された映像信号から前記指定手段で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出手段と、
    前記抽出手段で抽出された対象物映像信号を用いて、前記信号処理手段で生成された映像信号から前記対象物の映像認識を行ない、前記対象物が存在するか否かを判別する判別手段と、
    前記判別手段で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を前記信号処理手段で生成された映像信号から切り出して出力する制御手段とを具備することを特徴とする映像処理装置。
  2. 前記指定手段は、前記信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定する要求を受けたとき、当該表示映像を静止させることを特徴とする請求項１記載の映像処理装置。
  3. 前記制御手段は、前記信号処理手段で生成された映像信号から切り出した所定の領域内に表示される対象物のサイズまたは位置を指定可能であることを特徴とする請求項１記載の映像処理装置。
  4. 前記制御手段は、前記信号処理手段で生成された映像信号に基づく表示映像の中の対象物のサイズが変わった場合、前記切り出した所定の領域内に表示される対象物のサイズを指定されたサイズに保持するように調整することを特徴とする請求項３記載の映像処理装置。
  5. 前記信号処理手段で生成された映像信号と、前記制御手段で切り出された所定の領域に対応する映像信号とは、同一画面上に、いずれか一方が主画面で他方が子画面となるように表示されることを特徴とする請求項１記載の映像処理装置。
  6. 前記信号処理手段で生成された映像信号に基づく映像が画面上で子画面に表示され、前記制御手段で切り出された所定の領域に対応する映像信号に基づく映像が画面上で主画面として表示される場合、前記子画面内に、前記主画面に表示されている部分を示す表示を行なうことを特徴とする請求項５記載の映像処理装置。
  7. 前記制御手段で切り出された所定の領域内に表示される映像については、前記信号処理手段で生成された映像信号を、そのフレームを間引いて映像表示に供させることを特徴とする請求項１記載の映像処理装置。
  8. 前記制御手段で切り出された所定の領域内に表示される映像については、前記信号処理手段で生成された映像信号に超解像度技術を用いた信号処理を施すことを特徴とする請求項１記載の映像処理装置。
  9. 表示映像の中から特定の対象物を指定させる指定手段と、
    前記指定手段で指定された対象物が前記表示映像の中に存在するか否かを判別する判別手段と、
    前記判別手段で存在すると判断された場合、当該対象物を含む所定の領域を前記表示映像から切り出して表示させる制御手段とを具備することを特徴とする映像処理装置。
  10. 放送信号を受信する受信工程と、
    前記受信工程で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理工程と、
    前記信号処理工程で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定工程と、
    前記信号処理工程で生成された映像信号から前記指定工程で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出工程と、
    前記抽出工程で抽出された対象物映像信号を用いて、前記信号処理工程で生成された映像信号から前記対象物の映像認識を行ない、前記対象物が存在するか否かを判別する判別工程と、
    前記判別工程で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を前記信号処理工程で生成された映像信号から切り出して出力する制御工程とを具備することを特徴とする映像処理方法。
JP2007234326A 2007-09-10 2007-09-10 映像処理装置及び映像処理方法 Withdrawn JP2009069185A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007234326A JP2009069185A (ja) 2007-09-10 2007-09-10 映像処理装置及び映像処理方法
CNA2008101467576A CN101388981A (zh) 2007-09-10 2008-08-29 视频图像处理设备和视频图像处理方法
US12/203,000 US20090067723A1 (en) 2007-09-10 2008-09-02 Video image processing apparatus and video image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007234326A JP2009069185A (ja) 2007-09-10 2007-09-10 映像処理装置及び映像処理方法

Publications (1)

Publication Number Publication Date
JP2009069185A true JP2009069185A (ja) 2009-04-02

Family

ID=40431880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007234326A Withdrawn JP2009069185A (ja) 2007-09-10 2007-09-10 映像処理装置及び映像処理方法

Country Status (3)

Country Link
US (1) US20090067723A1 (ja)
JP (1) JP2009069185A (ja)
CN (1) CN101388981A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271697A (ja) * 2008-05-07 2009-11-19 Canon Inc 表示制御装置、表示制御システム、表示制御方法
JP2012142766A (ja) * 2010-12-28 2012-07-26 Canon Inc 映像処理装置及びその制御方法
JP2014237398A (ja) * 2013-06-07 2014-12-18 株式会社ブリヂストン 空気入りタイヤ
JP2020532902A (ja) * 2017-08-30 2020-11-12 ヴィド スケール インコーポレイテッド トラッキングされるビデオズーミング

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
CN102075689A (zh) * 2009-11-24 2011-05-25 新奥特（北京）视频技术有限公司 一种快速制作动画的字幕机
CN101964057A (zh) * 2010-07-28 2011-02-02 中国人民解放军海军航空工程学院青岛分院 机载平显记录视频信息的动态提取方法
CN103248855B (zh) * 2012-02-07 2016-12-14 北京同步科技有限公司 基于固定机位的课程录制系统、视频处理装置和录课方法
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴（中国）有限公司 视频录制方法及装置
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
CN107707824B (zh) * 2017-10-27 2020-07-31 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质和电子设备
CN110858895B (zh) * 2018-08-22 2023-01-24 虹软科技股份有限公司 一种图像处理方法和装置
CN109582145B (zh) * 2018-12-06 2022-06-03 深圳市智慧季节科技有限公司 一种多使用对象的终端显示方法及系统、终端
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Ｔｖｓ Ｒｅｇｚａ株式会社 画質回路、映像処理装置および信号特徴検出方法
CN113055738B (zh) 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN111866433B (zh) * 2020-07-31 2021-06-29 腾讯科技（深圳）有限公司 视频源切换方法、播放方法、装置、设备和存储介质
CN114501115B (zh) * 2022-02-12 2023-07-28 北京蜂巢世纪科技有限公司 针对球场录像的裁剪再加工方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271697A (ja) * 2008-05-07 2009-11-19 Canon Inc 表示制御装置、表示制御システム、表示制御方法
JP2012142766A (ja) * 2010-12-28 2012-07-26 Canon Inc 映像処理装置及びその制御方法
JP2014237398A (ja) * 2013-06-07 2014-12-18 株式会社ブリヂストン 空気入りタイヤ
JP2020532902A (ja) * 2017-08-30 2020-11-12 ヴィド スケール インコーポレイテッド トラッキングされるビデオズーミング
JP7405738B2 (ja) 2017-08-30 2023-12-26 ヴィド スケール インコーポレイテッド トラッキングされるビデオズーミング

Also Published As

Publication number Publication date
US20090067723A1 (en) 2009-03-12
CN101388981A (zh) 2009-03-18

Similar Documents

Publication Publication Date Title
JP2009069185A (ja) 映像処理装置及び映像処理方法
US10334162B2 (en) Video processing apparatus for generating panoramic video and method thereof
US20050253966A1 (en) System for processing video signals
KR20120051209A (ko) 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
KR20120051208A (ko) 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
JP4331249B2 (ja) 映像表示装置
JP2016532386A (ja) ビデオを表示する方法及びビデオを表示する装置
JP2009038527A (ja) テレビジョン受像機、テレビジョン表示方法
JP2008067223A (ja) データ放送コンテンツ再生装置及びデータ放送コンテンツ再生方法
US20060061696A1 (en) Signal reproduction apparatus and signal reproduction method
US20150116343A1 (en) Electronic device and image reproducing characteristics determination method
US20100245671A1 (en) Apparatus and method for processing video signal
JP2011130323A (ja) 放送受信装置及びその制御方法
US20060053438A1 (en) Signal processing device and method of controlling the same
US20060059515A1 (en) Apparatus and method for displaying program listing
JP6046961B2 (ja) 映像合成装置及び映像合成プログラム
JP4595322B2 (ja) 画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラム
JP4271698B2 (ja) 受像装置，チューナー，テレビ受像機および再生装置
JP2009200727A (ja) 音声切替装置、音声切替方法及び放送受信装置
JP2006093992A (ja) 番組表表示装置及び番組表表示方法
JP2006129242A (ja) 電子番組表出力装置、電子番組表表示装置、電子番組表表示方法
KR20110117494A (ko) 증강 원격제어장치 및 그 동작 방법
JP5398688B2 (ja) 番組表表示装置及び番組表表示方法
JP5268505B2 (ja) 放送信号処理装置及び放送信号処理方法
JP4332523B2 (ja) 受像装置，チューナー，テレビ受像機，再生装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100616

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120301