JP2011030111A - 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 - Google Patents

画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 Download PDF

Info

Publication number
JP2011030111A
JP2011030111A JP2009175921A JP2009175921A JP2011030111A JP 2011030111 A JP2011030111 A JP 2011030111A JP 2009175921 A JP2009175921 A JP 2009175921A JP 2009175921 A JP2009175921 A JP 2009175921A JP 2011030111 A JP2011030111 A JP 2011030111A
Authority
JP
Japan
Prior art keywords
image
display
unit
graphics
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009175921A
Other languages
English (en)
Other versions
JP5525201B2 (ja
Inventor
Hidekazu Yamazaki
英和 山▲崎▼
Osamu Furuya
治 古屋
Akira Mitsui
明 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009175921A priority Critical patent/JP5525201B2/ja
Priority to PCT/JP2010/003420 priority patent/WO2011013283A1/ja
Publication of JP2011030111A publication Critical patent/JP2011030111A/ja
Priority to US13/357,862 priority patent/US9001272B2/en
Application granted granted Critical
Publication of JP5525201B2 publication Critical patent/JP5525201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】従来には、字幕が、人物などの被写体領域に、重ねて表示されて、視聴が妨げられてしまっている。
【解決手段】グラフィックスオブジェクトを描画するグラフィックス描画部(102)と、画像に対して、描画された前記グラフィックスオブジェクトを合成する画像合成部(103)と、前記画像における、空間周波数が最も低い領域の表示位置を出力する検出部(105)と、出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部(106)とを備える画像合成装置(1)。
【選択図】図1

Description

本発明は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードして得られる画像データの領域に、字幕やウィジェット、アイコン、アニメーションといったグラフィックスオブジェクトを合成して、グラフィックスオブジェクトが合成された映像を、映像表示装置に出力する画像合成装置に関するものである。
近年、テレビを視聴しながら、同時に、インターネット上のニュースや天気といった情報、写真、そして、字幕や、アニメーションなど、さまざまなオブジェクトを、映像上に表示して楽しむことが可能になった。
図19は、従来の画像合成装置(ゲームシステム)91を示す図である。
従来の画像合成装置91においては、画像上にグラフィックスオブジェクトを効果的に表示するために、画像上に複数定義された表示対象領域(911等)と、表示する字幕との輝度差をそれぞれ比較して、字幕の表示領域を決定する(例えば、特許文献1参照)。
以下に、従来の画像合成装置91を説明する。
図19において、従来の画像合成装置91は、プログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶装置である記憶部920と、CPU(中央処理装置)等から構成され、システムを統括的に制御する制御部930と、ユーザからの入力を受け付けるために、操作ボタンなどで構成される操作部940とから構成される。さらに、記憶部920は、ゲームプログラムを保持するゲームプログラム記憶部921と、モニタ950に表示する画像を保持する映像情報記憶部22と、字幕情報を保持する字幕情報記憶部923と、本画像合成装置91において決定した字幕表示領域を記憶する字幕表示位置記憶部924とから構成される。また、制御部930は、ゲームプログラム記憶部921に保持されているゲームプログラムを適宜読み出して実行するゲーム進行制御部931と、字幕情報記憶部923に保持されている字幕情報を読み出して、表示位置を決定し、モニタ950における、決定した表示位置に、読み出した字幕情報の字幕を表示する字幕表示制御部932とから構成される。
以上のように構成された従来の画像合成装置91について、以下に、その動作を説明する。すなわち、字幕表示制御部932は、字幕情報記憶部923に保持された字幕情報を読み出して、読み出した字幕情報の字幕の輝度値を取得する。一方、字幕表示制御部932は、表示する画像ごとに、システムで予め定義された字幕表示領域である911から914の輝度値を取得し、字幕と、911から914の字幕表示領域との輝度差の評価を行う。それにより、字幕と字幕表示領域との輝度差が閾値以上になった場合に、その字幕表示領域を、表示をさせる字幕表示領域として決定している。
特開2008−258929号公報(第1頁、第1図等)
しかしながら、従来の画像合成装置91においては、字幕を、輝度差に基づいて、その字幕が見やすい領域に表示するため、たとえ、その領域が人物などの被写体領域であっても、重ねて表示されてしまい、視聴が妨げられるという課題があった。
すなわち、空間周波数が高い領域は、例えば被写体領域であるなどして、その領域の視聴の必要性が高い。つまり、空間周波数が高い領域の視聴が妨げられると、視聴の必要性が高い領域の視聴が妨げられてしまう。
本発明は、グラフィックスオブジェクト(字幕など)が合成されるにも関わらず、視聴の必要性が高い領域の視聴が確実に可能であるようにすることを目的とする。
上記の課題を解決するため、本発明の画像合成装置は、グラフィックスオブジェクトを描画するグラフィックス描画部と、画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部と、前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を検出し、検出された前記領域の表示位置を出力する検出部と、前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部とを備える画像合成装置である。
なお、ここで、上記グラフィックスオブジェクトは、合成先の画像へと合成がされる、合成対象の画像をいう。
つまり、合成先の画像が、ピントを合わせることで撮像された画像であると、画像のうちで、ピントが合っている領域は、視聴の必要性が高い領域である。そして、空間周波数が低い領域への合成がされるので、このような、ピントが合っている領域への合成が回避される。つまり、ピントが合っていない領域に合成がされる。
これにより、合成先の画像が、ピントを合わして撮像された画像でも、視聴の必要性が高い領域の視聴が妨げられることが確実に回避され、視聴の必要性が高い領域を確実に、見易く表示できる。
しかも、ピントが合っていない領域に合成がされるので、比較的一様な画像を有する領域に合成がされる。このため、合成対象の画像の内容が、背景に紛れ込まず、その内容が、合成後において、確実に、背景から識別されるようにできる。
さらに、単なる空間周波数により、適切な領域が特定されるので、ユーザにより指定された領域を特定する情報などの、特別な情報が必要でない。これにより、適切な領域への合成が、容易にできる。
なお、この画像合成装置は、合成先の画像が、動画像におけるシーン切り替え時の画像であるときには、その画像における、検出された領域への合成をせず、シーン切り替え時ではない画像のときにのみ、検出された領域への合成をしてもよい。ここで、シーン切り替え時には、第1の合成先の画像と、その次の第2の合成先の画像とで、画像の内容が大きく変化し、検出される領域が変化し易い。このような時には、検出された領域への合成がされないようにできる。
この画像合成装置は、例えば、ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリームをデコードするデコード部と、前記グラフィックスオブジェクトのオブジェクトデータを保持するオブジェクトデータ記憶部とを備え、前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号が示す前記画像に前記合成を行い、前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記オブジェクトデータに基づき、当該オブジェクトデータの前記グラフィックスオブジェクトを前記グラフィックス描画部に描画させる制御を当該グラフィックス描画部に対して行ってもよい。
本発明による画像合成装置においては、画像の中で空間周波数の低い領域に、グラフィックスオブジェクトを合成する。このため、被写体の領域など、カメラのピントが合っている、空間周波数の高い領域に、グラフィックスオブジェクトが重なることなく、グラフィックスオブジェクトを表示することができる。また、グラフィックスオブジェクトを表示するために、映像を縮小して、縮小された映像を表示することもないので、その映像の本来の解像度で視聴することができる。
図1は、本発明の実施の形態における画像合成装置の構成図である。 図2は、本発明の実施の形態における表示領域検出部のフローチャートである。 図3は、表示領域検出部、描画制御部、合成前画像等を示す図である。 図4は、画像合成装置におけるデータと、表示領域検出部とを示す図である。 図5は、8画素×8ラインのDCT基底画像を示す図である。 図6は、模式的に表現されたDCT基底画像を示す図である。 図7は、本発明の実施の形態における空間周波数解析用のDCT係数の構成図である。 図8は、本発明の変形例1における画像合成装置の構成図である。 図9は、記憶部に記憶されるオブジェクト識別子と、表示対象領域情報と、標準表示周期情報とを示す図である。 図10は、本発明の変形例2における画像合成装置の構成図である。 図11は、画像合成装置の処理を示すフローチャートである。 図12は、本発明の変形例3における画像合成装置の構成図である。 図13は、画像合成装置の処理を示すフローチャートである。 図14は、本発明の変形例4における画像符号化装置と、画像合成装置の構成図である。 図15は、本発明の変形例4におけるビットストリームのNAL構成図である。 図16は、本発明の変形例4におけるUser Data Unregistered SEIの構成図である。 図17は、本発明の変形例5における画像符号化装置と、画像合成装置の構成図である。 図18は、画像処理システムにおける合成前画像および合成後画像等を示す図である。 図19は、従来の画像合成装置の構成図である。
以下、画像合成装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付与した複数の構成要素は、同様の動作を行うので、再度の説明を省略する場合がある。
以下の実施の形態は、次の目的X1を踏まえた形態である。すなわち、従来では、表示する画像ごとに、字幕を表示する表示領域を決定する。このため、例えば、映画の映像に装置を適用した場合、数秒間の字幕表示期間中に、何回も表示位置が変更され、字幕の可読性が損なわれるという課題があった。この課題の解決が、目的X1である。
以下で示される実施の形態により、次のA1の画像合成装置等が示される。
A1の画像合成装置(画像合成装置1等)は、グラフィックスオブジェクト(字幕)を描画するグラフィックス描画部(グラフィックス描画部102)と、画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部(画像合成部103)と、前記画像(図3、図4の合成前画像I)における複数の領域(領域R)の空間周波数(例えば、後記の代表周波数)を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域(領域Rl)を検出し、検出された前記領域の表示位置を出力する検出部(表示領域検出部105)と、前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部(描画制御部106)とを備える画像合成装置である。
A2の画像合成装置は、ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリーム(ビットストリーム131)をデコードするデコード部(デコード部101)と、前記グラフィックスオブジェクトのオブジェクトデータ(オブジェクトデータ111)を保持するオブジェクトデータ記憶部(記憶部104)とを備え、前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号(映像信号132)が示す前記画像に前記合成を行い、前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記グラフィックスオブジェクトの前記オブジェクトデータに基づき、当該グラフィックスオブジェクトを前記描画制御部に描画させる制御を当該描画制御部に対して行うA1の画像合成装置である。
以下で示される実施の形態により、次のB1の画像合成装置等が示される。
B1の画像合成装置(画像合成装置1等)は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードし、デコードした画像上に、グラフィックスオブジェクトを合成する画像合成装置であって、入力されたビットストリームをデコードするデコード部(デコード部101)と、グラフィックスオブジェクトを描画するグラフィックス描画部(グラフィックス描画部102)と、デコードされた画像と描画されたグラフィックスオブジェクトを合成する画像合成部(画像合成部103)と、グラフィックスオブジェクトのオブジェクトデータを保持する記憶部(記憶部104)と、デコードされた画像ごとに空間周波数を解析し、空間周波数が低い領域(領域Rl)を検出し、その領域の表示位置を出力する表示領域検出部(表示領域検出部105)と、選択されたグラフィックスオブジェクトのオブジェクトデータに基づき、前記グラフィックス描画部を制御し、前記表示領域検出部により出力された表示位置に、グラフィックスオブジェクトを描画する描画制御部(描画制御部106)とを備える画像合成装置である。
この構成により、それぞれの画像の中で空間周波数の低い領域を検出することによって、被写体など、カメラのピントが合っている空間周波数の高い領域に重なることなく、選択されたグラフィックスオブジェクトを効果的に合成することができる。
また、B2の画像合成装置は、前記表示領域検出部が、画像の一部または全体を複数個のブロック(画素ブロック)に分割し、ブロックごとの空間周波数を計算し、前記グラフィックスオブジェクトサイズを含むことが可能な前記ブロックで構成される領域の中から、空間周波数の最も低い領域を決定するB1の画像合成装置である。
この構成により、画像の中から、グラフィックスオブジェクトを表示可能で、空間周波数が最も低い領域を検出できる。
また、B3の画像合成装置は、前記記憶部が、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクト識別子と、オブジェクトの表示領域を規定する一つ以上の表示対象領域と、オブジェクトの表示間隔を規定する標準表示周期とをさらに備えるB1の画像合成装置である。
この構成により、グラフィックスオブジェクトの特徴に基づいて、グラフィックスオブジェクトの種別ごとに、表示対象領域や、表示間隔を予め定義することができる。
また、B4の画像合成装置は、前記描画制御部が、表示時刻ごとに、前記表示対象領域の中から、前記表示領域検出部で検出された表示位置を含む表示対象領域を一つ決定し、次の表示時刻までは、決定された表示対象領域の中から、前記表示領域検出部により表示位置を決定するB3の画像合成装置である。
この構成により、表示時刻ごとに、グラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を高めることができる。
また、B5の画像合成装置は、上記目的X1に関係し、前記表示領域検出部が、シーン切り替え発生時のグラフィックスオブジェクトの表示位置安定待ちを行うため、検出した表示位置と前回検出した表示位置とを比較し、移動距離が閾値以内の場合は加算し、移動距離が前記閾値以上の場合は初期化するカウンタをさらに備え、カウンタの値が閾値以上の場合には、直ちに検出した表示位置を出力し、カウンタの値が前記閾値以内の場合には、カウンタの値が前記閾値以上になるまで、前回出力した表示位置を出力するB1の画像合成装置である。
この構成により、シーン切り替えに伴い空間周波数分布が変化する場合の、グラフィックスオブジェクト表示位置の移動回数増加を軽減し、グラフィックスオブジェクトの可読性を高めることができる。
また、B6の画像合成装置は、前記表示領域検出部が、映像信号を解析し、空間周波数が低い領域の遷移予測を行うB5の画像合成装置である。
この構成により、シーン切り替えに伴い空間周波数分布が変化する場合の、グラフィックスオブジェクト表示位置の遷移を予測し、移動を抑制することによって、グラフィックスオブジェクトの可読性を高めることができる。
また、B7の画像合成装置は、前記表示領域検出部により検出されたグラフィックスオブジェクト表示領域に対応するデコード画像の色情報と、描画するグラフィックスオブジェクトの色情報の比率を計算し、比率が閾値以下の場合には、比率が前記閾値より大きくなるように、グラフィックスオブジェクトの色情報を計算し、前記描画制御部に出力する色情報比較部を、さらに備えるB1の画像合成装置である。
この構成により、グラフィックスオブジェクトを表示する領域に対応するデコード画像の色情報と、グラフィックスオブジェクトの色情報の比率が小さいため、合成されるグラフィックスオブジェクトが見づらい場合に、グラフィックスオブジェクトの視認性が低下するのが回避できる。つまり、グラフィックスオブジェクトの色情報を変更することにより、グラフィックスオブジェクトの視認性を向上することができる。
また、B8の画像符号化装置は、デコード部、および、記憶部から入力された映像信号を、ビットストリームとして、エンコードする画像符号化装置であって、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクト識別子と、オブジェクトの標準サイズを規定する標準オブジェクトサイズを保持する記憶部と、記憶部に保持されている全ての前記標準オブジェクトサイズを逐次読み出し、入力された映像信号の空間周波数を解析することによって空間周波数が最も低い領域をそれぞれ検出し、検出された表示位置とオブジェクトサイズをそれぞれ出力する表示領域検出部と、前記表示領域検出部で出力されたそれぞれの表示位置とオブジェクトサイズを、少なくとも含むオブジェクト表示情報を、前記ビットストリーム中に記述するエンコード部とを備える画像符号化装置である。
この構成により、特に、BD(Blu-ray Disc)レコーダー等において、携帯端末用に、解像度を縮小してビットストリームを再エンコードする場合に、携帯端末用に、少ない消費電力で、映像上に携帯端末で選択されたグラフィックスオブジェクトを効果的に合成できる部を提供できる。
また、B9の画像合成装置は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードし、そのデコードした画像上に、選択されたグラフィックスオブジェクトを合成表示する画像合成装置であって、グラフィックスオブジェクトを描画するグラフィックス描画部と、デコードされた映像と描画されたグラフィックスオブジェクトを合成する画像合成部と、グラフィックスオブジェクトのオブジェクトデータを保持する記憶部と、入力されたビットストリームから、予め定義された、表示位置とオブジェクトサイズから少なくとも構成されるオブジェクト表示情報を出力するデコード部と、前記オブジェクト表示情報の中から選択されたグラフィックスオブジェクトに対応する表示位置とオブジェクトサイズを出力する表示領域選択部と、前記表示領域選択部により出力された領域に、選択されたグラフィックスオブジェクトをグラフィックス描画部により描画する描画制御部とを備える画像合成装置である。
この構成により、特に携帯端末において、少ない消費電力で、映像上に選択されたグラフィックスオブジェクトを効果的に合成できる。
また、B10の画像符号化装置は、映像信号を解析することによって特徴量を検出し、その特徴量に基づいて、その映像に適切なグラフィックスオブジェクトを選択する画像解析部をさらに備え、選択したグラフィックスオブジェクトのオブジェクト識別子、および、検出した特徴量、表示時刻情報、そして、前記表示領域検出部で検出された表示位置、オブジェクトサイズを、少なくとも含むオブジェクト表示情報を、ビットストリームに符号化するB8の画像符号化装置である。
この構成により、映像に適したグラフィックスオブジェクトを効果的に合成可能な部を提供することによって、単に映像を記録しただけでは得られない映像効果を提供できる。
また、B11の画像符号化装置は、前記デコード部が、入力されたビットストリームから、予め定義された、オブジェクト識別子、映像の特徴量、表示時刻情報、表示位置、オブジェクトサイズから少なくとも構成されるオブジェクト表示情報を出力し、前記描画制御部は、入力されたオブジェクト表示情報に基づいて、グラフィックスオブジェクトを描画するB9の画像合成装置である。
この構成により、単に映像を記録しただけでは得られない映像効果を簡単に得ることができる。
(実施の形態本体)
最初に、実施の形態本体(図1〜図7)が示される。次に、実施の形態本体が変形された変形例が示される(図8〜図18)。
実施の形態本体において、デコードした画像の中から空間周波数の低い領域を決定し、その、決定された領域に、グラフィックスオブジェクト(合成対象画像)を合成する画像合成装置1(図1)について説明する。なお、ここでは、説明の簡単化のため、一例として、HD解像度(1920画素×1080ライン)で記録されたISO/IEC14496−10で規定されるビットストリームをデコードして得られる画像に、グラフィックスオブジェクトとして字幕を画像合成装置1が合成する場合について説明する。
図1は、実施の形態本体における画像合成装置1の構成を示すブロック図である。
画像合成装置1では、ディジタル放送信号受信部、および、記憶部などから画像合成装置1に入力されたビットストリーム131をデコード部101がデコードする。そして、デコード部101がビットストリーム131からデコードした映像信号132上に、字幕(合成対象画像)を画像合成部103が合成する。なお、ディジタル放送信号受信部および上記記憶部は、例えば、デコード部101の一部等であってもよい。そして、画像合成装置1は、デコード部101、グラフィックス描画部102、画像合成部103、記憶部104、表示領域検出部105、描画制御部106を具備する。さらに、記憶部104は、オブジェクトデータ111を具備する。なお、ここで言われる、具備するとは、例えば、記憶することである。
デコード部101は、入力されたビットストリーム131をデコードして、HD解像度の映像信号132を出力する。出力される映像信号132は、ビットストリーム131がデコードされた映像信号である。
グラフィックス描画部102は、描画制御部106からの制御に基づいて、字幕(字幕の画像、グラフィックスオブジェクト)を描画する。具体的には、例えば、グラフィックス描画部102は、その字幕の画像を特定するデータを生成する。なお、この描画により、字幕が合成される画像の全体における、その字幕の領域も特定される。
画像合成部103は、デコード部101によりビットストリーム131からデコードされた映像信号132と、グラフィックス描画部102により描画(生成)された字幕とを合成して得られる映像信号133を出力する。ここで、出力される映像信号133が示す、字幕が合成された画像における、その字幕の領域は、上述の描画において特定された領域と同じ領域である。
記憶部104は、半導体メモリ素子等の記憶装置である。記憶部104は、オブジェクトデータ111を記憶する。
オブジェクトデータ111は、字幕(字幕の画像、グラフィックスオブジェクト、合成対象画像)を特定するデータである。オブジェクトデータ111は、例えば、特定される合成対象画像が、字幕の場合、字幕情報、表示位置、文字サイズ、文字色、背景色、表示時刻等で構成されるデータである。
図2は、表示領域検出部105が行う処理を示すフローチャートである。
図3は、表示領域検出部105、描画制御部106、合成前画像I等を示す図である。
表示領域検出部105は、デコード部101によりデコードされた画像ごとに、その画像(合成前画像I)の空間周波数を解析し(S104)、描画制御部106から出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い領域(領域Rl)を検出する(機能105f)。そして、表示領域検出部105は、検出された領域(領域Rl)の表示位置を、字幕の合成がされるべき合成位置として描画制御部106へと出力する(S115)。なお、表示領域検出部105は、通常、MPUやメモリ等から実現され得る。また、表示領域検出部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、表示領域検出部105は、ハードウェア(専用回路)で実現しても良い。
描画制御部106は、ユーザにより選択された字幕を描画するために、その字幕に対応するオブジェクトデータ111を記憶部104から逐次読み出し、その表示時刻ごとに、当該表示時刻の字幕の字幕表示領域サイズを計算する。そして、描画制御部106は、デコード部101により画像がデコードされるごとに、計算された字幕表示領域サイズを表示領域検出部105に出力することより、表示領域検出部105を用いて、字幕の表示位置(合成位置)を決定する。さらに、描画制御部106は、決定された表示位置に、グラフィックス描画部102により字幕を描画する。なお、描画制御部106は、通常、MPUやメモリ等から実現され得る。描画制御部106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
なお、例えば、画像合成装置1に設けられるなどしたユーザ入力部が、ユーザにより選択された字幕を特定するデータを当該画像合成装置1に入力することにより、入力されたデータが示す字幕が、当該入力部により選択されると理解されてもよい。
図4は、合成前画像Iと、表示領域検出部105等を示す図である。
次に、実施の形態本体における画像合成装置1のうち、表示領域検出部105の動作について、詳細に説明される。この説明では、具体的には、描画制御部106から、字幕表示領域サイズとして、860画素×160ラインの領域(領域R)が(その領域を特定する領域特定データが)表示領域検出部105に入力される。そして、その領域(字幕表示領域)を含むことが可能な、空間周波数が最も低い領域を表示領域検出部105が検出する。なお、この説明は、図2のフローチャートを用いて、行われる。
表示領域検出部105は、画像(合成前画像I)の空間周波数解析を行うために、画像の輝度成分について、8画素×8ラインのブロック単位に画像を分割する(S102、S103、S106、S107参照)。そして、表示領域検出部105は、分割された各画素ブロック(画素ブロックB)に対して、2次元DCT(Discrete Cosine Transform)変換(離散コサイン変換)を行う(S104)。式1に、画像f(x,y)(x=0,...,7,y=0,...,7)に対する2次元DCT式を示す。
この変換の結果、画素ブロックごとに64個のDCT係数F(u,v)を表示領域検出部105は得ることができる(64個のDCT係数B64)。
図5は、8画素×8ラインのDCT基底画像1aを示す図である。
図6は、模式的に表現されたDCT基底画像1ax(DCT基底画像1a)を示す図である。
DCT基底画像1aは、表示領域検出部105により特定された64個のDCT係数B64のそれぞれの波形を示す。
DCT基底画像1aの複数の部分は、右方向の部分に進むにつれて水平方向における高い周波数成分を表し、また、下方向の部分に進むにつれて垂直方向における高い周波数成分を表している。画像から分割されたそれぞれの画素ブロック(図4の画素ブロックB)は、その画素ブロックに対して表示領域検出部105がDCT変換を施すことにより、表示領域検出部105に得られる64個のDCT係数(64個のDCT係数B64)と、対応する基底画像との線形結合で表現される。すなわち、表示領域検出部105に得られる64個のDCT係数B64は、画素ブロックBを特定する。
ステップS101において、表示領域検出部105は、字幕表示領域である860画素×160ラインを含むことが可能な、8画素×8ラインの画素ブロック(画素ブロックB)の複数で構成可能な領域Rを決定する。この場合、表示領域検出部105は、領域Rとして、横108ブロック×縦20ブロックの領域を決定する。
ステップS102においては、各画素ブロックの空間周波数を求めるため、ステップS102からステップS107の処理を表示領域検出部105は行う。具体的には、デコード画像の縦方向の空間周波数解析を行うため、以下のステップを135回、ステップS102において表示領域検出部105は繰り返す。
ステップS103においては、デコード画像の横方向の空間周波数解析を行うため、以下のステップを240回、表示領域検出部105は繰り返す。
ステップS104においては、各画素ブロックの輝度成分について、2次元DCT変換を表示領域検出部105は行い、その画素ブロックにおける64個のDCT係数(64個のDCT係数B64)を計算する。
図7は、64個のDCT係数が分割された15列の表1bを示す図である。
ステップS105においては、ステップS104で計算した64個のDCT係数を、図7に示すように、15列に分割し、各列の平均を表示領域検出部105は求めることで、D0からD14までの15個の係数(15個の係数B15)を表示領域検出部105は算出する。このとき、それぞれの係数D(D0〜D14)は、D0からD14に向かって、低周波数成分から高周波数成分のエネルギー分布を表す係数となる。
ステップS106においては、表示領域検出部105は、各ブロックの横方向の空間周波数解析を240回行った場合、横方向の画素オフセットを0にして、次のステップに進む。そうでない場合、表示領域検出部105は、横方向の画素オフセットを8プラスして、ステップS103に戻る。
ステップS107においては、各ブロックの縦方向の空間周波数解析を135回行った場合、次のステップに進む。そうでない場合、縦方向の画素オフセットを8プラスにして、ステップS102に戻る。
すなわち、S102〜S107で、表示領域検出部105は、合成前画像I(図4)におけるそれぞれの画素ブロックBの64個のDCT係数B64(図4)を特定し(S104)、ひいては、それぞれの画素ブロックBの15個の係数B15(図4)を特定する(S105)。これにより、S102〜S107で、表示領域検出部105は、全ての領域Rについて、領域Rを構成する全ての画素ブロックBのDCT係数B64および15個の係数B15をそれぞれ特定する。
デコード画像(合成前画像I)における複数の領域Rの中から、最も空間周波数が低い、ステップS101で決定したサイズを有する領域R(領域Rl:図3)を検出するため、ステップS108からステップS114の処理を画像合成装置1は行う。
デコード画像の縦方向の空間周波数解析を行うため、以下のステップを115回、画像合成装置1は繰り返す(S108、S114)。
ステップS109では、デコード画像の横方向の空間周波数解析を行うため、以下のステップを132回、画像合成装置1は繰り返す。
ステップS110においては、現在処理する領域Rに含まれる各画素ブロックBについて、ステップS105で計算した15個の係数B15(D0〜D14)から、各係数の平均値、AVD0からAVD14を表示領域検出部105は計算する。つまり、ステップS110において、表示領域検出部105は、その領域Rにおける、その領域Rに含まれる複数の画素ブロックBの係数についての、係数D0の平均値、係数D1の平均値、…及び係数D14の平均値をそれぞれ算出する。これにより、表示領域検出部105は、算出される14個の平均値が集まってなる平均値集合AVD(図4)を計算(算出)する。
そして、算出される平均値集合AVDは、その平均値集合AVDの領域Rの高周波数性の評価値(空間周波数特性)を特定する。例えば、特定される評価値は、平均値集合AVDに含まれる、低い周波数の平均値から、高い周波数の平均値av1、av2、…avNに対する、「10^(−1)×avN + 10^(−2)×av(N−1) + … + 10^(−N)×av1」などである。なお、ここで、a^bはaのb乗を示す。
ここで、高周波数性の評価値は、より高い周波数成分を、より多くその領域Rが有するほど大きい値を有する評価値である。高周波数性の評価値が大きい値であるほど、例えば、その領域Rが、ピントの合わされた被写体の領域であるなどして、その領域Rの元々の画像の視聴がユーザにとり必要であり易い。このため、高周波数性の評価値が大きい値であるほど、合成対象画像(字幕)の合成で、その領域Rの元々の画像の視聴が妨げられることによる弊害が生じ易い。
すなわち、平均値集合AVDは、その平均値集合AVDが算出された領域Rの視聴が必要である必要性の高さを特定する。
ステップS111においては、ステップS110で計算した、現在処理される領域Rにおける、係数の平均値集合AVDについての処理が行われる。具体的には、この、現在の平均値集合AVDと、過去に処理された0個以上の領域Rの平均値集合AVDのうちでの、空間周波数が最小となる(特定される高周波数性の評価値が最低である)平均値集合MND(図4)とについて、処理が行われる。すなわち、現在の平均値集合AVDと、平均値集合MNDとの間で、係数14から係数0に向かって順番に(より高い周波数の係数から順番に)、現在の平均値集合AVDの係数と、平均値集合MNDの係数との比較を表示領域検出部105が行う。これにより、例えば、Ka<K≦NなるそれぞれのKにおける、K番目の順番の比較において比較結果が同一であるときに、次のように、一方の平均値集合が、高周波数性の評価値がより低い平均値集合として特定される。つまり、Ka番目の比較での結果が、一方の平均値集合の係数の方が小さいとの比較結果であるときに、小さい方の平均値集合が、高周波数性の評価値がより低い平均値集合として特定される。これにより、過去に処理された0個以上の平均値集合MNDの領域Rと、現在の平均値集合MNDの領域Rとの、1個以上の領域Rのうちで、高周波数性の評価値が最低である領域Rが表示領域検出部105により特定される。
現在の平均値集合AVDが、平均値集合MNDに比べて高周波数成分を多く含まない場合(高周波数性の評価値が小さい場合)、ステップS112へ、そうでない場合は、S113へ進む。
ステップS112においては、平均値集合AVDを平均値集合MNDと置き換え、この領域のオフセットを表示位置として保持する。
これにより、S110で特定された、高周波数性の評価値が最低である平均値集合が、次の平均値集合MNDとして、次のS110において表示領域検出部105により利用される。
ステップS113においては、表示領域検出部105は、領域Rについて、横方向の空間周波数比較を132回行った場合、横方向の領域Rのオフセットを0にして、次のステップに進む。そうでない場合、表示領域検出部105は、横方向のオフセットを8プラスして、ステップS109に戻る。
ステップS114においては、表示領域検出部105は、領域Rについて、縦方向の空間周波数比較を115回行った場合、縦方向の領域Rのオフセットを0にして、次のステップに進む。そうでない場合、表示領域検出部105は、横方向のオフセットを8プラスして、ステップS108に戻る。
これにより、最後のS111およびS112の処理の後の平均値集合MNDが、全ての領域Rのうちで、高周波数性の評価値が最低の平均値集合MND(図4の平均値集合MNDX)として表示領域検出部105により特定される。
ここで、領域Rl(図3)は、高周波数性の評価値が最低である平均値集合MNDXの領域Rである。また、領域Rmは、高周波数性の評価値が2番目に低い平均値集合MNDが算出された領域Rである。また、領域Rhは、高周波数性の評価値が3番目以後である領域Rである。
そして、領域Rlの軸周波数は、Kax番目に高い周波数である。ここで、Kax+1≦K≦NであるそれぞれのKについて、領域RmのK番目の周波数の係数の平均値と、領域RlのK番目の周波数の係数の平均値とは互いに同一である。そして、領域RmのKax番目の周波数の係数の平均値よりも、領域RlのKax番目の周波数の係数の平均値の方が小さい。領域Rlは、この軸周波数以上の高さのそれぞれの周波数の係数の平均値として、他の何れの領域Rでのその周波数の平均値よりも小さい平均値を有する。つまり、領域Rlは、軸周波数以上の高い周波数の成分として、何れの他の領域Rのその周波数の成分よりも小さい成分を有する。このため、領域Rlは、その領域の平均周波数などの、その領域を代表する代表周波数として、何れの他の領域Rの代表周波数よりも低い周波数を有する。
ステップS115においては、表示領域検出部105は、ステップS111で検出した領域R(領域Rl)の表示位置を、描画制御部106に出力して、図2の処理は終了する。
以上、実施の形態本体によれば、表示領域検出部105により、映像信号132の中で空間周波数の最も低い領域(領域Rl)が検出される。そして、そこ(検出された領域)に、グラフィックスオブジェクトをグラフィックス描画部102が表示する。このため、被写体の領域など、カメラのピントが合っている、空間周波数の高い領域にグラフィックスオブジェクトが重ならずに、効果的な映像を表示することができる。つまり、空間周波数(代表周波数)が高い領域への合成が回避される。これにより、視聴の必要性が高い領域に、合成が行われてしまうことが回避される。これにより、合成対象画像の合成がされるにも関わらず、合成後でも、合成前画像に含まれる、視聴の必要性が高い領域の画像が確実に視聴可能であるようにできる。また、グラフィックスオブジェクトを表示するために映像を縮小して表示することもないので、映像本来の解像度で視聴することができる。従って、合成された後の合成対象画像の画質が、縮小の表示により劣化するのが回避され、合成された合成対象画像の画質が高い画質に維持できる。
しかも、実施の形態本体によれば、空間周波数(代表周波数)が低い領域(領域Rl)に合成対象画像が合成されるので、合成された後の合成対象画像が、その領域における、合成対象画像以外の他の部分(例えば、背景)から、ユーザにより容易に識別できる。
なお、図2のフローチャートにおいて、デコード画像の輝度成分を、8画素×8ラインのブロックに分割して、2次元DCT変換を行っているが、画素ブロックの大きさはこれに限らない。
また、図2のフローチャートにおいて、領域Rの空間周波数が最も低くなる位置を決定するために、縦方向、横方向とも、8画素ずつオフセットをずらして比較していた。他方、オフセット値はこれに限らず、縦方向、横方向、それぞれ独立に、2次元DCT変換を行う画素ブロック幅の整数倍であれば良い。
なお、実施の形態本体によれば、デコード部101がデコードするビットストリーム131は、ISO/IEC14496−10で規定されるビットストリームであるとしたが、ISO/IEC13818−2で規定されるビットストリーム等でも良い。また、このビットストリームの映像サイズとして、HD解像度としたが、この解像度に限らない。
また、実施の形態本体によれば、記憶部104は、半導体メモリ素子等の記憶装置であるとしたが、ハードディスクやBD(Blu-ray Disc)等の記憶装置であっても良い。
また、実施の形態本体によれば、オブジェクトデータ111は、字幕データとしたが、アイコンやウィジェット等を描画するためのデータであっても良い。
また、実施の形態本体によれば、グラフィックスオブジェクトとして字幕だけを表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、オブジェクトが重ならないように、グラフィックスオブジェクトに優先度を付けてもよい。つまり、これにより、空間周波数のより低い領域から順に、優先度のより高いオブジェクトを表示しても良い。また、選択された複数のオブジェクトを結合して得られる領域が表示可能であり、かつ、空間周波数が低い領域を、表示領域検出部105によって検出しても良い。
また、実施の形態本体によれば、表示領域検出部105によって検出された表示領域に、グラフィックスオブジェクトを等倍で表示している。他方、表示領域検出部105は、検出された表示領域について、8画素×8ラインのブロック単位で、空間周波数分布を比較してもよい。そして、その結果に基づいて、相対的に高周波数成分を含む領域を避けるように、表示領域が縮小されて、その領域のオフセット値とオブジェクトサイズが出力されても良い。領域縮小時には、選択されたグラフィックスオブジェクトのオブジェクトサイズに応じて、縮小倍率閾値を規定しても良い。
また、実施の形態本体によれば、ビットストリームをデコードするごとに、表示領域検出部105によって表示領域を検出している。他方、検出した表示領域を記憶部に保持しておき、同じビットストリームを再度デコードする場合には、表示領域検出部105を用いず、記憶部に保持されている表示領域を用いても良い。
このような、実施の形態本体により、次のC1の画像合成装置が示される。C1の画像合成装置は、次の課題を踏まえた画像合成装置である。その課題とは、従来の画像合成装置においては、字幕を輝度差に基づいて字幕が見やすい領域に表示するだけであり、たとえその領域が人物などの被写体領域であっても、重ねて表示されてしまい、視聴が妨げられることである。そして、C1の画像合成装置は、入力されたビットストリーム131をデコードし、デコードした映像信号132上に、グラフィックスオブジェクトを合成する画像合成装置であって、デコードされた画像ごとに空間周波数を解析し、空間周波数が低い領域を検出する表示領域検出部105と、検出された領域にグラフィックスオブジェクトを描画する描画制御部106等を備えることで、グラフィックスオブジェクトを、被写体など、空間周波数の高い領域に重ねることなく、映像信号132に合成することができる画像合成装置である。
このように、画像合成装置1は、以下で説明される技術事項を有する。ただし、以下の説明は、単なる一例である。
画像合成装置1は、合成部(画像合成部103、描画部103a)と、領域特定部(表示領域検出部105)と、制御部(描画制御部106)とを備える。
合成部は、合成前画像(合成前画像I)の領域(領域R)に対して、合成対象画像(字幕)を合成することにより、当該領域に当該合成対象画像が合成された合成後画像(映像信号133の画像)を生成する。
なお、ここで、合成前画像は、動画像を構成する複数の画像のうちの1つの画像、つまり、それら複数の画像のうちのそれぞれの画像である。また、合成前画像は、ピントを合わせることで、カメラにより撮像された画像である。
領域特定部は、前記合成前画像における複数の領域(例えば、領域Rl、領域Rm)のうちから、予め定められた特定周波数(軸周波数)以上の周波数の成分の大きさが最小である領域(領域Rl)を特定する。
制御部は、前記合成対象画像における、前記領域特定部により特定された前記領域(領域Rl)に対する合成を前記合成部に行わせる制御を当該合成部に対して行う。
ここで、前記特定周波数(軸周波数)は、当該特定周波数よりも高いそれぞれの周波数において、特定される前記領域(領域Rl)のその周波数の成分の大きさ(DCT係数の平均値)が、他の領域(他の領域Rm)におけるその周波数の成分と同一である周波数である。かつ、当該特定周波数は、特定される前記領域(領域Rl)の当該特定周波数の成分の大きさが、前記他の領域における当該特定周波数の成分の大きさよりも小さい周波数である。
そして、前記合成前画像におけるそれぞれの領域(領域Rl、領域Rm)での、それぞれの周波数における前記成分の大きさ(DCT係数の平均値)は、次の値である。つまり、この値は、当該領域を構成する、予め定められた複数の部分(画素ブロックB)における、その周波数の成分の大きさ(図7の15列の列でのDCT係数の平均たる列平均)の平均値である。
そして、それぞれの前記部分(画素ブロックB)におけるそれぞれの周波数の前記成分の大きさ(列平均)は、次の値である。つまり、この値は、その周波数を特定する値L(列の番号)に関して、u+v=Lであるそれぞれのuおよびvの組についての、当該部分のDCT係数F(u,v)(0≦u≦M、0≦v≦M、L≦2×M)(その列のDCT係数)の平均値である。
さらに、後述の画像合成装置3(図10)は、次の技術事項を有する。
この画像合成装置は、動画像を構成する複数の画像に含まれる画像が、当該動画像におけるシーンチェンジの時ではない画像か否か特定する画像特定部(カウンタ321)を備える。
前記合成部は、前記動画像のそれぞれの前記画像に対して前記合成を行う。
前記制御部は、前記画像特定部により、前記シーンチェンジの時の画像ではない特定される第1の画像への前記合成では(S21c:YES)、当該第1の画像について前記領域特定部により特定された前記領域に当該合成を行わせる(S22)。
前記制御部は、前記画像特定部により、前記シーンチェンジの時の画像ではないと特定されない第2の画像への前記合成では(S21b:NO、21c:NO)、当該第2の画像について特定される前記領域への前記合成をさせず、他の領域に合成をさせる制御を前記合成部に対して行う。
この画像合成装置は、次のA6の画像合成装置の一例である。
A6の画像合成装置は、前記検出部は、カウンタ(カウンタ321)を備え、表示時刻ごとに前記検出を行い、今回の表示時刻で検出した表示位置と、前回の検出時刻で検出した表示位置とを比較し、今回の前記表示位置と前回の前記表示位置との間の移動距離が閾値以内の場合は、前記カウンタの値に予め定められた加算値(1)を加算し、移動距離が前記閾値以上の場合は、前記カウンタの値を初期化し、前記カウンタの値が予め定められた閾値(6)以上であり、現在が、シーン切り替えの発生時ではないと前記カウンタの値により特定される場合には(S21c:YES)、検出した今回の前記表示位置を、今回の前記表示時刻の表示位置として出力し、前記カウンタの値が前記閾値未満であり、当該特定がされない場合には(S21c:NO、S21b:NO)、前記カウンタの値が前記閾値以上になるまでのそれぞれの表示時刻で、前回の前記表示位置を出力して、前記グラフィックスオブジェクトの表示位置の安定待ちを行う上記A2の画像合成装置である。
A7の画像合成装置は、複数の前記グラフィックスオブジェクト(オブジェクトデータ111)から、前記グラフィックスオブジェクトを選択する選択部(選択部3051)を備え、前記オブジェクトデータ記憶部は、複数の前記オブジェクトデータを保持し、それぞれの前記オブジェクトデータは、そのオブジェクトデータの前記グラフィックスオブジェクトの表示時刻を含み、前記選択部は、表示時刻ごとに、その表示時刻が含まれる前記オブジェクトデータの前記グラフィックスオブジェクトを選択し、前記検出部は、表示時刻ごとに、前記検出及び前記出力を行い、前記描画制御部は、表示時刻ごとに、その表示時刻で前記選択部により選択された前記グラフィックスオブジェクトを、その表示時刻で前記検出部により出力された表示位置で、その表示時刻に前記グラフィックス描画部に描画させ、前記画像合成部は、動画像を構成する、それぞれの画像が、その画像の表示時刻を有する複数の前記画像に含まれる画像ごとに、その画像の前記表示時刻において、その画像へと、その表示時刻に前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成するA6の画像合成装置である。
なお、ここでいう表示時刻とは、グラフィックスオブジェクトの表示時刻ではなく、映像の表示時刻である。例えば、映像の表示時刻ごとに、検出部による検出などが行われる。グラフィックスオブジェクトは、それぞれの表示時刻の映像のうちで、そのオブジェクトに対応する映像の表示時刻において、表示される。そして、ここで、シーン切り替え時には、空間周波数分布が激しく変わる。このため、空間周波数分布から決まる位置も激しく変わってしまう。そこで、シーン切り替え時には、空間周波数分布の変化に関わらずに、オブジェクト表示位置は変更しないようにされる。これにより、シーン切り替え時に、オブジェクト表示位置が激しく変化してしまうことが回避され、グラフィックスオブジェクトの可読性が向上できる。
なお、画像合成装置1の全部又は一部は、例えば、コンピュータ19(図1)であってもよい。コンピュータ19は、CPU191(Central Processing Unit)、RAM192(Random Access Memory)、ROM193(Read Only Memory)などを有する。コンピュータ19(CPU191)は、例えばコンピュータ19に記憶されるなどした、上記の機能(表示領域検出部105等)の全部又は一部が記述されたコンピュータプログラムを実行することにより、そられの機能をコンピュータ19(CPU191)に実現してもよい。なお、記憶部104は、例えば、コンピュータ19に設けられた、HDD(Hard Disk Drive)、SDD(Solid State Drive)、RAM192、ROM193などの1つ又は複数(すなわち記憶装置1921)による機能ブロックと理解されてもよい。一方、処理を行う機能の機能ブロックの一部又は全部は、例えば、その処理が実行されるCPU191による機能ブロックと理解されてもよい。上述された情報処理(情報の演算(加工))は、これらのハードウェア資源(CPU191、記憶装置1921(ROM192、RAM193))を画像合成装置1が用いることにより、実現される。つまり、その情報処理が記述された上記コンピュータプログラムと、CPU191等のハードウェア資源とが協働することにより、使用目的に応じた上記情報処理を実行する情報処理装置(画像合成装置1)、及び、その動作の方法が構築される。なお、上記のコンピュータプログラムは、例えば、記憶装置1921に記憶される。
なお、図1の各機能ブロックの機能は、集積回路に実現されてもよい。ここで、この集積回路は、例えば、所謂1チップLSI(Large Scale Integration)であってもよい。
なお、図1の各機能ブロックの機能の一部又は全部は、ハードウェアにより(布線論理により)実現された機能であってもよい。
(変形例1)
変形例1において、画像合成装置2について説明する。画像合成装置2では、グラフィックスオブジェクトの種別ごとに、オブジェクトの表示領域を規定する一つ以上の表示対象領域を定義する。また、画像合成装置2では、グラフィックスオブジェクトの表示時刻ごとに、その表示対象領域の中から表示可能な領域を絞り込む。なお、ここでも、説明の簡単化のため、上述された、実施の形態本体の場合と同様に、HD解像度(1920画素×1080ライン)で記録されたISO/IEC14496−10で規定されるビットストリームをデコード部101がデコードして得られる画像に、合成がされる場合について説明する。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置2が合成する。
図8は、変形例1における画像合成装置2の構成を示すブロック図である。
図9は、記憶部104に記憶されるオブジェクト識別子212と、表示対象領域情報213と、標準表示周期情報214とを示す図である。
画像合成装置2は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置2に入力されたビットストリーム131をデコードし、デコードした映像信号132上に、グラフィックスオブジェクトを合成する。そして、画像合成装置2は、デコード部101、グラフィックス描画部102、画像合成部103、記憶部104を具備する。この点は、実施の形態本体と同じである。さらに、画像合成装置2は、表示領域検出部105、描画制御部106の代わりに、表示領域検出部205、描画制御部206をそれぞれ具備する。また、記憶部104は、オブジェクトデータ111を具備する。この点は、実施の形態本体と同じであるが、さらに、記憶部104は、オブジェクト識別子212、表示対象領域情報213、標準表示周期情報214を具備する。なお、212xは、複数のオブジェクト識別子212(の全体)を指す符号であり、213xは、複数の表示対象領域213x(の全体)を指す符号であり、214xは、複数の標準表示周期情報214(の全体)を指す符号である。
オブジェクト識別子212は、選択可能なグラフィックスオブジェクトの種別(字幕、アイコン、ウィジェット…)ごとに付与された識別子である。オブジェクト識別子212は、複数の種別から、1つの種別を特定する。例えば、字幕にはID1が、アイコンにはID2が、ウィジェットにはID3がそれぞれ与えられている。オブジェクト識別子212、表示対象領域情報213、そして、標準表示周期情報214は、それぞれ対になっている。このため、ID1のオブジェクト識別子212が指定されると、ID1の種別である字幕を表示するための表示対象領域情報213と標準表示周期情報214とが、指定されたオブジェクト識別子212に対応する表示対象領域情報213等として、描画制御部206により特定される。
表示対象領域情報213は、グラフィックスオブジェクトの表示領域を規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。表示対象領域情報213は、グラフィックスオブジェクトの種別ごとに表示領域として一つ以上の領域が定義できる。例えば、字幕の場合、表示対象領域として、次の表示領域1〜4が、それぞれ、その表示領域に対応する表示対象領域情報213(表示対象領域情報213a、表示対象領域情報213b等)により定義されている。例えば、表示領域1は、画素オフセット(0,800)、サイズ1920画素×280ラインの領域である。そして、表示領域2は、画素オフセット(0,0)、サイズ1920画素×280ラインの領域である。また、表示領域3は、画素オフセット(0,810)、サイズ320画素×1080ラインの領域である。そして、表示領域4は、画素オフセット(0,0)、サイズ320画素×1080ラインの領域である。なお、表示対象領域情報213cは、アイコンの表示対象領域情報213である。
標準表示周期情報214は、グラフィックスオブジェクトの表示周期を規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。標準表示周期情報214は、その標準表示周期情報214のグラフィックスオブジェクトが、オブジェクトデータ111に表示時刻が含まれないグラフィックスオブジェクトの場合に、表示時刻を描画制御部206が算出するために描画制御部206により使用される。グラフィックスオブジェクトの種別が字幕の場合、オブジェクトデータ111に表示時刻が含まれるため、標準表示周期情報214は使用されない。一方、種別がアイコンやウィジェットの場合、その種別のグラフィックスオブジェクトのオブジェクトデータ111に、表示時刻が含まれないため、そのグラフィックスオブジェクトに対応する標準表示周期情報214に基づいて表示時刻が描画制御部206により算出される。
描画制御部206は、デコード部101により画像がデコードされるごとに、字幕表示領域サイズを、表示領域検出部205に出力することより、字幕の表示位置を、表示領域検出部205を用いて決定するそして、描画制御部206は、グラフィックス描画部102により、その表示位置に字幕を描画する。このことは、実施の形態本体と同様である。さらに、描画制御部206は、表示時刻ごとに、グラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を向上させる。すなわち、可読性の向上のために、描画制御部206は、表示時刻ごとに、記憶部104から、字幕に対応する表示対象領域情報213、表示領域1から4(表示対象領域情報213a、表示対象領域情報213b等)をそれぞれ読み出す。そして、描画制御部206は、表示領域検出部205に、表示対象領域情報213、表示領域1から4(表示対象領域情報213a、表示対象領域情報213b…)をそれぞれ出力し、それらの領域の中から、最初の表示位置を決定する。次に、描画制御部206は、表示領域1から4の中から、検出された表示位置(最初の表示位置)を含む表示対象領域(最初の表示対象領域)を一つ決定し、次の表示時刻までは、決定された表示対象領域(最初の表示対象領域)の各位置の中から、表示領域検出部205により表示位置を決定する。なお、描画制御部206は、通常、MPUやメモリ等から実現され得る。描画制御部206の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
表示領域検出部205は、デコード部101によりデコードされた画像ごとに、その画像の空間周波数を解析し、描画制御部206で出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い領域(領域Rl)を検出し、その領域の表示位置を描画制御部206に出力する。このことは実施の形態本体と同様である。但し、この時、同時に、表示領域検出部205は、描画制御部206から表示領域検出部205に出力された複数の表示対象領域の中から、描画制御部206で出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い表示対象領域を検出する。なお、表示領域検出部205は、通常、MPUやメモリ等から実現され得る。表示領域検出部205の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。先述のように、検出された表示対象領域は、その検出における上記表示時刻以後、その表示時刻の次の表示時刻まで、利用される。
以上、変形例1によれば、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクトの特性に合わせて、オブジェクト識別子、表示対象領域、標準表示周期を定義することができる。さらに、表示時刻ごとに、表示対象領域の中からグラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を向上することができる。
なお、変形例1によれば、オブジェクト識別子212として、字幕、アイコン、ウィジェットの例を示したが、これに限らない。
また、変形例1によれば、表示対象領域として、4つの表示領域をもつ場合の例を示したが、表示領域の数、および、表示領域のオフセット、表示領域のサイズは、これに限らない。
また、変形例1によれば、グラフィックスオブジェクトとして字幕を表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、各オブジェクトの表示時刻ごとに決定される表示対象領域が重ならないように、表示対象領域を決定しても良い。
(変形例2)
変形例2において、シーン切り替え発生時の、グラフィックスオブジェクトの表示位置の安定待ちを行う画像合成装置3について説明する。なお、ここでも、説明の簡単化のため、実施の形態本体の場合と同様に、HD解像度(1920画素×1080ライン)で記録されたISO/IEC14496−10で規定されるビットストリームをデコード部101がデコードして得られる画像に、合成がされる場合について説明される。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置3が合成する。
図10は、変形例2における画像合成装置3の構成を示すブロック図である。
画像合成装置3は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置3に入力されたビットストリーム131をデコードし、デコードした映像信号132上に、グラフィックスオブジェクトを合成する。そして、画像合成装置3は、デコード部101、グラフィックス描画部102、画像合成部103、記憶部104、描画制御部106、を具備する。この点は、実施の形態本体と同じである。また、画像合成装置3は、表示領域検出部105の代わりに、表示領域検出部305を具備すると共に、表示領域検出部305は、カウンタ321をさらに具備する。
図11は、画像合成装置3の処理を示すフローチャートである。
カウンタ321は、表示領域検出部305により制御されるカウンタである。カウンタ321は、映像のシーン切り替えに伴う空間周波数の分布の変化により発生するグラフィックスオブジェクトの表示位置安定待ちを行うためのカウンタである。このために、カウンタ321は、適宜、保持される値の加算と、その値の初期化がされる。つまり、表示領域検出部305が検出した今回の表示位置と、前回検出した表示位置とから計算された、縦方向、横方向の移動距離が閾値以内の場合(S21b:YES)、つまり、例えば、それぞれの移動距離が何れも閾値以内の場合は、シーン切り替えが発生しなかったとして、カウンタ321の値に対して、値1等の加算値が表示領域検出部305により加算される。他方、移動距離が閾値以上の場合は(S21:NO)、シーン切り替えが発生したとして、カウンタ321の値が表示領域検出部305により0に初期化される。例えば、縦方向の閾値として、HD解像度の縦方向のライン数の1/4である270に、横方向の閾値として、HD解像度の横方向の画素数の1/4である480にした場合、縦方向、あるいは、横方向の移動距離のどちらか一方が、閾値以上になった場合には(S21b:NO)、シーン切り替えが発生したとして0で、その値が初期化される。
表示領域検出部305は、デコード部101によりデコードされた画像ごとに、その画像の空間周波数を解析し、描画制御部106で出力される字幕表示領域サイズを含むことが可能な空間周波数が最も低い領域(領域Rl)を検出する。そして、表示領域検出部305は、検出された領域の表示位置を描画制御部106に出力する。このことは、実施の形態本体と同様である。そして、さらに、表示領域検出部305は、検出した今回の表示領域の表示位置と、前回検出した表示位置とから、縦方向、横方向の移動距離をそれぞれ計算し(S21a)、どちらか一方の移動距離が閾値以上である場合は(S21b:NO)、カウンタ321の値を0で初期化し、そうでない場合は(S21b:YES)、カウンタの値を1加算する。
次に、表示領域検出部305は、カウンタ321の値に応じて、検出した表示位置を描画制御部106に出力するかどうかの判定を行う(S21c)。表示領域検出部305は、カウンタ321の値が6以上の場合には(S21c:YES)、検出した表示位置を、確定した表示位置として記憶部104に記憶すると同時に、描画制御部106に出力する(S22)。他方、表示領域検出部305は、カウンタ321の値が6以内の場合には(S21c:NO)、カウンタ321の値が6以上になるまで、検出した表示位置ではなく、前回、記憶部104に記憶した表示位置を描画制御部106に出力する。つまり、シーン切り替えが発生していないと判断される場合(S21c:YES)、今回検出された表示位置(合成位置)への合成が行われ(S22)、発生したと判断される場合(S21b:NO)、又は、判断の途中であり、判断結果が未だ不明である場合(S21c:NO)、新しい合成位置への合成はされず、過去に特定された合成位置に合成が行われる。なお、表示領域検出部305は、通常、MPUやメモリ等から実現され得る。表示領域検出部305の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
以上、変形例2によれば、カウンタ321により、シーン切り替えに伴う空間周波数分布の変化時のグラフィックスオブジェクトの表示位置の安定待ちを行う。これにより、グラフィックスオブジェクト表示位置の移動回数増加を軽減することができ、グラフィックスオブジェクトの可読性を向上することができる。
なお、変形例2によれば、カウンタ321を制御するための、縦方向の閾値として、HD解像度の縦方向のライン数の1/4である270に、横方向の閾値として、HD解像度の横方向の画素数の1/4である480にした場合を示したが、これに限らない。
また、変形例2によれば、カウンタ321が6以上の場合に、表示位置を更新しているが、カウンタ321の閾値としては、これに限らない。
また、変形例2によれば、カウンタ321が6より小さい場合には、表示位置を更新しない。他方、シーン切り替えが連続して発生する場合を考慮して、デコードタイミングに同期する別のカウンタや、タイマなどによりタイムアウト制御を行い、タイムアウト時には、強制的に表示位置を更新するようにしても良い。
また、表示領域検出部305は、ビットストリーム131に含まれる動きベクトルを参照することによって、あるいは、フレームデコードを通常よりも先行して行うことによって、空間周波数が低い領域の遷移状況を解析し、空間周波数が低い領域の遷移を予測する。これにより、シーン切り替えに伴う、グラフィックスオブジェクトの移動を抑制しても良い。
また、変形例2によれば、グラフィックスオブジェクトを字幕としたが、アイコン、ウィジェット等としても良い。
(変形例3)
変形例3において、グラフィックスオブジェクト表示領域とグラフィックスオブジェクトの輝度差から、グラフィックスオブジェクトの輝度値を変更する画像合成装置4について説明する。なお、ここでも、説明の簡単化のため、実施の形態本体の場合と同様に、HD解像度(1920画素×1080ライン)で記録されたISO/IEC14496−10で規定されるビットストリームをデコード部101がデコードして得られる画像に、合成がされる場合について説明される。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置4が合成する。
図12は、変形例3における画像合成装置4の構成を示すブロック図である。
画像合成装置4は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置4に入力されたビットストリーム131をデコードし、デコードした映像信号132上に、グラフィックスオブジェクトを合成する。そして、画像合成装置4は、デコード部101、グラフィックス描画部102、画像合成部103、記憶部104、表示領域検出部105、を具備する。この点は、実施の形態本体と同じである。また、画像合成装置4は、描画制御部106の代わりに、描画制御部406を具備すると共に、色情報比較部407をさらに具備する。
図13は、画像合成装置4の処理を示すフローチャートである。
色情報比較部407は、描画制御部406から出力された字幕表示領域サイズと、表示領域検出部105から出力された表示位置とに基づいて、平均輝度値を計算する(S31)。具体的には、このとき、色情報比較部407は、字幕表示領域サイズと表示位置とに基づいて、デコード部101によりデコードされた画像の中における、その字幕表示領域サイズでの、その表示位置での領域(領域Rl)の平均輝度値を計算する。
一方、色情報比較部407は、描画制御部406を通じて、記憶部104に記憶された字幕のオブジェクトデータ111から、字幕の文字色情報を読み出し、読み出した文字色情報により特定される、その字幕の輝度値を計算する(S32)。例えば、字幕の文字色がRGBの場合、ITU−R BT.709に基づいて輝度値を色情報比較部407は計算する。次に、色情報比較部407は、グラフィックスオブジェクト表示領域から算出した平均輝度値(S31)と、字幕の文字色から算出した平均輝度値(S32)を比較し(S33)、輝度比が予め定められた閾値(例えば、2)以下の場合には(S33:YES)、輝度比がその閾値(2)より大きくなるように、字幕の文字色の輝度成分を変換する(S34)。そして、色情報比較部407は、この変換をしてから、その文字色情報を描画制御部406に出力する(S35)。一方、色情報比較部407は、輝度比が2より大きい場合には(S33:NO)、字幕のオブジェクトデータ111から読み出したものと同じ、字幕の文字色情報を描画制御部406に出力する(S35)。なお、色情報比較部407は、通常、MPUやメモリ等から実現され得る。色情報比較部407の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
描画制御部406は、デコード部101により画像がデコードされるごとに、字幕表示領域サイズを表示領域検出部105に出力することより、字幕の表示位置を決定し、グラフィックス描画部102により、その表示位置に字幕を描画する。このことは、実施の形態本体と同様である。さらに、描画制御部406は、色情報比較部407から出力された、字幕の文字色情報(S35)に基づいて、グラフィックス描画部102により、出力されたその文字色情報により指定された文字色で、字幕を描画する(S36)。なお、描画制御部206は、通常、MPUやメモリ等から実現され得る。描画制御部206の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
以上、変形例3によれば、輝度差が閾値以下の場合か否か(S33)に合わせて処理がされる。ここで、この輝度差は、表示領域検出部105により検出されたグラフィックスオブジェクト表示領域に対応するデコード画像の平均輝度値(S31)と、描画するグラフィックスオブジェクトの平均輝度値(S32)との輝度差である。すなわち、輝度差が閾値以下の場合(S33:YES)、輝度差が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を色情報比較部407が変更する。これにより(S34)、グラフィックスオブジェクトが、映像の中で空間周波数の最も低い領域(領域Rl)に表示される。これにより、グラフィックスオブジェクトの視認性が向上できる。
なお、変形例3によれば、ITU−R BT.709に従って、RGBから輝度値を算出したが、輝度値の算出方法はこれに限らない。例えば、SD解像度の場合、ITU−R BT.601に基づいて、RGBから輝度値を算出できる。
また、変形例3によれば、グラフィックスオブジェクトの視認性を輝度比により色情報比較部407が評価しているが(S33)、輝度差により評価しても良い。
また、変形例3によれば、グラフィックスオブジェクトを視認できる輝度比の閾値を2としているが、これに限らない。
また、変形例3によれば、グラフィックスオブジェクトの視認性を向上させるために輝度値を用いるが、輝度値と色差値とを組み合わせてオブジェクトの視認性を確保してもよい。また、輝度値の代わりに、色差値を用いてオブジェクトの視認性を確保してもよい。
また、変形例3によれば、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を変更することにより、字幕の文字色を変更していたが、輝度比が閾値より大きくなるような他の文字色を選択しても良い。
また、変形例3によれば、輝度比を大きくするために、選択グラフィックスオブジェクトの表示色を色情報比較部407が変更していた(S34)。他方、表示領域検出部105により検出されたグラフィックスオブジェクト表示領域部分に対応する映像信号の輝度値を色情報比較部407が変更してもよい。
また、変形例3によれば、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を色情報比較部407が変更する。これにより、字幕の文字色が変更されていた(S34)。他方、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの透明度(α値)、あるいは、表示領域検出部105により検出されたグラフィックスオブジェクト表示領域部分に対応する映像信号の透明度(α値)が色情報比較部407が変更されても良い。
また、変形例3によれば、グラフィックスオブジェクト表示領域部分の輝度値として、表示領域の平均輝度値を用いたが、輝度値のばらつきが大きい場合、視認性が低い領域が発生する場合がある。輝度値のばらつきによる視認性の低下を防止するために表示領域を複数のブロックに分割し、分割された領域ごとに輝度値を評価、変更しても良い。
また、変形例3によれば、グラフィックスオブジェクト表示領域部分の輝度値として、表示領域の平均輝度値を用いたが、処理量の削減のために、表示領域全体の輝度値から間引いて得られる平均輝度値を用いてもよいし、表示領域の輝度分布から、中央値を用いてもよい。
また、変形例3によれば、画像がデコードされるごとに、選択されたグラフィックスオブジェクトの輝度値を評価して、その結果により輝度値を変更しているが、輝度値を変更するタイミングはこれに限らない。グラフィックスオブジェクトの表示時刻ごとに、輝度値を評価、変更してもよいし、シーンの切り替わりごとに輝度値を評価、変更してもよいし、また、一定時間ごとに輝度値を評価、変更してもよい。
また、変形例3によれば、グラフィックスオブジェクトを字幕としたが、アイコン、ウィジェット等としても良い。
(変形例4)
変形例4において、グラフィックスオブジェクトの種別ごとに表示領域を決定し、表示情報としてエンコードする画像符号化装置5について説明される。また、符号化されたグラフィックスオブジェクト表示情報から、選択されたグラフィックスオブジェクトに対応する表示領域情報を取得して、その領域にグラフィックスオブジェクトを合成する画像合成装置6について説明する。すなわち、画像符号化装置5および画像合成装置6を備える画像処理システム6sが説明される。
なお、ここでは、説明の簡単化のため、画像符号化装置5は、BDレコーダーに実装される例が説明される。そして、画像符号化装置5は、携帯端末用に、VGA解像度(640画素×480ライン)の映像に対して、字幕、ウィジェット、アイコン表示用の表示領域をそれぞれ検出する。そして、それらの領域が、表示情報として、ISO/IEC14496−10で規定されるビットストリームで画像符号化装置5によりエンコードされる。一方、携帯端末に実装された画像合成装置6は、画像符号化装置5で符号化されたビットストリーム535をデコードし、選択されたウィジェットオブジェクトに対応する表示領域情報を取得して、デコードして得られる画像に、ウィジェットを合成する場合について説明する。
図14は、変形例4における画像符号化装置5、および、画像合成装置6の構成を示すブロック図である。
まず、変形例4における画像符号化装置5について説明する。
画像符号化装置5は、デコード部、および、記憶部から画像符号化装置5に入力された映像信号534を、ISO/IEC14496−10で規定されるビットストリーム535として、エンコードする画像符号化装置である。そして、画像符号化装置5は、エンコード部508、記憶部504、表示領域検出部505を具備する。さらに、記憶部504は、オブジェクト識別子512、標準オブジェクトサイズ515を具備する。
記憶部504は、実施の形態本体で示した記憶部104と同じ、半導体メモリ素子等の記憶装置である。
オブジェクト識別子512は、携帯端末で選択可能なグラフィックスオブジェクトの種別ごとに付与された識別子である(図8のオブジェクト識別子212参照)。例えば、字幕にはID10が、アイコンにはID12が、ウィジェットにはID13がそれぞれ与えられている。オブジェクト識別子512と、標準オブジェクトサイズ515とは、それぞれ対になっている。このため、ID10のオブジェクト識別子が指定されると、字幕を表示するための標準オブジェクトサイズ515が、そのオブジェクト識別子512に対応する標準オブジェクトサイズ515として、表示領域検出部505により特定される。この特定では、複数の標準オブジェクトサイズ515のうちから特定される。
標準オブジェクトサイズ515は、携帯端末で表示できるグラフィックスオブジェクトの標準サイズを規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。標準オブジェクトサイズ515においては、例えば、字幕の場合には、280画素×48ラインが、アイコンの場合には、32画素×32ラインが、そして、ウィジェットの場合には、120画素×96ラインが、それぞれ、その種別の標準オブジェクトサイズ515により定義されている。
なお、512xは、複数のオブジェクト識別子512(の全体)を示す符号であり、515xは、複数の標準オブジェクトサイズ515(の全体)を示す符号である。
エンコード部508は、画像符号化装置5に入力された、VGA解像度の映像信号534をエンコードして、ISO/IEC14496−10で規定されるビットストリーム535として、エンコードされた後のデータを出力する。また、エンコード部508は、表示領域検出部505で出力された字幕、ウィジェット、アイコン表示用の表示情報を、画像ごとにUser Data Unregistered SEIにエンコードする。ここで、表示情報は、オブジェクト識別子、表示位置、オブジェクトサイズから構成されるデータである。
図15は、エンコード部508により出力されるビットストリーム535について、ISO/IEC14496−10で規定されるNAL(Network Abstraction Layer)ユニットに基づいて、その構成を示した図である。図15では、NALユニットとして、SEI611d(Supplemental Enhancement Information)、SPS611b(Sequence Parameter Set)、PPS611c(Picture Parameter Set)、AU(Access Unit)デリミタ611a、シーケンスの終了(End Of Sequence:EOS)611g、ストリームの終了(End Of Stream:EOS)611f、スライス(符号化ピクチャ)611eなどで構成される例を示している。なお、変形例4では、符号化ピクチャごとに、少なくともAUデリミタ611aと、任意のユーザ・データが記述可能なSEI611dである、User Data Unregistered SEIが、必ず付与されているものとする。
図16は、エンコード部508により出力されるUser Data Unregistered SEIの構造を表すシンタックスの表6Tを示す図である。ここでは、シンタックスを、コンピュータ装置などのプログラムの記述言語として用いられるC言語の記述法に基づいて示している。
図16で示したUser Data Unregistered SEIは、表6Tの最初の行にuser_data_unregistered(payloadSize)として示されるように、ペイロードサイズ、すなわち、このUser Data Unregistered SEIの全体のデータ長が指定されているデータである。次の行の、128ビットのデータ長を有するフィールドuuid_iso_iec_11578は、一意に識別できる識別情報が格納される。次のデータ長が8ビットのフィールドnumber_of_glaphics_obect_type_entriesは、このピクチャで定義されているグラフィックスオブジェクト種別の数である。次のforループ文に従い、number_of_glaphics_obect_type_entriesに示される数だけ、表示情報が格納される。
次に、表示情報に対応するフィールドについて説明する。データ長が8ビットのフィールドglaphics_obect_type_idは、オブジェクト識別子であり、データ長が16ビットのフィールドoffset_xとoffset_yにより、表示位置を表し、最後に、データ長が16ビットのフィールドwidth_sizeとheight_sizeにより、オブジェクトサイズを表す。
変形例4では、User Data Unregistered SEI に、字幕、アイコン、ウィジェットの3つの表示情報を格納するため、number_of_glaphics_obect_type_entriesは3である。また、字幕に対応する表示情報のglaphics_obect_type_idはID10(数字の10とする)であり、offset_xとoffset_yは(0,0)を示し、width_sizeとheight_sizeは280画素×48ラインを示している。なお、この場合のpayloadSizeは44バイトとなる。
なお、ここでいう、ビットストリーム535の出力とは、画像符号化装置5の外部にある外部装置への、画像符号化装置5によるビットストリーム535の送信、記録媒体へのビットストリーム535の画像符号化装置5による蓄積を含む概念である。
また、エンコード部508は、通常、MPUやメモリ等から実現され得る。エンコード部508の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
表示領域検出部505は、画像符号化装置5に入力された画像ごとに、その画像の空間周波数を解析し、標準オブジェクトサイズ515を含むことが可能な空間周波数が最も低い領域(領域Rl)を検出する。このことは、実施の形態本体と同様である。ここで、標準オブジェクトサイズ515は、字幕、アイコン、ウィジェット用に複数ある。このため、表示領域検出部505は、それぞれの標準オブジェクトサイズ515を、記憶部504から逐次読み出して、それぞれのオブジェクトに対応する表示領域を検出し、字幕、アイコン、ウィジェット用の表示情報を各々出力する。ここで、出力される表示情報は、検出(特定)された表示位置と、読み出された標準オブジェクトサイズ515とで構成される。なお、表示領域検出部505は、通常、MPUやメモリ等から実現され得る。表示領域検出部505の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、変形例4における画像合成装置6について説明する。
画像合成装置6は、前記、画像符号化装置5から出力されたビットストリーム535が入力されて、入力されたビットストリーム535をデコードし、その、ビットストリーム535をデコードした映像信号632上に、選択されたグラフィックスオブジェクトを合成表示する。そして、画像合成装置6は、グラフィックス描画部102、画像合成部103、記憶部104を具備する。この点は、実施の形態本体と同じである。さらに、画像合成装置6は、デコード部101、表示領域検出部105、描画制御部106の代わりに、デコード部601、表示領域選択部609、描画制御部606を、それぞれ具備する。
デコード部601は、ISO/IEC14496−10で規定されるビットストリーム(ビットストリーム535)をデコードする。この点は、実施の形態本体と同じであるが、さらに、デコード部601は、ビットストリーム中のUser Data Unregistered SEIから、字幕、アイコン、ウィジェット用の表示情報を取得し、出力する。
表示領域選択部609は、デコード部601から出力された、字幕、アイコン、ウィジェット用の表示情報の中から、選択されたウィジェットに対応する表示情報を、オブジェクト識別子により選択する。そして、表示領域選択部609は、選択された表示情報に含まれる、表示位置とオブジェクトサイズとを描画制御部606に出力する。なお、表示領域選択部609は、通常、MPUやメモリ等から実現され得る。表示領域選択部609の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
描画制御部606は、デコード部601により画像がデコードされるごとに、表示領域選択部609から入力された表示位置に基づいて、その表示位置に、ウィジェットを描画する。このことは、実施の形態本体と同様である。さらに、描画制御部606は、表示領域選択部609から入力されたオブジェクトサイズに基づいて、グラフィックス描画部102により、ウィジェットを拡大、および、縮小して、描画する。なお、描画制御部606は、通常、MPUやメモリ等から実現され得る。描画制御部606の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
以上、変形例4においては、携帯端末において、BDレコーダーなどからトランスコードされたコンテンツを再生する場合には、BDレコーダーが、入力された映像と共に、携帯端末で選択可能なグラフィックスオブジェクト用の表示情報を、予めビットストリームとしてエンコードしておく。これによって、そのビットストリームをデコードする携帯端末では、デコードした映像上に、ユーザが選択したグラフィックスオブジェクトを、低消費電力で、かつ、効果的に合成表示できる。
なお、変形例4によれば、ISO/IEC14496−10で規定されるビットストリーム535を使用する場合の例を示したが、これに限らない。ISO/IEC13818−2で規定されるビットストリーム等でも良い。
また、変形例4によれば、画像符号化装置5がBDレコーダーに、画像合成装置6が携帯端末にと、別々に実装された例を示したが、BDレコーダー等の一つの装置に、画像符号化装置5と画像合成装置6が両方実装されていても良い。
また、変形例4によれば、ビットストリーム535にエンコードするパラメータとして、オブジェクト識別子、表示位置、オブジェクトサイズの例を示したが、これに限らない。
また、変形例4によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、一つの標準オブジェクトサイズ515を定義する例を示したが、グラフィックスオブジェクトの種別ごとに、一つ以上の標準オブジェクトサイズを定義しても良い。例えば、一つ以上のアイコンを連結して表示する場合、表示するアイコン数に応じて、標準オブジェクトサイズ515を定義しても良い。
また、変形例4によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、表示領域検出部505から、それぞれ一つの表示領域を検出した。他方、字幕とウィジェットなど、複数のグラフィックスオブジェクトを同時に表示する場合を想定して、一つ以上の表示領域を検出しても良い。
また、変形例4によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、表示領域検出部505から、それぞれ一つの表示領域を検出したが、例えば、ウィジェットを複数、分散して表示する場合には、一つ以上の表示領域を検出しても良い。
また、変形例4によれば、画像符号化装置5は、携帯端末を想定してエンコードしているが、想定される用途はこれに限らない。
また、変形例4によれば、グラフィックスオブジェクトとしてウィジェットを表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、オブジェクトが重ならないように、グラフィックスオブジェクトに優先度を付けて、空間周波数の低い領域から優先度の高いオブジェクトを表示するようにしても良い。
(変形例5)
変形例5において、映像信号の解析結果に基づいてグラフィックスオブジェクトを選択し、その表示情報をエンコードする画像符号化装置7が説明される。また、符号化されたオブジェクト表示情報に基づいてグラフィックスオブジェクトを合成する画像合成装置8について説明する。すなわち、画像符号化装置7および画像合成装置8を備える画像処理システム8sが説明される。なお、ここでは、説明の簡単化のため、画像符号化装置7が、HD解像度(1920画素×1080ライン)の映像信号に関する例が説明される。つまり、画像符号化装置7は、この映像信号から特徴量として検出した話者の口の位置(図18における口の画像806Iaの位置)に、吹き出し(吹き出し806Ib)を表示するための表示領域を特定する。そして、画像符号化装置7は、特定された表示領域を、表示情報として、ISO/IEC14496−10で規定されるビットストリームでエンコードする。一方、画像合成装置8は、選択された吹き出しオブジェクトを表示するために、画像符号化装置7で符号化されたビットストリームをデコードして得られる表示情報に基づいて、映像信号に吹き出しを合成する。
図17は、変形例5における画像符号化装置7、および、画像合成装置8の構成を示すブロック図である。
図18は、画像処理システム8sにおける合成前画像710Iおよび合成後画像806I等を示す図である。
まず、変形例5における画像符号化装置7について説明する。
画像符号化装置7は、デコード部、および、記憶部から入力された映像信号734を、ISO/IEC14496−10で規定されるビットストリーム735として、エンコードする。そして、画像符号化装置7は、記憶部504を具備する。この点は、変形例4と同じである。さらに、画像符号化装置7は、表示領域検出部505、エンコード部508の代わりに、表示領域検出部705、エンコード部708をそれぞれ具備し、また、画像解析部710をさらに具備する。
画像解析部710は、入力された映像信号734を解析し、映像信号734の特徴を示す特徴量として、映像信号734が示す画像に登場する話者の口(口の画像710Ia)の位置を検出し、検出した話者の口の位置と共に、検出時刻を表示時刻として、エンコード部708に出力する。さらに、画像解析部710は話者の口の位置を検出した場合、表示に適切なグラフィックスオブジェクトとして、各オブジェクト識別子512のうちで、吹き出しに対応するオブジェクト識別子512mを出力する。なお、画像解析部710は、通常、MPUやメモリ等から実現され得る。画像解析部710の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
表示領域検出部705は、入力された画像ごとに、その画像の空間周波数を解析し、標準オブジェクトサイズ515を含むことが可能な空間周波数が最も低い領域(領域Rl)を検出する。この点は、変形例4と同様である。他方、表示領域検出部705は、画像解析部710から入力されたオブジェクト識別子(吹き出しのオブジェクト識別子512m)に基づいて、吹き出し用の標準オブジェクトサイズ515mを記憶部504から読み出す。そして、表示領域検出部705は、表示領域を検出し、吹き出しに対応するオブジェクト識別子512m、および、表示位置と標準オブジェクトサイズ515mをエンコード部708にそれぞれ出力する。なお、表示領域検出部505は、通常、MPUやメモリ等から実現され得る。表示領域検出部505の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
エンコード部708は、入力されたHD解像度の映像信号734をエンコードして、ISO/IEC14496−10で規定されるビットストリーム735として出力する。この点は、変形例4と同様である。他方、エンコード部708は、話者の口(口の画像710Ia)の位置と表示時刻、そして、表示領域検出部705から入力された、オブジェクト識別子、および、表示位置と標準オブジェクトサイズ515を、画像ごとにUser Data Unregistered SEIにエンコードする。ここで、口の位置と、表示時刻は、画像解析部710から表示領域検出部705に入力される。このエンコードでは、口の位置等が、オブジェクト表示情報として、エンコードされる。
なお、ここでいう、出力とは、外部装置への送信、記録媒体への蓄積を含む概念である。
また、エンコード部708は、通常、MPUやメモリ等から実現され得る。エンコード部708の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、変形例5における画像合成装置8について説明する。
画像合成装置8は、前記、画像符号化装置7から出力されたビットストリーム735をデコード部801がデコードし、そのデコードした映像信号832上に、選択されたグラフィックスオブジェクトを合成表示する。そして、画像合成装置8は、グラフィックス描画部102、画像合成部103、記憶部104、表示領域選択部609を具備する。この点は、変形例4と同じである。さらに、画像合成装置8は、デコード部601、描画制御部606の代わりに、デコード部801、描画制御部806をそれぞれ具備する。
デコード部801は、ISO/IEC14496−10で規定されるビットストリームをデコードする。この点は、変形例4と同じであるが、さらに、デコード部801は、ビットストリーム中のUser Data Unregistered SEIから、吹き出し表示用のオブジェクト表示情報を取得し、出力する。なお、デコード部801は、通常、MPUやメモリ等から実現され得る。デコード部801の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
描画制御部806は、デコード部801により画像がデコードされるごとに、表示領域選択部609から入力された表示位置に基づいて、グラフィックスオブジェクトを描画することは変形例4と同様である。さらに、描画制御部806は、表示領域選択部609から入力された表示時刻、および、話者の口の位置、そして、記憶部104に保持されている字幕データに基づいて、グラフィックス描画部102により、吹き出し806Ibを描画する。なお、描画制御部806は、通常、MPUやメモリ等から実現され得る。描画制御部606の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
以上、変形例5の形態では、話者の口の位置と吹き出しを関連付けてビットストリーム735に記録される。そして、再生時には、その関連付けられた情報を元に、吹き出し(吹き出し806Ia)を話者(口の画像806Ia)につなげるといった表現が可能になる。これにより、単に記録しただけでは得られない映像効果を簡単に得ることができる。
なお、変形例5の形態によれば、ISO/IEC14496−10で規定されるビットストリームを使用する場合の例を示したが、これに限らない。ISO/IEC13818−2で規定されるビットストリーム等でも良い。
また、変形例5の形態によれば、画像符号化装置7と画像合成装置8を同じ装置に実装しても良いし、別々の装置に実装しても良い。
また、変形例5の形態によれば、ビットストリーム735にエンコードするパラメータとして、オブジェクト識別子、映像特徴量として話者の口の位置、表示時刻、表示位置、オブジェクトサイズの例を示したが、これに限らない。
また、変形例5の形態によれば、入力された映像信号を解析して得られる特徴量として、話者の口の位置の例を示したが、これに限らない。
また、変形例5の形態によれば、吹き出しを表示するためのオブジェクト表示情報をエンコードする例を示したが、オブジェクト表示情報には、変形例4で示した字幕、アイコン、ウィジェットに対応する表示情報を含んでも良い。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含される。
なお、本発明は、装置として実現できるだけでない。つまり、その装置を構成する処理手段をステップとする方法として実現してもよい。また、それらステップをコンピュータに実行させるプログラムとして実現してもよい。そのプログラムを記録したコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現してもよい。そのプログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
本発明は、上記の実施の形態に限定されるものではないのは当然である。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。具体的には、例えば、図14の画像処理システム6s、図17の画像処理システム8sに対して、図10及び図11の技術と、図12及び図13の技術とのうちの一方又は両方が組み合わせられてもよい。
つまり、上記の実施形態の互いに離れた2つ以上の箇所に記載された複数の事項は、技術常識に基づいて、組み合わせられてもよい。上記の実施の形態により、組み合わせた形態も示される。
以上のように、本発明にかかる画像合成装置(画像合成装置1〜画像合成装置4、画像処理システム6s、画像処理システム8s)は、従来に比べて効果的にグラフィックスオブジェクトを映像に合成できるという効果を有する。この技術は、画像合成装置を用いたディジタルテレビや、携帯端末、BD(Blu-ray Disc)レコーダー/プレイヤー等として有用である。
1〜4、6、8 画像合成装置
5、7 画像符号化装置
6s、8s 画像処理システム
101、601、801 デコード部
102 グラフィックス描画部
103 画像合成部
104、504 記憶部
105、205、305、505、705 表示領域検出部
106、206、406、606、806 描画制御部
111 オブジェクトデータ
131、535、735 ビットストリーム
132、133、534、632、633、734、832、833 映像信号
212、512 オブジェクト識別子
213 表示対象領域情報
214 標準表示周期情報
321 カウンタ
407 色情報比較部
508、708 エンコード部
515 標準オブジェクトサイズ
609 表示領域選択部
710 画像解析部

Claims (15)

  1. グラフィックスオブジェクトを描画するグラフィックス描画部と、
    画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部と、
    前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を検出し、検出された前記領域の表示位置を出力する検出部と、
    前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部と
    を備える画像合成装置。
  2. ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリームをデコードするデコード部と、
    前記グラフィックスオブジェクトのオブジェクトデータを保持するオブジェクトデータ記憶部とを備え、
    前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号が示す前記画像に前記合成を行い、
    前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記オブジェクトデータに基づき、当該オブジェクトデータの前記グラフィックスオブジェクトを前記グラフィックス描画部に描画させる制御を当該グラフィックス描画部に対して行う請求項1記載の画像合成装置。
  3. 前記検出部は、前記画像の一部または全体を、複数のブロックに分割し、それぞれのブロックの空間周波数を計算し、
    前記画像のそれぞれの領域は、描画が行われる前記グラフィックスオブジェクトのオブジェクトサイズを含むことが可能な領域であり、かつ、1以上の前記ブロックで構成される領域であり、
    前記検出部は、前記複数の領域の中から、その領域に含まれる1以上の前記ブロックについて計算された前記空間周波数から特定される、その領域の空間周波数が、最も低い領域を決定して、決定された前記領域の位置を前記表示位置として出力する請求項1記載の画像合成装置。
  4. 前記オブジェクトデータ記憶部は、前記グラフィックスオブジェクトの種別ごとに、その種別のオブジェクト識別子と、その種別の前記グラフィックスオブジェクトの表示領域を規定する一つ以上の表示対象領域情報と、その種別の前記グラフィックスオブジェクトの表示間隔を規定する標準表示周期情報とをさらに保持し、
    前記描画制御部は、前記オブジェクトデータ記憶部に保持された前記オブジェクト識別子と、前記表示対象領域情報と、前記標準表示周期情報とに基づいて前記制御を行う請求項2記載の画像合成装置。
  5. 前記描画制御部は、前記グラフィックスオブジェクトの表示時刻ごとに、前記オブジェクトデータ記憶部に記憶された複数の前記表示対象領域情報の中から、前記検出部から出力された表示位置を含む表示領域の表示対象領域情報を決定し、
    前記検出部は、前記表示対象領域情報の前記決定が行われた前記表示時刻から、当該表示時刻の次の表示時刻までの間には、当該決定がされた前記表示対象領域情報の前記表示領域の各表示位置の中から、表示位置を決定する請求項4記載の画像合成装置。
  6. 前記検出部は、
    カウンタを備え、
    表示時刻ごとに前記検出を行い、
    今回の表示時刻で検出した表示位置と、前回の検出時刻で検出した表示位置とを比較し、今回の前記表示位置と前回の前記表示位置との間の移動距離が閾値以内の場合は、前記カウンタの値に予め定められた加算値を加算し、移動距離が前記閾値以上の場合は、前記カウンタの値を初期化し、
    前記カウンタの値が予め定められた閾値以上であり、現在が、シーン切り替えの発生時ではないと前記カウンタの値により特定される場合には、検出した今回の前記表示位置を、今回の前記表示時刻の表示位置として出力し、前記カウンタの値が前記閾値未満であり、当該特定がされない場合には、前記カウンタの値が前記閾値以上になるまでのそれぞれの表示時刻で、前回の前記表示位置を出力して、前記グラフィックスオブジェクトの表示位置の安定待ちを行う請求項2記載の画像合成装置。
  7. 複数の前記グラフィックスオブジェクトから、前記グラフィックスオブジェクトを選択する選択部を備え、
    前記オブジェクトデータ記憶部は、複数の前記オブジェクトデータを保持し、
    それぞれの前記オブジェクトデータは、そのオブジェクトデータの前記グラフィックスオブジェクトの表示時刻を含み、
    前記選択部は、表示時刻ごとに、その表示時刻が含まれる前記オブジェクトデータの前記グラフィックスオブジェクトを選択し、
    前記検出部は、表示時刻ごとに、前記検出及び前記出力を行い、
    前記描画制御部は、表示時刻ごとに、その表示時刻で前記選択部により選択された前記グラフィックスオブジェクトを、その表示時刻で前記検出部により出力された表示位置で、その表示時刻に前記グラフィックス描画部に描画させ、
    前記画像合成部は、動画像を構成する、それぞれの画像が、その画像の表示時刻を有する複数の前記画像に含まれる画像ごとに、その画像の前記表示時刻において、その画像へと、その表示時刻に前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する請求項6記載の画像合成装置。
  8. 前記検出部は、前記映像信号を解析し、当該映像信号が示す前記画像における前記複数の領域のうちで、その領域の空間周波数が最も低い領域の位置の遷移予測を行う請求項6記載の画像合成装置。
  9. 前記検出部により検出された前記領域に対応するデコード画像の色情報と、前記グラフィックス描画部が描画する前記グラフィックスオブジェクトの色情報との間の予め定められた比率を計算し、計算された当該比率が予め定められた閾値以下の場合には、計算される色情報での前記比率が前記閾値より大きくなるように、前記グラフィックスオブジェクトの色情報を計算し、計算された当該色情報を、前記描画制御部に出力する色情報比較部を、さらに備え、
    前記描画制御部は、前記色情報比較部により前記色情報が出力される場合には、出力された前記色情報の色による描画を前記グラフィックス描画部に行わせる請求項1記載の画像合成装置。
  10. 当該画像符号化装置に入力された映像信号を、ビットストリームにエンコードする画像符号化装置であって、
    グラフィックスオブジェクトの種別ごとに、その種別のオブジェクト識別子と、その種別のオブジェクトサイズを規定する標準オブジェクトサイズとを、保持する記憶部と、
    前記オブジェクトデータ記憶部に保持された、それぞれの前記標準オブジェクトサイズを逐次読み出し、入力された前記映像信号が示す画像の複数の領域の空間周波数を各々解析することによって、解析された空間周波数が最も低い領域を検出し、検出された前記領域の表示位置と、オブジェクトサイズと、オブジェクト識別子とをそれぞれ出力する検出部と、
    前記検出部で出力された前記表示位置と、前記オブジェクトサイズと、前記オブジェクト識別子とを、少なくとも含むオブジェクト表示情報を、前記ビットストリーム中に記述するエンコード部とを備える画像符号化装置。
  11. 前記映像信号を解析することによって特徴量を検出し、検出された前記特徴量に基づいて、当該特徴量が検出された前記映像信号に適切なグラフィックスオブジェクトを、複数のグラフィックスオブジェクトから選択する画像解析部をさらに備え、
    前記エンコード部は、前記画像解析部が選択した前記グラフィックスオブジェクトの前記オブジェクト識別子と、前記画像解析部が検出した前記特徴量と、表示時刻情報と、前記検出部で検出された前記表示位置と、当該グラフィックスオブジェクトのオブジェクトサイズとを、少なくとも含むオブジェクト表示情報を、前記ビットストリームに符号化する請求項10記載の画像符号化装置。
  12. 当該画像合成装置に入力されたビットストリームをデコードし、前記ビットストリームからデコードした映像信号が示す画像上に、グラフィックスオブジェクトを合成する画像合成装置であって、
    前記グラフィックスオブジェクトを描画するグラフィックス描画部と、
    デコードされた前記映像信号が示す前記画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部と、
    前記グラフィックスオブジェクトのオブジェクトデータを保持するオブジェクトデータ記憶部と、
    入力された前記ビットストリームから、予め定義された、オブジェクト識別子と、表示位置と、オブジェクトサイズとから少なくとも構成されるオブジェクト表示情報を取得し、取得された前記オブジェクト表示情報を出力するデコード部と、
    出力された前記オブジェクト表示情報の中から、前記グラフィックスオブジェクトに対応する前記表示位置と、前記オブジェクトサイズとを取得し、取得された前記表示位置及び前記オブジェクトサイズを出力する表示領域選択部と、
    前記映像信号が示す前記画像における、前記表示領域選択部により出力された前記表示位置および前記オブジェクトサイズの領域に、前記グラフィックスオブジェクトを前記グラフィックス描画部により描画させる描画制御部とを備える画像合成装置。
  13. 前記デコード部は、入力された前記ビットストリームから、予め定義された、オブジェクト識別子、前記映像信号が示す映像の特徴量、表示時刻情報、表示位置、及びオブジェクトサイズから少なくとも構成されるオブジェクト表示情報を取得し、取得された前記オブジェクト表示情報を出力し、
    前記描画制御部は、前記デコード部により出力された前記オブジェクト表示情報に基づいて、前記グラフィックスオブジェクトを描画させる請求項12記載の画像合成装置。
  14. グラフィックスオブジェクトを描画するグラフィックス描画工程と、
    画像に対して、前記グラフィックス描画工程で描画された前記グラフィックスオブジェクトを合成する画像合成工程と、
    前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を検出し、検出された前記領域の表示位置を出力する検出工程と、
    前記グラフィックス描画工程の処理を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御工程とをコンピュータに実行させるためのコンピュータプログラム。
  15. 請求項14記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
JP2009175921A 2009-07-28 2009-07-28 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 Active JP5525201B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009175921A JP5525201B2 (ja) 2009-07-28 2009-07-28 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
PCT/JP2010/003420 WO2011013283A1 (ja) 2009-07-28 2010-05-21 画像合成装置、符号化装置、プログラム、媒体
US13/357,862 US9001272B2 (en) 2009-07-28 2012-01-25 Image synthesizing device, coding device, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009175921A JP5525201B2 (ja) 2009-07-28 2009-07-28 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2011030111A true JP2011030111A (ja) 2011-02-10
JP5525201B2 JP5525201B2 (ja) 2014-06-18

Family

ID=43528958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009175921A Active JP5525201B2 (ja) 2009-07-28 2009-07-28 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体

Country Status (3)

Country Link
US (1) US9001272B2 (ja)
JP (1) JP5525201B2 (ja)
WO (1) WO2011013283A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054362A (ko) * 2011-09-12 2014-05-08 인텔 코오퍼레이션 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용
US9183605B2 (en) 2011-12-21 2015-11-10 Ricoh Company, Limited Image projecting apparatus, image processing method, and computer-readable storage medium

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5377768B2 (ja) * 2010-06-30 2013-12-25 富士フイルム株式会社 画像処理方法及び装置
EP2665255A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Solution for sub-titling of images and image sequences
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법
US9396514B2 (en) 2012-08-23 2016-07-19 Pixia Corp. Method and system for storing and retrieving wide-area motion imagery frames as objects on an object storage device
SG11201400251XA (en) * 2012-12-27 2014-08-28 Panasonic Corp Video display method
US9800855B2 (en) * 2013-08-20 2017-10-24 Sony Corporation Reproduction device, reproduction method, and recording medium
US20180284954A1 (en) * 2017-03-30 2018-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Identifying a target area to display a popup graphical element
CN109756788B (zh) * 2017-11-03 2022-08-23 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
JP7171212B2 (ja) * 2018-04-02 2022-11-15 キヤノン株式会社 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体
CN115689860A (zh) * 2021-07-23 2023-02-03 北京字跳网络技术有限公司 视频蒙层显示方法、装置、设备及介质
CN114554095B (zh) * 2022-02-25 2024-04-16 深圳锐取信息技术股份有限公司 一种4k摄像机的目标对象确定方法以及相关装置
CN115484504A (zh) * 2022-09-14 2022-12-16 北京奇艺世纪科技有限公司 图像显示方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336446A (ja) * 1992-06-02 1993-12-17 Mitsubishi Electric Corp ワイドアスペクトテレビジョンの字幕位置検出方式
JPH0787392A (ja) * 1993-09-09 1995-03-31 Sony Corp 子画像の表示制御装置
JP2000004407A (ja) * 1998-06-17 2000-01-07 Sharp Corp 情報提示装置
JP2001128062A (ja) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
JP2003005739A (ja) * 2001-06-20 2003-01-08 Fuji Photo Film Co Ltd オン・スクリーン・ディスプレイ装置およびその制御方法
JP2004282137A (ja) * 2003-03-12 2004-10-07 Sharp Corp テレビジョン放送受信機
JP2006078693A (ja) * 2004-09-08 2006-03-23 Sharp Corp 画像表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692406B2 (ja) * 1991-04-04 1997-12-17 松下電器産業株式会社 映像信号拡大装置
ATE188327T1 (de) * 1994-12-14 2000-01-15 Koninkl Philips Electronics Nv Übertragungssystem für untertitel
KR100865248B1 (ko) * 2001-05-15 2008-10-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호에서의 자막 검출
US20070094612A1 (en) * 2005-10-24 2007-04-26 Nokia Corporation Method, a device and a computer program product for dynamically positioning of a pop-up window
JP4949912B2 (ja) 2007-04-04 2012-06-13 株式会社タイトー 字幕表示領域決定装置及び字幕表示プログラム
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN101809637B (zh) 2007-09-26 2012-04-11 松下电器产业株式会社 地图显示装置
WO2009063577A1 (ja) * 2007-11-12 2009-05-22 Mitsubishi Electric Corporation デジタル放送受信機
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
JP5171713B2 (ja) 2009-03-27 2013-03-27 パナソニック株式会社 情報表示装置及び情報表示方法
CN102165790A (zh) 2009-08-10 2011-08-24 松下电器产业株式会社 显示控制装置及显示控制方法
JP2011070450A (ja) 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP4740364B2 (ja) 2009-09-29 2011-08-03 パナソニック株式会社 三次元画像処理装置及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336446A (ja) * 1992-06-02 1993-12-17 Mitsubishi Electric Corp ワイドアスペクトテレビジョンの字幕位置検出方式
JPH0787392A (ja) * 1993-09-09 1995-03-31 Sony Corp 子画像の表示制御装置
JP2000004407A (ja) * 1998-06-17 2000-01-07 Sharp Corp 情報提示装置
JP2001128062A (ja) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
JP2003005739A (ja) * 2001-06-20 2003-01-08 Fuji Photo Film Co Ltd オン・スクリーン・ディスプレイ装置およびその制御方法
JP2004282137A (ja) * 2003-03-12 2004-10-07 Sharp Corp テレビジョン放送受信機
JP2006078693A (ja) * 2004-09-08 2006-03-23 Sharp Corp 画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054362A (ko) * 2011-09-12 2014-05-08 인텔 코오퍼레이션 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용
KR101615930B1 (ko) 2011-09-12 2016-04-27 인텔 코포레이션 시청자들이 텔레비전에서 무엇을 시청하고 있는지 식별하기 위한 멀티미디어 검색 사용
US9183605B2 (en) 2011-12-21 2015-11-10 Ricoh Company, Limited Image projecting apparatus, image processing method, and computer-readable storage medium

Also Published As

Publication number Publication date
JP5525201B2 (ja) 2014-06-18
US9001272B2 (en) 2015-04-07
WO2011013283A1 (ja) 2011-02-03
US20120120312A1 (en) 2012-05-17

Similar Documents

Publication Publication Date Title
JP5525201B2 (ja) 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US20230156148A1 (en) Conversion method and conversion apparatus
JP5108877B2 (ja) 表示装置
EP3157242B1 (en) Display system, display method, and display device
CN109891902B (zh) 影像显示系统及影像显示方法
JP7117626B2 (ja) 映像表示装置及び映像表示方法
JP7331047B2 (ja) 情報処理装置および情報処理方法
JP7117558B2 (ja) 映像表示装置及び映像表示方法
JP2014077993A (ja) 表示装置
EP3654657B1 (en) Video display device and video display method
WO2018003939A1 (ja) 画像出力装置、画像出力方法、およびプログラム
JP6190482B1 (ja) 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体
US7903126B2 (en) Image processing apparatus and image processing method thereof
JP4633595B2 (ja) 動画生成装置、動画生成方法、及びプログラム
US7630018B2 (en) On-screen display apparatus and on-screen display generation method
JP4633594B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP4668051B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP2007095010A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2001128085A (ja) 映像信号送信装置および映像信号受信装置
JP2010251818A (ja) 映像出力装置
JP2011019137A (ja) 映像出力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140411

R151 Written notification of patent or utility model registration

Ref document number: 5525201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350