JP2004302361A - データ合成装置およびデータ合成方法 - Google Patents
データ合成装置およびデータ合成方法 Download PDFInfo
- Publication number
- JP2004302361A JP2004302361A JP2003098015A JP2003098015A JP2004302361A JP 2004302361 A JP2004302361 A JP 2004302361A JP 2003098015 A JP2003098015 A JP 2003098015A JP 2003098015 A JP2003098015 A JP 2003098015A JP 2004302361 A JP2004302361 A JP 2004302361A
- Authority
- JP
- Japan
- Prior art keywords
- data
- timing information
- synthesizing
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000015572 biosynthetic process Effects 0.000 title abstract description 42
- 238000003786 synthesis reaction Methods 0.000 title abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 150
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 100
- 230000008859 change Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 15
- 239000000203 mixture Substances 0.000 abstract description 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 21
- 230000003111 delayed effect Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/18—Timing circuits for raster scan displays
Abstract
【課題】タイミング情報に合わせて合成されるデータの変形や移動（配置）、生成のタイミングを補正することが可能で、タイミング合わせを必要とする画面構成の合成が可能となるデータ合成装置およびデータ合成方法を提供する。
【解決手段】データ合成装置１００は、画面構成変化のタイミング情報をタイミング情報生成部１０８で生成し、グラフィックス生成部１０３の生成のタイミングを、画像データの変形・移動処理部１０５の処理タイミングに合わせることにより、タイミングずれの無いグラフィックスと画像データとを合成可能とし、合成部１０７において所望の合成データを得る。
【選択図】 図１
【解決手段】データ合成装置１００は、画面構成変化のタイミング情報をタイミング情報生成部１０８で生成し、グラフィックス生成部１０３の生成のタイミングを、画像データの変形・移動処理部１０５の処理タイミングに合わせることにより、タイミングずれの無いグラフィックスと画像データとを合成可能とし、合成部１０７において所望の合成データを得る。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成するような、ＴＶ放送受信機、ＴＶモニタ、ＰＣモニタ、編集装置、マルチメディアデータ再生装置等に用いて好適なデータ合成装置とその方法に関するものである。
【０００２】
【従来の技術】
静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成するデータ合成装置としては、たとえば非同期に処理される色データ、深さデータ、テクスチャデータ、その他のデータを同期させるコンピュータグラフィックスシステム（特許文献１）、あるいは、２次元グラフィックスイメージ処理パイプラインにおいて複数の３次元イメージを合成し、合成したイメージを表示画面に最終的にレンダリングするコンピュータグラフィックスシステム（特許文献２）、等が知られている。
【０００３】
図９は、静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成する、従来のデータ合成装置の構成例を示すブロック図である。
【０００４】
このデータ合成装置１０は、図９に示すように、画面構成制御部１１、グラフィックス制御部１２、グラフィックス生成部１３、画像制御部１４、変形・移動処理部１５、画像処理部１６、および合成部１７を有する。
【０００５】
画面構成制御部１１は、合成対象のデータをいつ、どのように変形（拡大・縮小等）し、画面上のどこに移動（配置し）合成するかを制御する。
グラフィックス制御部１２は、グラフィックス生成部１３を制御し、画面構成制御部１１から指示された合成画面に必要となるグラフィックスを生成させる。生成された合成対象グラフィックスＳ１３は、合成部１７へ入力される。
【０００６】
一方、画像制御部１４は、画像の変形・移動処理部１５を制御し、画面構成制御部１１から指示された合成画面に合わせて、入力画像データＳＩＭを変形・移動させる。変形・移動処理済み画像データＳ１５は、画像処理部１６によりさらなる処理を行う場合がある。
画像処理部１６では、たとえば画質向上のためのフィルタ処理や、画像フォーマットの変換処理等が行われる。なお、画像処理部１６が存在しない場合もある。また、同様に、グラフィックス生成部１３後段に、図示していないグラフィックス処理部が配置される場合もある。
変形・移動処理済み画像データＳ１５は、合成対象画像データＳ１６として合成部１７へ入力される。
合成部１７は、入力された合成対象グラフィックスＳ１３と合成対象画像データＳ１６を合成することにより、合成データＳ１７を出力する。
【０００７】
たとえばＴＶモニタやＰＣモニタでは、ユーザに提示するメニューをグラフィックスとして作成し、表示すべき画像データ上に重ね合わせて表示する。このようなシステムは、ＯＳＤ（オンスクリーンディスプレイ）とも呼ばれている。
また、デジタルテレビ放送のように、画像データとともにグラフィックスデータが送信され、両者を合成した画面構成を提示するサービスにおいても、図９に示すようなデータ合成装置が使用される。
【０００８】
【特許文献１】
特開平９−６９７３号公報
【特許文献２】
特開２００１−３５７４１０号公報
【０００９】
【発明が解決しようとする課題】
ところが、図９に示した合成システム１０においては、合成対象グラフィックスＳ１３と合成対象画像データＳ１６との厳密なタイミング合わせは行われていない。
したがって、従来のデータ合成装置においては、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するような画面構成を正確に実現することができないという不利益がある。
この点について、図１０（Ａ）〜（Ｃ）および図１１（Ａ）〜（Ｃ）に関連付けてさらに考察する。
【００１０】
図１０（Ａ）〜（Ｃ）は、合成対象データの変形や移動（配置）を含み、変形や移動量、配置位置が連続的に変化するような画面構成の合成例を示す図である。図１０（Ａ）が合成対象グラフィックスＳ１３を、図１０（Ｂ）が合成対象画像データＳ１６を、図１０（Ｃ）が合成データＳ１７を示している。
【００１１】
図に示すように、時刻Ｔ１において、合成対象画像データＳ１６の変形（縮小）および移動が開始されている。
縮小後に移動される画像データに合わせ、画像データが存在しない領域に有効なグラフィックスが生成されている。
図１０（Ａ）〜（Ｃ）の例では、時間経過とともに画像データＳ１６，Ｓ１７は連続的に縮小され、かつ移動されていき、伴って有効なグラフィックス領域も変化している。
合成対象画像データＳ１６と合成対象グラフィックスＳ１３が正しいタイミングで合成される限り、両者の領域は正しく対応付けられる。
【００１２】
ところが、画像データの変形・移動と、対応するグラフィックスの生成タイミングとがずれた場合、所望の合成データを得ることができない。
【００１３】
図１１（Ａ）〜（Ｃ）は、画像データの変形・移動開始が１フレーム遅延してしまった場合の合成例を示す図である。図１１（Ａ）が合成対象グラフィックスＳ１３を、図１１（Ｂ）が合成対象画像データＳ１６を、図１１（Ｃ）が合成データＳ１７を示している。
【００１４】
図に示すように、時刻Ｔ１において、画面構成の変更を開始し、グラフィックスは正しいタイミングで生成されている。
図１１（Ａ）〜（Ｃ）の例では、合成対象画像データの変形（縮小）および移動開始が、時刻Ｔ２に遅延した例を示している。
時刻Ｔ１において、合成部１７へは画面構成の変更が開始されていない画像データＳ１６と、すでに開始しているグラフィックスＳ１３が入力されてしまうため、矛盾した合成データが出力されてしまう。
一般に、ＯＳＤではグラフィックスが画像データの前面に重ねて合成されるため、図１１（Ａ）〜（Ｃ）ではグラフィックスを前面に重ねた場合を示しているが、画像データがグラフィックスの前面に重ねられる場合にも同様に矛盾した合成データとなってしまう。
さらに、合成対象画像データの変形（縮小）および移動開始の遅延が、以降の合成タイミングに伝播し、画面構成のタイミングがずれたまま合成され続けてしまう。
【００１５】
これは、上述したように、画像データ、およびグラフィックデータなどを合成して画面を構成する従来のデータ合成装置においては、合成対象グラフィックスと合成対象画像データの厳密なタイミング合わせは行われていないことによる。
【００１６】
特に、各制御部（画面構成制御部、画像制御部、グラフィックス制御部）が複数のプロセッサにより構成されていたり、各制御部間や制御部と処理部（変形・移動処理部、グラフィックス生成部）間の通信が遅延を含むバスにより接続されていたり、通信に時間がかかる場合に、画面構成の変更通知が実際に変形・移動処理部もしくはグラフィックス生成部へ反映するまでに遅延が発生しやすい。
【００１７】
また、各制御部や処理部がソフトウェアによって構成されている場合にも、遅延が発生しやすい。
また、画像データとグラフィックスが非同期の場合に、両者のタイミングがずれることによっても、いずれかが遅延した場合と同様となる。
【００１８】
したがって、従来のデータ合成装置においては、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するようなタイミング合わせを必要とする画面構成を実現することが困難である。
つまり、ＯＳＤでは、合成対象のグラフィックスと画像データが時間的な関連を持たないという制約が課せられている。
また、変形・移動（配置）された画像データの存在しない領域にグラフィックスを合成する画面構成では、変形や移動量、配置位置が連続的に変化しない画面構成という制限下で使用しなければならない。
後者の制限下においても、画面構成が切り替えられる際に、画像データとグラフィックスのタイミングずれによって、矛盾した合成画像を表示してしまう。
【００１９】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、タイミング情報に合わせて合成されるデータの変形や移動（配置）、生成のタイミングを補正することが可能で、タイミング合わせを必要とする画面構成の合成が可能となるデータ合成装置およびデータ合成方法を提供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、上記第１のデータに対して所定の処理を施す処理部と、上記第２のデータを生成するデータ生成部と、上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理または上記データ生成部の生成処理のタイミング情報を生成するタイミング情報生成部と、上記処理部または上記データ生成部に、上記タイミング情報生成部で生成されたタイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行わせる制御部とを有する。
【００２１】
本発明の第２の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、上記第１のデータに対して所定の処理を施す処理部と、上記第２のデータを生成するデータ生成部と、上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理および上記データ生成部の生成処理の少なくとも一方のタイミング情報を生成するタイミング情報生成部と、を有し、上記合成部は、上記タイミング情報生成部で生成されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２２】
好適には、上記処理部により所定の処理が施された第１のデータに対して、遅延を含む処理を施す第２の処理部を、さらに有し、上記タイミング情報生成部は、上記第２の処理部の当該遅延量を加味し、合成部への入力タイミングを表すタイミング情報を生成する。
【００２３】
好適には、上記タイミング情報生成部は、画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する。
【００２４】
また、好適には、上記タイミング情報生成部で生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させる重畳手段を、有し、上記重畳されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２５】
好適には、上記重畳手段は、上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する。
【００２６】
本発明の第３の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、上記第１のデータに対して所定の処理を施す第１のステップと、上記第２のデータを生成する第２のステップと、上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理または上記第２のステップの生成処理のタイミング情報を生成し、上記第１のステップまたは上記第２のステップにおいて、上記タイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行う。
【００２７】
本発明の第４の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、上記第１のデータに対して所定の処理を施す第１のステップと、上記第２のデータを生成する第２のステップと、上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理および上記第２のステップの生成処理の少なくとも一方のタイミング情報を生成し、上記第３のステップにおいて、上記タイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２８】
本発明によれば、たとえば第１のデータまたは第２のデータとしての画像データの変形・移動処理部もしくは第２のデータまたは第１のデータとしてのグラフィックスデータの生成部が、画面構成のタイミング情報を生成し、一方のタイミング情報に基づいて他方の変形・移動処理もしくは生成処理のタイミングを補正することにより、双方のタイミングを一致させる。
【００２９】
また、本発明によれば、第１のデータまたは第２のデータとしての画像データの変形・移動処理部および／または第２のデータまたは第１のデータとしてのグラフィックスデータの生成部が、画面構成のタイミング情報を生成し、双方のタイミング情報に基づいて対応するタイミングのデータ同士を合成することにより、双方のタイミングを一致させる。
【００３０】
本発明によれば、画面構成の開始タイミングが遅延もしくは早まったり、もしくは画面構成の変化途中でタイミングのずれが発生した場合にも、タイミング情報に基づいて、対応するタイミングのデータ同士が合成出力されるように補正されるため、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するようなタイミング合わせを必要とする画面構成であっても、所望の合成データを得ることが可能となる。
【００３１】
【発明の実施の形態】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００３２】
第１実施形態
図１は、本発明に係るデータ合成装置の第１の実施形態を示すブロック図である。
【００３３】
このデータ合成装置１００は、画面構成変化のタイミング情報を生成し、グラフィックス生成のタイミングを、第１のデータまたは第２のデータとしての画像データの変形・移動処理のタイミングに合わせることにより、タイミングずれの無い第２のデータまたは第１のデータとしてのグラフィックスと画像データとを合成可能とし、所望の合成データを得るものである。
【００３４】
このデータ合成装置１００は、図１に示すように、画面構成制御部１０１、グラフィックス制御部１０２、グラフィックス生成部１０３、画像制御部１０４、処理部としての変形・移動処理部１０５、第２の処理部としての画像処理部１０６、合成部１０７、および画像データのタイミング情報生成部１０８を有する。
【００３５】
画面構成制御部１０１は、合成対象のデータをいつ、どのように変形（拡大・縮小等）し、画面上のどこに移動（配置し）合成するかを制御する。
【００３６】
グラフィックス制御部１０２は、タイミング情報生成部１０８による画面構成変化のタイミング情報Ｓ１０８に基づいて画像データとのタイミングずれの検知・補正を行い、画面構成制御部１０１から指示された合成画面に必要となるグラフィックスをタイミング情報Ｓ１０８に基づき補正されたタイミングに合わせて生成するように、グラフィックス生成部１０３を制御する。
【００３７】
グラフィックス生成部１０３は、グラフィックス制御部１０２の制御の下、画面構成制御部１０１から指示された合成画面に必要となるグラフィックスをタイミング情報Ｓ１０８に合わせて生成し、合成対象グラフィックスＳ１０３として合成部１０７に出力する。
なお、グラフィックス生成部１３の後段に、図示していないグラフィックス処理部が配置される場合もある。
【００３８】
画像制御部１０４は、画像の変形・移動処理部１０５を制御し、画面構成制御部１０１から指示された合成画面に合わせて、入力画像データＳＩＭを変形・移動させる。
【００３９】
変形・移動処理部１０５は、画像制御部１０４の制御の下、画面構成制御部１０１の指示に応じた合成画面に合わせて、入力画像データＳＩＭを変形・移動させ、変形・移動処理済み画像データＳ１０５を、たとえば画像処理部１０６に出力する。
【００４０】
画像処理部１０６は、変形・移動処理部１０５による変形・移動処理済み画像データＳ１０５に対して、たとえば画質向上のためのフィルタ処理や、画像フォーマットの変換処理等を行い、合成対象画像データＳ１０６として合成部１０７に出力する。
なお、画像処理部１０６が存在しない場合もある。また、同様に、グラフィックス生成部１３後段に、図示していないグラフィックス処理部が配置される場合もある。
【００４１】
合成部１０７は、入力された合成対象グラフィックスＳ１０３と合成対象画像データＳ１６を合成することにより、合成データＳ１０７を出力する。
【００４２】
タイミング情報生成部１０８は、画像データの変形・移動処理部１０５に設けられ、画面構成変化のタイミング情報Ｓ１０８を生成し、グラフィックス制御部１０２に出力する。
タイミング情報生成部１０８が生成するタイミング情報Ｓ１０８は、たとえば画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる第１の場合、グラフィックス制御部１０２およびグラフィックス生成部１０３が、タイミング情報Ｓ１０８を反映するまでに遅延が必要な第２の場合、またはタイミング情報にカウントダウンを導入することにより、グラフィックス制御部１０２およびグラフィックス生成部１０２がタイミング情報Ｓ１０８を反映するまでに遅延が必要な第３の場合に応じたタイミング情報を生成する。
【００４３】
以下、第１の場合、第２の場合、および第３の場合のタイミング情報に基づく制御動作について、図面に関連付けて順を追って説明する。
【００４４】
まず、図２（Ａ）〜（Ｄ）に関連付けて、第１の場合におけるタイミング情報に基づく制御動作について説明する。
【００４５】
図２（Ａ）〜（Ｄ）は、画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる場合を説明するための図である。
図２（Ａ）が合成対象グラフィックスＳ１０３を、図２（Ｂ）が合成対象画像データＳ１０６を、図２（Ｃ）が合成データＳ１０７を、図２（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００４６】
この場合、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御する。
しかし、変形・移動処理部１０５による画像データの変形・移動処理の開始が遅延し、時刻Ｔ２から開始されている。
したがって、時刻Ｔ１のタイミング情報Ｓ１０８は、未開始（図２（Ｄ）の例では０）を表している。
グラフィックス制御部１０２は本来、図１０に示すように時刻Ｔ１から画面構成変化を開始できるが、本実施形態においては、タイミング情報に基づき、時刻Ｔにおいて画面構成変化を開始しない。
したがって、時刻Ｔ１の合成対象グラフィックスＳ１０３と合成対象画像データＳ１０６との合成結果は、図１１に示した従来技術のような画面構成上の矛盾を起こすことなく合成される。
時刻Ｔ２において、変形・移動処理部１０５による画像データの変形・移動処理が開始されたため、時刻Ｔ２におけるタイミング情報Ｓ１０８は、開始（図２（Ｄ）の例では１）を表している。
グラフィックス制御部１０２は、タイミング情報Ｓ１０８に基づき、時刻Ｔ２において画面構成変化を開始する。画面構成変化の開始後も、タイミング情報Ｓ１０８を用いることにより、図１１に示した従来技術のような画面構成上の矛盾を回避して合成することが可能となっている。
【００４７】
次に、図３（Ａ）〜（Ｄ）に関連付けて、第２の場合におけるタイミング情報に基づく制御動作について説明する。
【００４８】
図３（Ａ）〜（Ｄ）は、グラフィックス制御部１０２およびグラフィックス生成部１０３が、タイミング情報Ｓ１０８を反映するまでに遅延が必要な場合を説明するための図である。
図３（Ａ）が合成対象グラフィックスＳ１０３を、図３（Ｂ）が合成対象画像データＳ１０６を、図３（Ｃ）が合成データＳ１０７を、図３（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００４９】
この場合、上述した第１の場合と同様に、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御するが、変形・移動処理部１０５による画像データの変形・移動処理の開始が遅延し、時刻Ｔ２から開始されている。
グラフィックス制御部１０２は、タイミング情報Ｓ１０８を反映するまでに遅延があるため、画面構成制御部１０１の指示通り時刻Ｔ１から画面構成変化を開始している。
したがって、時刻Ｔ１の合成対象に対する合成結果は、図１１の従来技術と同様に画面構成に矛盾のある合成データとなる。
しかし、時刻Ｔ２においてグラフィックス制御部１０２は、時刻Ｔ１におけるタイミング情報１１５を反映することが可能となる。時刻Ｔ１におけるタイミング情報Ｓ１０８は、未開始（図３（Ｄ）の例では０）を表しているため、画面構成の変化を停止したグラフィックスを生成する。
時刻Ｔ３おいてグラフィックス制御部１０２は、時刻Ｔ２におけるタイミング情報Ｓ１０８を参照し、変形・移動処理部１０５による画像データの変形・移動処理が時刻Ｔ２において開始（図３（Ｄ）のタイミング情報例では１）したことを知るため、画面構成に矛盾が起こらないよう、グラフィックスの画面構成変化を再開する。
時刻Ｔ２以降は、タイミング情報Ｓ１０８を用いることにより、図１１に示した従来技術のような画面構成上の矛盾を回避して合成することが可能となっている。
【００５０】
なお、遅延が発生し得る側（図３の例では画像データ）が画面構成変更前に全画面の領域に表示されている場合、遅延が発生し得る側を前面として合成することにより、画面構成変化開始時に発生し得る画面構成の矛盾を合成データに影響しないように合成することも可能である。
【００５１】
次に、図４（Ａ）〜（Ｄ）に関連付けて、第３の場合におけるタイミング情報に基づく制御動作について説明する。
【００５２】
図４（Ａ）〜（Ｄ）は、タイミング情報にカウントダウンを導入することにより、グラフィックス制御部１０２およびグラフィックス生成部１０２がタイミング情報１１５を反映するまでに遅延が必要な場合においても、画面構成変化開始時からグラフィックスと画像データのタイミングを常に一致させる場合を説明するための図である。
図４（Ａ）が合成対象グラフィックスＳ１０３を、図４（Ｂ）が合成対象画像データＳ１０６を、図４（Ｃ）が合成データＳ１０７を、図４（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００５３】
この場合、第１の場合と同様に、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御するが、先行して時刻Ｔ０に画像制御部１０４へ通知を行う。
図４（Ａ）〜（Ｃ）の例では、変形・移動処理部１０５による画像データの変形・移動開始が遅延しているため、時刻Ｔ０におけるタイミング情報Ｓ１０８は０（開始準備されていない）のままである。
時刻Ｔ１においてグラフィックス制御部１０２は、時刻Ｔ０におけるタイミング情報を参照し、未開始のため、画面構成変化を開始しない。
画像データのタイミング情報Ｓ１０８は、時刻Ｔ１において−１（次の時刻で開始することを表す開始カウントダウン）を示す。開始カウントダウンは、画像データの画面構成変化開始時刻までのカウントダウンを表す。
時刻Ｔ２においてグラフィックス制御部１０２は、時刻Ｔ１におけるタイミング情報Ｓ１０８を参照し、−１（次の時刻で開始することを表す開始カウントダウン）のため、時刻Ｔ２からの開始を事前に知ることができる。
【００５４】
したがって、画像データ、グラフィックスともに、Ｔ２から画面構成変化を開始する。上記のようにタイミング情報Ｓ１０８にカウントダウンを導入することにより、画像データの変形・移動開始が遅れても、グラフィックスと画像データのタイミングを常に一致させることが可能となる。
【００５５】
図２、３、４では、画像処理部１０６における遅延が無い場合を説明してきた。データ合成装置１００が遅延を含む画像処理部１０６を備える場合には、タイミング情報生成部１０８が、画像処理部１０６における遅延を加味し、合成部１０７へ入力される時刻に対応するタイミング情報Ｓ１０８を出力すれば、画像処理部１０６における遅延が無い場合と同様に本発明を適用できる。
【００５６】
図２、３、４では、画面構成変化の開始点において画像データの変形・移動処理開始が遅延する場合を説明したが、画像データの変形・移動処理開始が早い場合にも、同様にタイミング情報Ｓ１０８を用いて補正することが可能であることは明らかである。
【００５７】
図２、３、４では、画面構成変化の開始点において画像データとグラフィックスの画面構成変化がずれる場合を説明したが、画面構成変化の途中でずれが生じる場合にも、画面構成の終了時にずれが生じる場合にも、同様に補正することが可能であることは明らかである。
【００５８】
第２実施形態
図５は、本発明に係るデータ合成装置の第２の実施形態を示すブロック図である。
【００５９】
本第２の実施形態が上述した第１の実施形態と異なる点は以下の点にある。
すなわち、第１の実施形態においては、画像データの変形・移動処理部１０５がタイミング情報生成部１０８を備え、タイミング情報Ｓ１０８に基づいてグラフィックス制御部１０２がタイミングずれの検知・補正を行っていた。
これに対して、本第２の実施形態では反対に、グラフィックス生成部１０３Ａがタイミング情報生成部１０９を備え、タイミング情報Ｓ１０９に基づいて画像制御部１０４Ａがタイミングずれの検知・補正を行い、画像制御部１０４Ａが補正されたタイミングをもって画像データの変形・移動処理を行うように、変形・移動処理部１０５Ａを制御する。
【００６０】
その他の構成は、上述した第１の実施形態と同様である。
【００６１】
図２〜４における合成対象グラフィックスと合成対象画像データのタイミングを入れ替えれば、第１の実施形態と同様にタイミング情報に基づいて画像制御部１０４Ａがタイミングずれの検知・補正を行うことにより、グラフィックス生成タイミングずれの影響を補正できることは自明である。
【００６２】
第３実施形態
図６は、本発明に係るデータ合成装置の第３の実施形態を示すブロック図である。
【００６３】
本第３の実施形態が上述した第１および第２の実施形態と異なる点は以下の点にある。
すなわち、第１および第２の実施形態では、画像データもしくはグラフィックスデータのいずれかのタイミング情報を生成し、合成対象の制御部がタイミング情報を参照して、変形移動処理もしくはグラフィックスの生成タイミングを変更することにより補正を行っていた。
これに対して、本第３の実施形態におけるデータ合成装置１００Ｂでは、画像データおよびグラフィックスデータ双方のタイミング情報Ｓ１０８，Ｓ１０９を生成し、合成部１０７Ｂに入力する。
そして、合成部１０７Ｂは、合成対象のタイミング情報Ｓ１０８およびＳ１０９を参照し、合成対象のタイミングが一致するよう、合成対象の入力をフレームメモリ１１０を用いて遅延させ、合成する。
【００６４】
次に、図７（Ａ）〜（Ｅ）に関連付けて、第３の実施形態におけるタイミング情報と、合成部における補正動作について説明する。
図７（Ａ）が合成対象グラフィックスＳ１０３を、図７（Ｂ）が合成対象画像データＳ１０６を、図７（Ｃ）が合成データＳ１０７を、図７（Ｄ）がグラフィックスのタイミング情報Ｓ１０９を、図７（Ｅ）が画像データのタイミング情報Ｓ１０８をそれぞれ示している。
【００６５】
この画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御する。グラフィックスは時刻Ｔ１から画面構成変化を開始したため、時刻Ｔ１におけるグラフィックスのタイミング情報Ｓ１０９は開始（図７（Ｄ）の例では１）を表している。
一方、変形・移動処理部１０５による画像データの変形・移動処理の開始は遅延し、時刻Ｔ２から開始されている。
したがって、時刻Ｔ１における画像データのタイミング情報Ｓ１０８は、未開始（図７（Ｅ）の例では０）を表している。
合成部１０７Ｂは、双方のタイミング情報を比較し、時刻Ｔ１において合成対象画像データＳ１０６の画面構成変化が開始されていないことを検知できる。
図７（Ａ）〜（Ｃ）の例では、時刻Ｔ１において、合成対象画像データＳ１０６のみを合成データとして出力しているが、時刻Ｔ０における合成対象グラフィックスＳ１０３をフレームメモリ１１０に保存しておき、時刻Ｔ１における合成対象画像データＳ１０６を合成しても良い。
もしくは、時刻Ｔ０における合成データＳ１０７をフレームメモリ１１０に保存しておき、時刻Ｔ１において繰り返し出力しても良い。
【００６６】
時刻Ｔ１においてタイミング情報のずれを検知した合成部１０７Ｂは、タイミングが進んでいる合成対象（図７の例では合成対象グラフィックスＳ１０３）をフレームメモリ１１０に蓄積し、遅延させる。
時刻Ｔ２におけるグラフィックスのタイミング情報Ｓ１０９は開始後２フレーム目を示し、画像データのタイミング情報Ｓ１０８は開始後１フレーム目を示している。タイミング情報に基づき、合成部１０７Ｂは、画像データＳ１０６が１フレーム遅延していることを検知することができる。
したがって、時刻Ｔ２における合成には、フレームメモリ１１０に蓄積していた時刻Ｔ１における合成対象グラフィックスＳ１０３を使用することでグラフィックスを遅延させ、画像データＳ１０６とのタイミングを合わせるように補正する。
以降、同様の動作により、常にタイミングの合ったグラフィックスと画像データを合成することが可能となる。
【００６７】
また、第３の実施形態においても、画面構成変化の開始までのカウントダウンをタイミング情報に加えることにより、図７の時刻Ｔ１における画像タイミング情報が開始準備を表すこととなり、合成部が、グラフィックスを１フレーム遅延させればよい旨、時刻Ｔ１において先行して知ることが可能となる。
【００６８】
次に、タイミング情報の異なる受け渡し方法について、図８に関連付けて説明する。
図８において、１１１はタイミング情報生成部、１１２はタイミング情報検出部、１１３は重畳手段としての加算部をそれぞれ示している。
【００６９】
図１、図５および図６に示したデータ合成装置１００，１００Ａ，１００Ｂでは、グラフィックスおよび画像データとは別個にタイミング情報を受け渡していた。
図８に示すタイミング情報の受け渡し方法では、加算部１１３において、画像データもしくはグラフィックスＳ１２０にタイミング情報Ｓ１１１を重畳し、タイミング情報検出部１１２により重畳データＳ１１３に含まれる画像データもしくはグラフィックス中から重畳されたタイミング情報を検出する。
この受け渡し方法によれば、データとは別個にタイミング情報を受け渡すための通信手段が不要となる。
特に、画像処理部１０６によりデータが遅延される場合、画像処理部１０６において特別な処理なしに、タイミング情報も遅延させることができるという利点がある。
【００７０】
上述した第１および第２の実施形態においても、タイミング情報検出部１１２からタイミング情報を対応する制御部へ通知することで、画像データもしくはグラフィックスにタイミング情報を重畳する受け渡し方法を適用することができる。
特に、グラフィックスおよび画像データのブランク期間（画面構成に有効な領域外の部分）にタイミング情報を重畳することにより、グラフィックスおよび画像データに影響することなく、タイミング情報を受け渡すことが可能である。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、画面を構成するデータのたとえば変形や移動（配置）、生成のタイミング情報を生成し、上記タイミング情報に合わせて合成されるデータの変形や移動（配置）、生成のタイミングを補正することにより、タイミング合わせを必要とする画面構成の合成が可能となる利点がある。
【００７２】
また、本発明によれば、画面を構成するデータの変形や移動（配置）、生成のタイミング情報を生成し、合成段において合成対象のタイミング情報を比較し、合成するタイミングを補正することにより、タイミング合わせを必要とする画面構成の合成が可能となる。
【００７３】
さらに、画面構成の変化を開始するまでのカウントダウンをタイミング情報に取り入れることにより、タイミング情報を即座に反映できないシステムにおいても、画面構成の変化開始点から矛盾なくタイミング補正を行うことが可能となる。
【００７４】
また、タイミング情報を合成対象データ中に重畳することにより、データとは別個にタイミング情報を受け渡すための通信手段を不要とすることも可能である。
特に、各制御部が複数のプロセッサにより構成されていたり、各制御部間や制御部と処理部間の通信が遅延を含むバスにより接続されていたり、通信に時間がかかる場合や、各制御部や処理部がソフトウェアによって構成されている場合、および複数の合成対象データが非同期で入力される場合などにおいても、本発明により、所望の画面構成を矛盾なく合成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るデータ合成装置の第１の実施形態を示すブロック図である。
【図２】第１の実施形態において、画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる場合を説明するための図である。
【図３】第１の実施形態において、グラフィックス制御部およびグラフィックス生成部が、タイミング情報を反映するまでに遅延が必要な場合を説明するための図である。
【図４】第１の実施形態において、タイミング情報にカウントダウンを導入することにより、グラフィックス制御部およびグラフィックス生成部がタイミング情報を反映するまでに遅延が必要な場合においても、画面構成変化開始時からグラフィックスと画像データのタイミングを常に一致させる場合を説明するための図である。
【図５】本発明に係るデータ合成装置の第２の実施形態を示すブロック図である。
【図６】本発明に係るデータ合成装置の第３の実施形態を示すブロック図である。
【図７】第３の実施形態におけるタイミング情報と、合成部における補正動作について説明するための図である。
【図８】タイミング情報をデータに重畳する場合の、タイミング情報生成から検出までの処理を説明するための図である。
【図９】従来のデータ合成装置の構成を示すブロック図である。
【図１０】グラフィックスと画像データの合成タイミング例を示す図である。
【図１１】従来のデータ合成装置において、合成タイミングがずれた場合の問題点を説明するための図である。
【符号の説明】
１００…データ合成装置、１０１…画面構成制御部、１０２…グラフィックス制御部、１０３，１０３Ａ，１０３Ｂ…グラフィックス生成部、１０４，１０４Ａ…画像制御部、１０５，１０５Ａ，１０５Ｂ…変形・移動処理部、１０６…画像処理部、１０７，１０７Ｂ…合成部、１０８…画像データのタイミング情報生成部、１０９…グラフィックスのタイミング情報生成部、１１０…フレームメモリ、ＳＩＭ…入力画像データ、１１１…画像データまたはグラフィックスのタイミング情報生成部、１１２…タイミング情報検出部、１１３…重畳部、Ｓ１０５…変形・移動処理済画像データ、Ｓ１０３…合成対象グラフィックス、Ｓ１０６…合成対象画像データ、Ｓ１０７…合成データ、Ｓ１０８…画像データのタイミング情報、Ｓ１０９…グラフィックスのタイミング情報。
【発明の属する技術分野】
本発明は、静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成するような、ＴＶ放送受信機、ＴＶモニタ、ＰＣモニタ、編集装置、マルチメディアデータ再生装置等に用いて好適なデータ合成装置とその方法に関するものである。
【０００２】
【従来の技術】
静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成するデータ合成装置としては、たとえば非同期に処理される色データ、深さデータ、テクスチャデータ、その他のデータを同期させるコンピュータグラフィックスシステム（特許文献１）、あるいは、２次元グラフィックスイメージ処理パイプラインにおいて複数の３次元イメージを合成し、合成したイメージを表示画面に最終的にレンダリングするコンピュータグラフィックスシステム（特許文献２）、等が知られている。
【０００３】
図９は、静止画像データ、動画像データ、およびグラフィックデータなどを合成して画面を構成する、従来のデータ合成装置の構成例を示すブロック図である。
【０００４】
このデータ合成装置１０は、図９に示すように、画面構成制御部１１、グラフィックス制御部１２、グラフィックス生成部１３、画像制御部１４、変形・移動処理部１５、画像処理部１６、および合成部１７を有する。
【０００５】
画面構成制御部１１は、合成対象のデータをいつ、どのように変形（拡大・縮小等）し、画面上のどこに移動（配置し）合成するかを制御する。
グラフィックス制御部１２は、グラフィックス生成部１３を制御し、画面構成制御部１１から指示された合成画面に必要となるグラフィックスを生成させる。生成された合成対象グラフィックスＳ１３は、合成部１７へ入力される。
【０００６】
一方、画像制御部１４は、画像の変形・移動処理部１５を制御し、画面構成制御部１１から指示された合成画面に合わせて、入力画像データＳＩＭを変形・移動させる。変形・移動処理済み画像データＳ１５は、画像処理部１６によりさらなる処理を行う場合がある。
画像処理部１６では、たとえば画質向上のためのフィルタ処理や、画像フォーマットの変換処理等が行われる。なお、画像処理部１６が存在しない場合もある。また、同様に、グラフィックス生成部１３後段に、図示していないグラフィックス処理部が配置される場合もある。
変形・移動処理済み画像データＳ１５は、合成対象画像データＳ１６として合成部１７へ入力される。
合成部１７は、入力された合成対象グラフィックスＳ１３と合成対象画像データＳ１６を合成することにより、合成データＳ１７を出力する。
【０００７】
たとえばＴＶモニタやＰＣモニタでは、ユーザに提示するメニューをグラフィックスとして作成し、表示すべき画像データ上に重ね合わせて表示する。このようなシステムは、ＯＳＤ（オンスクリーンディスプレイ）とも呼ばれている。
また、デジタルテレビ放送のように、画像データとともにグラフィックスデータが送信され、両者を合成した画面構成を提示するサービスにおいても、図９に示すようなデータ合成装置が使用される。
【０００８】
【特許文献１】
特開平９−６９７３号公報
【特許文献２】
特開２００１−３５７４１０号公報
【０００９】
【発明が解決しようとする課題】
ところが、図９に示した合成システム１０においては、合成対象グラフィックスＳ１３と合成対象画像データＳ１６との厳密なタイミング合わせは行われていない。
したがって、従来のデータ合成装置においては、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するような画面構成を正確に実現することができないという不利益がある。
この点について、図１０（Ａ）〜（Ｃ）および図１１（Ａ）〜（Ｃ）に関連付けてさらに考察する。
【００１０】
図１０（Ａ）〜（Ｃ）は、合成対象データの変形や移動（配置）を含み、変形や移動量、配置位置が連続的に変化するような画面構成の合成例を示す図である。図１０（Ａ）が合成対象グラフィックスＳ１３を、図１０（Ｂ）が合成対象画像データＳ１６を、図１０（Ｃ）が合成データＳ１７を示している。
【００１１】
図に示すように、時刻Ｔ１において、合成対象画像データＳ１６の変形（縮小）および移動が開始されている。
縮小後に移動される画像データに合わせ、画像データが存在しない領域に有効なグラフィックスが生成されている。
図１０（Ａ）〜（Ｃ）の例では、時間経過とともに画像データＳ１６，Ｓ１７は連続的に縮小され、かつ移動されていき、伴って有効なグラフィックス領域も変化している。
合成対象画像データＳ１６と合成対象グラフィックスＳ１３が正しいタイミングで合成される限り、両者の領域は正しく対応付けられる。
【００１２】
ところが、画像データの変形・移動と、対応するグラフィックスの生成タイミングとがずれた場合、所望の合成データを得ることができない。
【００１３】
図１１（Ａ）〜（Ｃ）は、画像データの変形・移動開始が１フレーム遅延してしまった場合の合成例を示す図である。図１１（Ａ）が合成対象グラフィックスＳ１３を、図１１（Ｂ）が合成対象画像データＳ１６を、図１１（Ｃ）が合成データＳ１７を示している。
【００１４】
図に示すように、時刻Ｔ１において、画面構成の変更を開始し、グラフィックスは正しいタイミングで生成されている。
図１１（Ａ）〜（Ｃ）の例では、合成対象画像データの変形（縮小）および移動開始が、時刻Ｔ２に遅延した例を示している。
時刻Ｔ１において、合成部１７へは画面構成の変更が開始されていない画像データＳ１６と、すでに開始しているグラフィックスＳ１３が入力されてしまうため、矛盾した合成データが出力されてしまう。
一般に、ＯＳＤではグラフィックスが画像データの前面に重ねて合成されるため、図１１（Ａ）〜（Ｃ）ではグラフィックスを前面に重ねた場合を示しているが、画像データがグラフィックスの前面に重ねられる場合にも同様に矛盾した合成データとなってしまう。
さらに、合成対象画像データの変形（縮小）および移動開始の遅延が、以降の合成タイミングに伝播し、画面構成のタイミングがずれたまま合成され続けてしまう。
【００１５】
これは、上述したように、画像データ、およびグラフィックデータなどを合成して画面を構成する従来のデータ合成装置においては、合成対象グラフィックスと合成対象画像データの厳密なタイミング合わせは行われていないことによる。
【００１６】
特に、各制御部（画面構成制御部、画像制御部、グラフィックス制御部）が複数のプロセッサにより構成されていたり、各制御部間や制御部と処理部（変形・移動処理部、グラフィックス生成部）間の通信が遅延を含むバスにより接続されていたり、通信に時間がかかる場合に、画面構成の変更通知が実際に変形・移動処理部もしくはグラフィックス生成部へ反映するまでに遅延が発生しやすい。
【００１７】
また、各制御部や処理部がソフトウェアによって構成されている場合にも、遅延が発生しやすい。
また、画像データとグラフィックスが非同期の場合に、両者のタイミングがずれることによっても、いずれかが遅延した場合と同様となる。
【００１８】
したがって、従来のデータ合成装置においては、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するようなタイミング合わせを必要とする画面構成を実現することが困難である。
つまり、ＯＳＤでは、合成対象のグラフィックスと画像データが時間的な関連を持たないという制約が課せられている。
また、変形・移動（配置）された画像データの存在しない領域にグラフィックスを合成する画面構成では、変形や移動量、配置位置が連続的に変化しない画面構成という制限下で使用しなければならない。
後者の制限下においても、画面構成が切り替えられる際に、画像データとグラフィックスのタイミングずれによって、矛盾した合成画像を表示してしまう。
【００１９】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、タイミング情報に合わせて合成されるデータの変形や移動（配置）、生成のタイミングを補正することが可能で、タイミング合わせを必要とする画面構成の合成が可能となるデータ合成装置およびデータ合成方法を提供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、上記第１のデータに対して所定の処理を施す処理部と、上記第２のデータを生成するデータ生成部と、上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理または上記データ生成部の生成処理のタイミング情報を生成するタイミング情報生成部と、上記処理部または上記データ生成部に、上記タイミング情報生成部で生成されたタイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行わせる制御部とを有する。
【００２１】
本発明の第２の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、上記第１のデータに対して所定の処理を施す処理部と、上記第２のデータを生成するデータ生成部と、上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理および上記データ生成部の生成処理の少なくとも一方のタイミング情報を生成するタイミング情報生成部と、を有し、上記合成部は、上記タイミング情報生成部で生成されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２２】
好適には、上記処理部により所定の処理が施された第１のデータに対して、遅延を含む処理を施す第２の処理部を、さらに有し、上記タイミング情報生成部は、上記第２の処理部の当該遅延量を加味し、合成部への入力タイミングを表すタイミング情報を生成する。
【００２３】
好適には、上記タイミング情報生成部は、画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する。
【００２４】
また、好適には、上記タイミング情報生成部で生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させる重畳手段を、有し、上記重畳されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２５】
好適には、上記重畳手段は、上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する。
【００２６】
本発明の第３の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、上記第１のデータに対して所定の処理を施す第１のステップと、上記第２のデータを生成する第２のステップと、上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理または上記第２のステップの生成処理のタイミング情報を生成し、上記第１のステップまたは上記第２のステップにおいて、上記タイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行う。
【００２７】
本発明の第４の観点は、画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、上記第１のデータに対して所定の処理を施す第１のステップと、上記第２のデータを生成する第２のステップと、上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理および上記第２のステップの生成処理の少なくとも一方のタイミング情報を生成し、上記第３のステップにおいて、上記タイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う。
【００２８】
本発明によれば、たとえば第１のデータまたは第２のデータとしての画像データの変形・移動処理部もしくは第２のデータまたは第１のデータとしてのグラフィックスデータの生成部が、画面構成のタイミング情報を生成し、一方のタイミング情報に基づいて他方の変形・移動処理もしくは生成処理のタイミングを補正することにより、双方のタイミングを一致させる。
【００２９】
また、本発明によれば、第１のデータまたは第２のデータとしての画像データの変形・移動処理部および／または第２のデータまたは第１のデータとしてのグラフィックスデータの生成部が、画面構成のタイミング情報を生成し、双方のタイミング情報に基づいて対応するタイミングのデータ同士を合成することにより、双方のタイミングを一致させる。
【００３０】
本発明によれば、画面構成の開始タイミングが遅延もしくは早まったり、もしくは画面構成の変化途中でタイミングのずれが発生した場合にも、タイミング情報に基づいて、対応するタイミングのデータ同士が合成出力されるように補正されるため、合成対象データの変形や移動（配置）を含み、特に変形や移動量、配置位置が連続的に変化するようなタイミング合わせを必要とする画面構成であっても、所望の合成データを得ることが可能となる。
【００３１】
【発明の実施の形態】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００３２】
第１実施形態
図１は、本発明に係るデータ合成装置の第１の実施形態を示すブロック図である。
【００３３】
このデータ合成装置１００は、画面構成変化のタイミング情報を生成し、グラフィックス生成のタイミングを、第１のデータまたは第２のデータとしての画像データの変形・移動処理のタイミングに合わせることにより、タイミングずれの無い第２のデータまたは第１のデータとしてのグラフィックスと画像データとを合成可能とし、所望の合成データを得るものである。
【００３４】
このデータ合成装置１００は、図１に示すように、画面構成制御部１０１、グラフィックス制御部１０２、グラフィックス生成部１０３、画像制御部１０４、処理部としての変形・移動処理部１０５、第２の処理部としての画像処理部１０６、合成部１０７、および画像データのタイミング情報生成部１０８を有する。
【００３５】
画面構成制御部１０１は、合成対象のデータをいつ、どのように変形（拡大・縮小等）し、画面上のどこに移動（配置し）合成するかを制御する。
【００３６】
グラフィックス制御部１０２は、タイミング情報生成部１０８による画面構成変化のタイミング情報Ｓ１０８に基づいて画像データとのタイミングずれの検知・補正を行い、画面構成制御部１０１から指示された合成画面に必要となるグラフィックスをタイミング情報Ｓ１０８に基づき補正されたタイミングに合わせて生成するように、グラフィックス生成部１０３を制御する。
【００３７】
グラフィックス生成部１０３は、グラフィックス制御部１０２の制御の下、画面構成制御部１０１から指示された合成画面に必要となるグラフィックスをタイミング情報Ｓ１０８に合わせて生成し、合成対象グラフィックスＳ１０３として合成部１０７に出力する。
なお、グラフィックス生成部１３の後段に、図示していないグラフィックス処理部が配置される場合もある。
【００３８】
画像制御部１０４は、画像の変形・移動処理部１０５を制御し、画面構成制御部１０１から指示された合成画面に合わせて、入力画像データＳＩＭを変形・移動させる。
【００３９】
変形・移動処理部１０５は、画像制御部１０４の制御の下、画面構成制御部１０１の指示に応じた合成画面に合わせて、入力画像データＳＩＭを変形・移動させ、変形・移動処理済み画像データＳ１０５を、たとえば画像処理部１０６に出力する。
【００４０】
画像処理部１０６は、変形・移動処理部１０５による変形・移動処理済み画像データＳ１０５に対して、たとえば画質向上のためのフィルタ処理や、画像フォーマットの変換処理等を行い、合成対象画像データＳ１０６として合成部１０７に出力する。
なお、画像処理部１０６が存在しない場合もある。また、同様に、グラフィックス生成部１３後段に、図示していないグラフィックス処理部が配置される場合もある。
【００４１】
合成部１０７は、入力された合成対象グラフィックスＳ１０３と合成対象画像データＳ１６を合成することにより、合成データＳ１０７を出力する。
【００４２】
タイミング情報生成部１０８は、画像データの変形・移動処理部１０５に設けられ、画面構成変化のタイミング情報Ｓ１０８を生成し、グラフィックス制御部１０２に出力する。
タイミング情報生成部１０８が生成するタイミング情報Ｓ１０８は、たとえば画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる第１の場合、グラフィックス制御部１０２およびグラフィックス生成部１０３が、タイミング情報Ｓ１０８を反映するまでに遅延が必要な第２の場合、またはタイミング情報にカウントダウンを導入することにより、グラフィックス制御部１０２およびグラフィックス生成部１０２がタイミング情報Ｓ１０８を反映するまでに遅延が必要な第３の場合に応じたタイミング情報を生成する。
【００４３】
以下、第１の場合、第２の場合、および第３の場合のタイミング情報に基づく制御動作について、図面に関連付けて順を追って説明する。
【００４４】
まず、図２（Ａ）〜（Ｄ）に関連付けて、第１の場合におけるタイミング情報に基づく制御動作について説明する。
【００４５】
図２（Ａ）〜（Ｄ）は、画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる場合を説明するための図である。
図２（Ａ）が合成対象グラフィックスＳ１０３を、図２（Ｂ）が合成対象画像データＳ１０６を、図２（Ｃ）が合成データＳ１０７を、図２（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００４６】
この場合、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御する。
しかし、変形・移動処理部１０５による画像データの変形・移動処理の開始が遅延し、時刻Ｔ２から開始されている。
したがって、時刻Ｔ１のタイミング情報Ｓ１０８は、未開始（図２（Ｄ）の例では０）を表している。
グラフィックス制御部１０２は本来、図１０に示すように時刻Ｔ１から画面構成変化を開始できるが、本実施形態においては、タイミング情報に基づき、時刻Ｔにおいて画面構成変化を開始しない。
したがって、時刻Ｔ１の合成対象グラフィックスＳ１０３と合成対象画像データＳ１０６との合成結果は、図１１に示した従来技術のような画面構成上の矛盾を起こすことなく合成される。
時刻Ｔ２において、変形・移動処理部１０５による画像データの変形・移動処理が開始されたため、時刻Ｔ２におけるタイミング情報Ｓ１０８は、開始（図２（Ｄ）の例では１）を表している。
グラフィックス制御部１０２は、タイミング情報Ｓ１０８に基づき、時刻Ｔ２において画面構成変化を開始する。画面構成変化の開始後も、タイミング情報Ｓ１０８を用いることにより、図１１に示した従来技術のような画面構成上の矛盾を回避して合成することが可能となっている。
【００４７】
次に、図３（Ａ）〜（Ｄ）に関連付けて、第２の場合におけるタイミング情報に基づく制御動作について説明する。
【００４８】
図３（Ａ）〜（Ｄ）は、グラフィックス制御部１０２およびグラフィックス生成部１０３が、タイミング情報Ｓ１０８を反映するまでに遅延が必要な場合を説明するための図である。
図３（Ａ）が合成対象グラフィックスＳ１０３を、図３（Ｂ）が合成対象画像データＳ１０６を、図３（Ｃ）が合成データＳ１０７を、図３（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００４９】
この場合、上述した第１の場合と同様に、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御するが、変形・移動処理部１０５による画像データの変形・移動処理の開始が遅延し、時刻Ｔ２から開始されている。
グラフィックス制御部１０２は、タイミング情報Ｓ１０８を反映するまでに遅延があるため、画面構成制御部１０１の指示通り時刻Ｔ１から画面構成変化を開始している。
したがって、時刻Ｔ１の合成対象に対する合成結果は、図１１の従来技術と同様に画面構成に矛盾のある合成データとなる。
しかし、時刻Ｔ２においてグラフィックス制御部１０２は、時刻Ｔ１におけるタイミング情報１１５を反映することが可能となる。時刻Ｔ１におけるタイミング情報Ｓ１０８は、未開始（図３（Ｄ）の例では０）を表しているため、画面構成の変化を停止したグラフィックスを生成する。
時刻Ｔ３おいてグラフィックス制御部１０２は、時刻Ｔ２におけるタイミング情報Ｓ１０８を参照し、変形・移動処理部１０５による画像データの変形・移動処理が時刻Ｔ２において開始（図３（Ｄ）のタイミング情報例では１）したことを知るため、画面構成に矛盾が起こらないよう、グラフィックスの画面構成変化を再開する。
時刻Ｔ２以降は、タイミング情報Ｓ１０８を用いることにより、図１１に示した従来技術のような画面構成上の矛盾を回避して合成することが可能となっている。
【００５０】
なお、遅延が発生し得る側（図３の例では画像データ）が画面構成変更前に全画面の領域に表示されている場合、遅延が発生し得る側を前面として合成することにより、画面構成変化開始時に発生し得る画面構成の矛盾を合成データに影響しないように合成することも可能である。
【００５１】
次に、図４（Ａ）〜（Ｄ）に関連付けて、第３の場合におけるタイミング情報に基づく制御動作について説明する。
【００５２】
図４（Ａ）〜（Ｄ）は、タイミング情報にカウントダウンを導入することにより、グラフィックス制御部１０２およびグラフィックス生成部１０２がタイミング情報１１５を反映するまでに遅延が必要な場合においても、画面構成変化開始時からグラフィックスと画像データのタイミングを常に一致させる場合を説明するための図である。
図４（Ａ）が合成対象グラフィックスＳ１０３を、図４（Ｂ）が合成対象画像データＳ１０６を、図４（Ｃ）が合成データＳ１０７を、図４（Ｄ）がタイミング情報Ｓ１０８をそれぞれ示している。
【００５３】
この場合、第１の場合と同様に、画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御するが、先行して時刻Ｔ０に画像制御部１０４へ通知を行う。
図４（Ａ）〜（Ｃ）の例では、変形・移動処理部１０５による画像データの変形・移動開始が遅延しているため、時刻Ｔ０におけるタイミング情報Ｓ１０８は０（開始準備されていない）のままである。
時刻Ｔ１においてグラフィックス制御部１０２は、時刻Ｔ０におけるタイミング情報を参照し、未開始のため、画面構成変化を開始しない。
画像データのタイミング情報Ｓ１０８は、時刻Ｔ１において−１（次の時刻で開始することを表す開始カウントダウン）を示す。開始カウントダウンは、画像データの画面構成変化開始時刻までのカウントダウンを表す。
時刻Ｔ２においてグラフィックス制御部１０２は、時刻Ｔ１におけるタイミング情報Ｓ１０８を参照し、−１（次の時刻で開始することを表す開始カウントダウン）のため、時刻Ｔ２からの開始を事前に知ることができる。
【００５４】
したがって、画像データ、グラフィックスともに、Ｔ２から画面構成変化を開始する。上記のようにタイミング情報Ｓ１０８にカウントダウンを導入することにより、画像データの変形・移動開始が遅れても、グラフィックスと画像データのタイミングを常に一致させることが可能となる。
【００５５】
図２、３、４では、画像処理部１０６における遅延が無い場合を説明してきた。データ合成装置１００が遅延を含む画像処理部１０６を備える場合には、タイミング情報生成部１０８が、画像処理部１０６における遅延を加味し、合成部１０７へ入力される時刻に対応するタイミング情報Ｓ１０８を出力すれば、画像処理部１０６における遅延が無い場合と同様に本発明を適用できる。
【００５６】
図２、３、４では、画面構成変化の開始点において画像データの変形・移動処理開始が遅延する場合を説明したが、画像データの変形・移動処理開始が早い場合にも、同様にタイミング情報Ｓ１０８を用いて補正することが可能であることは明らかである。
【００５７】
図２、３、４では、画面構成変化の開始点において画像データとグラフィックスの画面構成変化がずれる場合を説明したが、画面構成変化の途中でずれが生じる場合にも、画面構成の終了時にずれが生じる場合にも、同様に補正することが可能であることは明らかである。
【００５８】
第２実施形態
図５は、本発明に係るデータ合成装置の第２の実施形態を示すブロック図である。
【００５９】
本第２の実施形態が上述した第１の実施形態と異なる点は以下の点にある。
すなわち、第１の実施形態においては、画像データの変形・移動処理部１０５がタイミング情報生成部１０８を備え、タイミング情報Ｓ１０８に基づいてグラフィックス制御部１０２がタイミングずれの検知・補正を行っていた。
これに対して、本第２の実施形態では反対に、グラフィックス生成部１０３Ａがタイミング情報生成部１０９を備え、タイミング情報Ｓ１０９に基づいて画像制御部１０４Ａがタイミングずれの検知・補正を行い、画像制御部１０４Ａが補正されたタイミングをもって画像データの変形・移動処理を行うように、変形・移動処理部１０５Ａを制御する。
【００６０】
その他の構成は、上述した第１の実施形態と同様である。
【００６１】
図２〜４における合成対象グラフィックスと合成対象画像データのタイミングを入れ替えれば、第１の実施形態と同様にタイミング情報に基づいて画像制御部１０４Ａがタイミングずれの検知・補正を行うことにより、グラフィックス生成タイミングずれの影響を補正できることは自明である。
【００６２】
第３実施形態
図６は、本発明に係るデータ合成装置の第３の実施形態を示すブロック図である。
【００６３】
本第３の実施形態が上述した第１および第２の実施形態と異なる点は以下の点にある。
すなわち、第１および第２の実施形態では、画像データもしくはグラフィックスデータのいずれかのタイミング情報を生成し、合成対象の制御部がタイミング情報を参照して、変形移動処理もしくはグラフィックスの生成タイミングを変更することにより補正を行っていた。
これに対して、本第３の実施形態におけるデータ合成装置１００Ｂでは、画像データおよびグラフィックスデータ双方のタイミング情報Ｓ１０８，Ｓ１０９を生成し、合成部１０７Ｂに入力する。
そして、合成部１０７Ｂは、合成対象のタイミング情報Ｓ１０８およびＳ１０９を参照し、合成対象のタイミングが一致するよう、合成対象の入力をフレームメモリ１１０を用いて遅延させ、合成する。
【００６４】
次に、図７（Ａ）〜（Ｅ）に関連付けて、第３の実施形態におけるタイミング情報と、合成部における補正動作について説明する。
図７（Ａ）が合成対象グラフィックスＳ１０３を、図７（Ｂ）が合成対象画像データＳ１０６を、図７（Ｃ）が合成データＳ１０７を、図７（Ｄ）がグラフィックスのタイミング情報Ｓ１０９を、図７（Ｅ）が画像データのタイミング情報Ｓ１０８をそれぞれ示している。
【００６５】
この画面構成制御部１０１は、時刻Ｔ１から画面構成変化を行うように制御する。グラフィックスは時刻Ｔ１から画面構成変化を開始したため、時刻Ｔ１におけるグラフィックスのタイミング情報Ｓ１０９は開始（図７（Ｄ）の例では１）を表している。
一方、変形・移動処理部１０５による画像データの変形・移動処理の開始は遅延し、時刻Ｔ２から開始されている。
したがって、時刻Ｔ１における画像データのタイミング情報Ｓ１０８は、未開始（図７（Ｅ）の例では０）を表している。
合成部１０７Ｂは、双方のタイミング情報を比較し、時刻Ｔ１において合成対象画像データＳ１０６の画面構成変化が開始されていないことを検知できる。
図７（Ａ）〜（Ｃ）の例では、時刻Ｔ１において、合成対象画像データＳ１０６のみを合成データとして出力しているが、時刻Ｔ０における合成対象グラフィックスＳ１０３をフレームメモリ１１０に保存しておき、時刻Ｔ１における合成対象画像データＳ１０６を合成しても良い。
もしくは、時刻Ｔ０における合成データＳ１０７をフレームメモリ１１０に保存しておき、時刻Ｔ１において繰り返し出力しても良い。
【００６６】
時刻Ｔ１においてタイミング情報のずれを検知した合成部１０７Ｂは、タイミングが進んでいる合成対象（図７の例では合成対象グラフィックスＳ１０３）をフレームメモリ１１０に蓄積し、遅延させる。
時刻Ｔ２におけるグラフィックスのタイミング情報Ｓ１０９は開始後２フレーム目を示し、画像データのタイミング情報Ｓ１０８は開始後１フレーム目を示している。タイミング情報に基づき、合成部１０７Ｂは、画像データＳ１０６が１フレーム遅延していることを検知することができる。
したがって、時刻Ｔ２における合成には、フレームメモリ１１０に蓄積していた時刻Ｔ１における合成対象グラフィックスＳ１０３を使用することでグラフィックスを遅延させ、画像データＳ１０６とのタイミングを合わせるように補正する。
以降、同様の動作により、常にタイミングの合ったグラフィックスと画像データを合成することが可能となる。
【００６７】
また、第３の実施形態においても、画面構成変化の開始までのカウントダウンをタイミング情報に加えることにより、図７の時刻Ｔ１における画像タイミング情報が開始準備を表すこととなり、合成部が、グラフィックスを１フレーム遅延させればよい旨、時刻Ｔ１において先行して知ることが可能となる。
【００６８】
次に、タイミング情報の異なる受け渡し方法について、図８に関連付けて説明する。
図８において、１１１はタイミング情報生成部、１１２はタイミング情報検出部、１１３は重畳手段としての加算部をそれぞれ示している。
【００６９】
図１、図５および図６に示したデータ合成装置１００，１００Ａ，１００Ｂでは、グラフィックスおよび画像データとは別個にタイミング情報を受け渡していた。
図８に示すタイミング情報の受け渡し方法では、加算部１１３において、画像データもしくはグラフィックスＳ１２０にタイミング情報Ｓ１１１を重畳し、タイミング情報検出部１１２により重畳データＳ１１３に含まれる画像データもしくはグラフィックス中から重畳されたタイミング情報を検出する。
この受け渡し方法によれば、データとは別個にタイミング情報を受け渡すための通信手段が不要となる。
特に、画像処理部１０６によりデータが遅延される場合、画像処理部１０６において特別な処理なしに、タイミング情報も遅延させることができるという利点がある。
【００７０】
上述した第１および第２の実施形態においても、タイミング情報検出部１１２からタイミング情報を対応する制御部へ通知することで、画像データもしくはグラフィックスにタイミング情報を重畳する受け渡し方法を適用することができる。
特に、グラフィックスおよび画像データのブランク期間（画面構成に有効な領域外の部分）にタイミング情報を重畳することにより、グラフィックスおよび画像データに影響することなく、タイミング情報を受け渡すことが可能である。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、画面を構成するデータのたとえば変形や移動（配置）、生成のタイミング情報を生成し、上記タイミング情報に合わせて合成されるデータの変形や移動（配置）、生成のタイミングを補正することにより、タイミング合わせを必要とする画面構成の合成が可能となる利点がある。
【００７２】
また、本発明によれば、画面を構成するデータの変形や移動（配置）、生成のタイミング情報を生成し、合成段において合成対象のタイミング情報を比較し、合成するタイミングを補正することにより、タイミング合わせを必要とする画面構成の合成が可能となる。
【００７３】
さらに、画面構成の変化を開始するまでのカウントダウンをタイミング情報に取り入れることにより、タイミング情報を即座に反映できないシステムにおいても、画面構成の変化開始点から矛盾なくタイミング補正を行うことが可能となる。
【００７４】
また、タイミング情報を合成対象データ中に重畳することにより、データとは別個にタイミング情報を受け渡すための通信手段を不要とすることも可能である。
特に、各制御部が複数のプロセッサにより構成されていたり、各制御部間や制御部と処理部間の通信が遅延を含むバスにより接続されていたり、通信に時間がかかる場合や、各制御部や処理部がソフトウェアによって構成されている場合、および複数の合成対象データが非同期で入力される場合などにおいても、本発明により、所望の画面構成を矛盾なく合成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るデータ合成装置の第１の実施形態を示すブロック図である。
【図２】第１の実施形態において、画像処理部における遅延がなく、グラフィックス制御部およびグラフィックス生成部が、タイミング情報に即応できる場合を説明するための図である。
【図３】第１の実施形態において、グラフィックス制御部およびグラフィックス生成部が、タイミング情報を反映するまでに遅延が必要な場合を説明するための図である。
【図４】第１の実施形態において、タイミング情報にカウントダウンを導入することにより、グラフィックス制御部およびグラフィックス生成部がタイミング情報を反映するまでに遅延が必要な場合においても、画面構成変化開始時からグラフィックスと画像データのタイミングを常に一致させる場合を説明するための図である。
【図５】本発明に係るデータ合成装置の第２の実施形態を示すブロック図である。
【図６】本発明に係るデータ合成装置の第３の実施形態を示すブロック図である。
【図７】第３の実施形態におけるタイミング情報と、合成部における補正動作について説明するための図である。
【図８】タイミング情報をデータに重畳する場合の、タイミング情報生成から検出までの処理を説明するための図である。
【図９】従来のデータ合成装置の構成を示すブロック図である。
【図１０】グラフィックスと画像データの合成タイミング例を示す図である。
【図１１】従来のデータ合成装置において、合成タイミングがずれた場合の問題点を説明するための図である。
【符号の説明】
１００…データ合成装置、１０１…画面構成制御部、１０２…グラフィックス制御部、１０３，１０３Ａ，１０３Ｂ…グラフィックス生成部、１０４，１０４Ａ…画像制御部、１０５，１０５Ａ，１０５Ｂ…変形・移動処理部、１０６…画像処理部、１０７，１０７Ｂ…合成部、１０８…画像データのタイミング情報生成部、１０９…グラフィックスのタイミング情報生成部、１１０…フレームメモリ、ＳＩＭ…入力画像データ、１１１…画像データまたはグラフィックスのタイミング情報生成部、１１２…タイミング情報検出部、１１３…重畳部、Ｓ１０５…変形・移動処理済画像データ、Ｓ１０３…合成対象グラフィックス、Ｓ１０６…合成対象画像データ、Ｓ１０７…合成データ、Ｓ１０８…画像データのタイミング情報、Ｓ１０９…グラフィックスのタイミング情報。
Claims (20)
- 画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、
上記第１のデータに対して所定の処理を施す処理部と、
上記第２のデータを生成するデータ生成部と、
上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、
上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理または上記データ生成部の生成処理のタイミング情報を生成するタイミング情報生成部と、
上記処理部または上記データ生成部に、上記タイミング情報生成部で生成されたタイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行わせる制御部と
を有するデータ合成装置。 - 上記処理部により所定の処理が施された第１のデータに対して、遅延を含む処理を施す第２の処理部を、さらに有し、
上記タイミング情報生成部は、上記第２の処理部の当該遅延量を加味し、合成部への入力タイミングを表すタイミング情報を生成する
請求項１記載のデータ合成装置。 - 上記タイミング情報生成部は、画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する
請求項１記載のデータ合成装置。 - 上記タイミング情報生成部で生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させる重畳手段を、有し、
上記制御部は、上記重畳されたタイミング情報に基づいて、上記処理部または上記データ生成部に、処理または生成タイミングを補正して所定の処理またはデータ生成を行わせる
請求項１記載のデータ合成装置。 - 上記重畳手段は、上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する
請求項４記載のデータ合成装置。 - 画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成装置であって、
上記第１のデータに対して所定の処理を施す処理部と、
上記第２のデータを生成するデータ生成部と、
上記処理部で所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する合成部と、
上記合成部における、上記処理部で所定の処理が施された第１のデータと上記生成部で生成された第２のデータとの合成が同一タイミングで行われるように、上記処理部の処理および上記データ生成部の生成処理の少なくとも一方のタイミング情報を生成するタイミング情報生成部と、
を有し、
上記合成部は、上記タイミング情報生成部で生成されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う
データ合成装置。 - 上記処理部により所定の処理が施された第１のデータに対して、遅延を含む処理を施す第２の処理部を、さらに有し、
上記タイミング情報生成部は、上記第２の処理部の当該遅延量を加味し、合成部への入力タイミングを表すタイミング情報を生成する
請求項６記載のデータ合成装置。 - 上記タイミング情報生成部は、画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する
請求項６記載のデータ合成装置。 - 上記タイミング情報生成部で生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させる重畳手段を、有し、
上記合成部は、上記重畳されたタイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う
請求項６記載のデータ合成装置。 - 上記重畳手段は、上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する
請求項９記載のデータ合成装置。 - 画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、
上記第１のデータに対して所定の処理を施す第１のステップと、
上記第２のデータを生成する第２のステップと、
上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、
上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理または上記第２のステップの生成処理のタイミング情報を生成し、
上記第１のステップまたは上記第２のステップにおいて、上記タイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行う
データ合成方法。 - 上記第１のステップにより所定の処理が施された第１のデータに対して、遅延を含む処理を施す第４のステップを、さらに有し、
上記第４のステップの当該遅延量を加味して上記タイミング情報を生成する
請求項１１記載のデータ合成方法。 - 画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する
請求項１１記載のデータ合成方法。 - 上記生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させ、
上記第１のステップまたは第２のステップでは、重畳されたタイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行う
請求項１１記載のデータ合成方法。 - 上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する
請求項１４記載のデータ合成方法。 - 画像に関する第１のデータと第２のデータを合成して画面を構成するデータ合成方法であって、
上記第１のデータに対して所定の処理を施す第１のステップと、
上記第２のデータを生成する第２のステップと、
上記第１のステップで所定の処理が施された第１のデータと上記データ生成部で生成された第２のデータとを合成する第３のステップと、を含み、
上記第３のステップにおける、上記第１のステップで所定の処理が施された第１のデータと上記第２のステップで生成された第２のデータとの合成が同一タイミングで行われるように、上記第１のステップの処理および上記第２のステップの生成処理の少なくとも一方のタイミング情報を生成し、
上記第３のステップにおいて、上記タイミング情報に基づいて、同一タイミングで行われるように補正して合成を行う
データ合成方法。 - 上記第１のステップにより所定の処理が施された第１のデータに対して、遅延を含む処理を施す第４のステップを、さらに有し、
上記第４のステップの当該遅延量を加味して上記タイミング情報を生成する
請求項１６記載のデータ合成方法。 - 画面構成の変化を開始するまでのカウントダウンを含むタイミング情報を生成する
請求項１６記載のデータ合成方法。 - 上記生成されたタイミング情報を上記第１のデータまたは第２のデータへ重畳させ、
上記第１のステップまたは第２のステップでは、重畳されたタイミング情報に基づいて、処理または生成タイミングを補正して所定の処理またはデータ生成を行う
請求項１６記載のデータ合成方法。 - 上記タイミング情報を上記画像に関する第１のデータまたは第２のデータのブランク期間に重畳する
請求項１９記載のデータ合成方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098015A JP4161770B2 (ja) | 2003-04-01 | 2003-04-01 | データ合成装置およびデータ合成方法 |
| US10/550,314 US7605869B2 (en) | 2003-04-01 | 2004-03-30 | Data combining device and data combining method |
| KR1020057018692A KR101023453B1 (ko) | 2003-04-01 | 2004-03-30 | 데이터 합성 장치 및 데이터 합성 방법 |
| CNB200480008764XA CN100550124C (zh) | 2003-04-01 | 2004-03-30 | 数据合成装置和数据合成方法 |
| PCT/JP2004/004506 WO2004090859A1 (ja) | 2003-04-01 | 2004-03-30 | データ合成装置およびデータ合成方法 |
| EP04724414A EP1610298A4 (en) | 2003-04-01 | 2004-03-30 | DATA SYNTHETIC DEVICE AND DATA SYNTHESIS METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098015A JP4161770B2 (ja) | 2003-04-01 | 2003-04-01 | データ合成装置およびデータ合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004302361A true JP2004302361A (ja) | 2004-10-28 |
| JP4161770B2 JP4161770B2 (ja) | 2008-10-08 |
Family
ID=33156661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003098015A Expired - Fee Related JP4161770B2 (ja) | 2003-04-01 | 2003-04-01 | データ合成装置およびデータ合成方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7605869B2 (ja) |
| EP (1) | EP1610298A4 (ja) |
| JP (1) | JP4161770B2 (ja) |
| KR (1) | KR101023453B1 (ja) |
| CN (1) | CN100550124C (ja) |
| WO (1) | WO2004090859A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008139730A1 (ja) * | 2007-05-08 | 2008-11-20 | Panasonic Corporation | 表示装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100022833A1 (en) * | 2005-09-09 | 2010-01-28 | Olympus Medical Systems Corp. | Receiving apparatus, monitor apparatus, and intra-subject information acquiring system employing the same |
| US8194148B2 (en) * | 2006-09-14 | 2012-06-05 | Nikon Corporation | Image processing device, electronic camera and image processing program |
| US20160078664A1 (en) | 2013-05-17 | 2016-03-17 | Mitsubishi Electric Corporation | Image synthesizing apparatus and method |
| JP6330816B2 (ja) * | 2013-09-12 | 2018-05-30 | ソニー株式会社 | 符号化装置、送信装置および受信装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5594467A (en) | 1989-12-06 | 1997-01-14 | Video Logic Ltd. | Computer based display system allowing mixing and windowing of graphics and video |
| US5805237A (en) * | 1991-05-20 | 1998-09-08 | Canon Kabushiki Kaisha | Image processing apparatus with a function of superimposing a binary image on another image |
| US5327237A (en) * | 1991-06-14 | 1994-07-05 | Wavephore, Inc. | Transmitting data with video |
| JPH05216465A (ja) | 1992-02-03 | 1993-08-27 | Mitsubishi Electric Corp | 画像表示装置 |
| JPH05244530A (ja) | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | ディスプレイ装置 |
| JP3260913B2 (ja) | 1992-06-01 | 2002-02-25 | セイコーエプソン株式会社 | 画像再生装置 |
| JPH06350937A (ja) * | 1993-06-14 | 1994-12-22 | Pioneer Electron Corp | 画像合成再生装置 |
| JP3128034B2 (ja) | 1993-11-18 | 2001-01-29 | 日本ビクター株式会社 | 画像合成装置 |
| JPH08331472A (ja) | 1995-05-24 | 1996-12-13 | Internatl Business Mach Corp <Ibm> | 共有フレーム・バッファを含むマルチメディア表示装置においてビデオ・データとグラフィック・データの同期をとる方法及び装置 |
| JP3339284B2 (ja) | 1996-01-29 | 2002-10-28 | 三菱電機株式会社 | 大画面表示方式 |
| US6144415A (en) * | 1996-03-07 | 2000-11-07 | Thomson Licensing S.A. | Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image |
| US6147695A (en) * | 1996-03-22 | 2000-11-14 | Silicon Graphics, Inc. | System and method for combining multiple video streams |
| US6046777A (en) * | 1996-09-06 | 2000-04-04 | Thomson Consumer Electronics, Inc. | Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image during freeze frame operation |
| JPH10290395A (ja) | 1997-04-14 | 1998-10-27 | Mitsubishi Electric Corp | 画像合成装置 |
| JP4210724B2 (ja) | 1999-03-23 | 2009-01-21 | 独立行政法人情報通信研究機構 | 字幕番組受信システム |
| US6292225B1 (en) | 1999-05-07 | 2001-09-18 | Sony Corporation | Precision horizontal positioning system |
| US6606127B1 (en) * | 1999-06-10 | 2003-08-12 | Enseo, Inc. | System and method for synchronizing, storing and accurately reproducing video signals |
| JP4541482B2 (ja) * | 2000-02-29 | 2010-09-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2002237791A (ja) | 2000-12-07 | 2002-08-23 | Matsushita Electric Ind Co Ltd | データ放送番組制作システム、データ放送番組制作方法及びデータ放送番組制作プログラム並びにコンピュータ読み取り可能な記録媒体 |
| JP4191911B2 (ja) | 2001-05-09 | 2008-12-03 | 日本放送協会 | 映像音声信号切り替え装置 |
-
2003
- 2003-04-01 JP JP2003098015A patent/JP4161770B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-30 CN CNB200480008764XA patent/CN100550124C/zh not_active Expired - Fee Related
- 2004-03-30 KR KR1020057018692A patent/KR101023453B1/ko not_active IP Right Cessation
- 2004-03-30 US US10/550,314 patent/US7605869B2/en not_active Expired - Fee Related
- 2004-03-30 EP EP04724414A patent/EP1610298A4/en not_active Withdrawn
- 2004-03-30 WO PCT/JP2004/004506 patent/WO2004090859A1/ja active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008139730A1 (ja) * | 2007-05-08 | 2008-11-20 | Panasonic Corporation | 表示装置 |
| US8289345B2 (en) | 2007-05-08 | 2012-10-16 | Panasonic Corporation | Display device |
| JP5108877B2 (ja) * | 2007-05-08 | 2012-12-26 | パナソニック株式会社 | 表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7605869B2 (en) | 2009-10-20 |
| EP1610298A4 (en) | 2010-12-08 |
| WO2004090859A1 (ja) | 2004-10-21 |
| US20060215061A1 (en) | 2006-09-28 |
| CN1768370A (zh) | 2006-05-03 |
| CN100550124C (zh) | 2009-10-14 |
| KR20050115376A (ko) | 2005-12-07 |
| KR101023453B1 (ko) | 2011-03-24 |
| EP1610298A1 (en) | 2005-12-28 |
| JP4161770B2 (ja) | 2008-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7564501B2 (en) | Projection system, projector, method of controlling projectors and program therefor | |
| CN108366283B (zh) | 多设备间的媒体同步播放方法 | |
| JP2007129404A (ja) | カメラシステム | |
| JP4161770B2 (ja) | データ合成装置およびデータ合成方法 | |
| JP3966489B2 (ja) | ゲーム装置 | |
| JP5595028B2 (ja) | 放送受信装置及び方法 | |
| JP2003169271A (ja) | 画像表示装置 | |
| JPS58220588A (ja) | 映像信号処理装置 | |
| WO1999027711A1 (fr) | Appareil de traitement d'images, procede de traitement d'images et recepteur de television | |
| EP3065126B1 (en) | Image processing device, image processing method, and program | |
| US6741794B1 (en) | System and method for flexibly blending multiple image planes in a video device | |
| JP2006250638A (ja) | 時計同期機能付きビデオカメラ | |
| JP3979229B2 (ja) | 映像表示装置及び同期制御プログラム | |
| JP5669456B2 (ja) | 画像表示装置及びその制御方法 | |
| JP2004328188A (ja) | コンテンツ再生装置、コンピュータプログラム、及び記録媒体 | |
| JP2976877B2 (ja) | キーストン歪み補正装置 | |
| CN114785999B (zh) | 一种实时虚拟拍摄同步控制方法及系统 | |
| JP2006352383A (ja) | 中継プログラムおよび中継システム | |
| JP6010373B2 (ja) | サブ情報提示装置、映像提示装置及びプログラム | |
| JP2005275242A (ja) | 映像キャプチャ回路及び映像キャプチャ方法 | |
| JP2001148806A (ja) | 映像合成演算処理装置、その方法及びシステム | |
| TWI390956B (zh) | 影像顯示系統及其播放同步方法 | |
| JP2011109347A (ja) | テレビスタジオマスターシステム | |
| JP2003069892A (ja) | 撮像装置 | |
| JP2011030026A (ja) | 表示制御装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |