JP2010020186A - Image processing apparatus and control method thereof - Google Patents

Image processing apparatus and control method thereof Download PDF

Info

Publication number
JP2010020186A
JP2010020186A JP2008181979A JP2008181979A JP2010020186A JP 2010020186 A JP2010020186 A JP 2010020186A JP 2008181979 A JP2008181979 A JP 2008181979A JP 2008181979 A JP2008181979 A JP 2008181979A JP 2010020186 A JP2010020186 A JP 2010020186A
Authority
JP
Japan
Prior art keywords
graphics
moving image
drawing command
output
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008181979A
Other languages
Japanese (ja)
Other versions
JP5231886B2 (en
Inventor
Kazuki Murakami
和希 村上
Satoru Mamiya
悟 間宮
Atsushi Fujisawa
淳 藤沢
Shuichi Okamura
秀一 岡村
Tatsuya Takechi
辰哉 武市
Atsushi Date
厚 伊達
Takeshi Suzuki
武史 鈴木
Akihiro Takamura
明裕 高村
Toru Nomaguchi
徹 野間口
Shigeru Sakamoto
茂 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008181979A priority Critical patent/JP5231886B2/en
Priority to US12/486,336 priority patent/US8717380B2/en
Publication of JP2010020186A publication Critical patent/JP2010020186A/en
Application granted granted Critical
Publication of JP5231886B2 publication Critical patent/JP5231886B2/en
Priority to US14/217,993 priority patent/US9305327B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of solving such a problem that it is impossible to synchronously display a converted moving image and graphics when two kinds of image processing of moving image conversion and graphics conversion are not ended simultaneously. <P>SOLUTION: In the image processing apparatus and the control method thereof, a drawing command including a moving image drawing command and a graphics drawing command are received and drawing processing is performed. A composition part 209 combines the synchronized graphics which are output according to synchronizing information contained in the drawing command on the basis of the graphics generated by a graphics drawing part 215 with the processed moving image which is generated by conducting a synchronizing moving image drawing command output according to the synchronizing information for a moving image input by a moving image drawing part 207, and outputs the combined graphics with the processed moving image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、グラフィックスと動画データとを入力して合成する画像処理装置及びその制御方法に関するものである。   The present invention relates to an image processing apparatus that inputs and synthesizes graphics and moving image data, and a control method therefor.

動画とグラフィックスとを含む画像を作成して表示するためには、グラフィックスと動画のそれぞれを描画し、これらを合わせて表示する仕組みが必要である。しかし、動画とグラフィックスでは、画像の使用用途、対象となる画像形式により、要求される描画処理の種類が異なる。従って、動画とグラフィックスの画像形成及びそれらを合成して表示するために、動画とグラフィックスの処理系統を分離し、それぞれの処理系統の出力結果を合成して出力することが一般的である。   In order to create and display an image including a moving image and graphics, a mechanism for drawing each of the graphics and the moving image and displaying them together is required. However, for moving images and graphics, the type of rendering processing required differs depending on the intended use of the image and the target image format. Therefore, in order to combine and display moving image and graphics images and display them, it is common to separate the moving image and graphics processing systems and synthesize and output the output results of the respective processing systems. .

特許文献１には、ビデオとグラフィックスとを合成して出力する動画表示装置が記載されており、この方式では、フレームメモリに格納された画像データと動画データとを、その読み出しアドレスを切り替えながら合成して出力している。   Patent Document 1 describes a moving image display device that synthesizes and outputs video and graphics. In this method, image data and moving image data stored in a frame memory are switched while their read addresses are switched. It is synthesized and output.

特許文献２は、ビデオとグラフィックスを重畳して出力するビデオとグラフィックスの重畳表示装置を記載している。この特許文献２では、グラフィックスとビデオとが重なる領域で、グラフィックスとビデオの優先度を選択的に指示することにより、安価にビデオとグラフィックスの重畳表示を実現している。   Japanese Patent Application Laid-Open No. 2004-228561 describes a video and graphics superimposed display device that superimposes and outputs video and graphics. In this patent document 2, video and graphics are superimposed and displayed at low cost by selectively instructing the priority of graphics and video in an area where graphics and video overlap.

また特許文献３は、複数の動画像と、描画した画像とを合わせて再生する動画像再生装置を記載している。この特許文献３では、複数のソフトウェアが動作する環境で、あるソフトウェアによる表示の上に重ねて他のソフトウェアによる表示を行っている。そして、再生すべき動画像の形状設定の指示情報に従ってフレームの画像を描画することにより、非矩形画像の重畳を実現している。   Japanese Patent Application Laid-Open No. 2004-228561 describes a moving image reproduction apparatus that reproduces a plurality of moving images and a drawn image together. In Patent Document 3, in an environment in which a plurality of softwares operate, a display by other software is performed on a display by a certain software. Then, non-rectangular image superimposition is realized by drawing an image of a frame in accordance with instruction information for setting the shape of a moving image to be reproduced.

また特許文献４は、動画と移動オブジェクトの重ね合わせの順番を変えて合成する技術を記載している。この特許文献４では、動画と移動オブジェクトのどちらが前面に表示されるべきかという奥行き値を付与し、奥行き値に基づいて陰面消去を行っている。   Japanese Patent Application Laid-Open No. 2004-228561 describes a technique of combining a moving image and a moving object by changing the order of superposition. In this Patent Document 4, a depth value indicating whether a moving image or a moving object should be displayed in front is given, and hidden surface removal is performed based on the depth value.

また特許文献５は、異なる解像度の動画像とグラフィックとを解像度変換して合成する画像表示装置を記載している。この特許文献５では、動画像とグラフィックを合成する前に、動画像変換手段、及びグラフィック変換手段により、それぞれ独立に解像度変換を行っている。   Patent Document 5 describes an image display device that combines resolution-converted moving images and graphics with different resolutions. In this Patent Document 5, before a moving image and a graphic are synthesized, resolution conversion is independently performed by a moving image conversion unit and a graphic conversion unit.

更に特許文献６は、ビデオとグラフィックスとを半透明状態で重ねて表示する画像処理装置を記載している。この特許文献６では、画素ごとに持っているビデオの表示、半透明状態の表示、画像の表示状態に基づいて、画像の構成要素の部品とビデオデータの表示とを指示している。
特開平０７−０７２８５０号公報 特開平１０−０２０８５０号公報 特開２００２−２２９７６７号公報 特開２００１−１８４５２３号公報 特開２００３−３３８９９１号公報 特開２００２−２２２４２８号公報 Further, Patent Document 6 describes an image processing apparatus that displays video and graphics superimposed in a semi-transparent state. In Japanese Patent Laid-Open No. 2004-260688, the display of video components, the display of a semi-transparent state, and the display state of an image are instructed to display component parts of an image and display of video data.
Japanese Patent Laid-Open No. 07-072850 Japanese Patent Laid-Open No. 10-020850 JP 2002-229767 A JP 2001-184523 A JP 2003-338991 A JP 2002-222428 A

動画とグラフィックスとを含む画像を表示する場合、グラフィックスで描いた枠の中に動画を表示する場合には、グラフィックスと動画とを同期させて表示しなければならない。しかしながら、動画とグラフィックスとの処理系統を分離した画像表示装置では、動画とグラフィックスそれぞれの処理が完了する時間を同期させることができない。このため、グラフィックスと動画のフレームを１：１に関連付けることができないという課題があった。   When displaying an image including a moving image and graphics, when displaying a moving image in a frame drawn with graphics, the graphic and the moving image must be displayed in synchronization. However, in an image display device in which the processing system for moving images and graphics is separated, it is not possible to synchronize the time for completing the processing of each of the moving images and the graphics. For this reason, there was a problem that the graphics and the frame of the moving image could not be associated with 1: 1.

この点に関して特許文献１の動画表示装置は、フレームメモリのアドレス管理情報切替手段を用いて合成の位置のみを指示している。従って、合成対象となる動画データと、画像データの位置は指定できるが、特定の動画データのフレームと、特定の静止画データのフレームとを合成するがきでない。また特許文献２の描画回路は、ビデオとグラフィックスの識別ビットを、描画回路にのみ接続されるグラフィックス識別回路と、ビデオ画素生成回路にのみ接続されるビデオ識別回路で独立に生成している。従って、描画回路とビデオ画素回路の処理時間の同期を取ることはできない。また特許文献３の動画像再生方法では、動画像のフレーム毎に、ウィンドウシステムを用いて動画像の形状情報の設定と、フレーム画像を描画する描画部の制御を行っている。従って、フレーム毎にウィンドウシステムのオーバヘッドが発生して動画像の再生速度が制限される。また描画部と、形状設定部それぞれでの画像処理の完了時間が一致しない場合には形状設定情報と描画結果の同期表示ができなくなる。   In this regard, the moving image display apparatus disclosed in Patent Document 1 uses the address management information switching unit of the frame memory to instruct only the composition position. Therefore, although the moving image data to be combined and the position of the image data can be specified, it is not a way to combine the specific moving image data frame and the specific still image data frame. In the drawing circuit of Patent Document 2, video and graphics identification bits are independently generated by a graphics identification circuit connected only to the drawing circuit and a video identification circuit connected only to the video pixel generation circuit. . Therefore, the processing time of the drawing circuit and the video pixel circuit cannot be synchronized. In the moving image reproduction method of Patent Document 3, setting of moving image shape information and control of a drawing unit for drawing a frame image are performed using a window system for each frame of the moving image. Therefore, the overhead of the window system is generated for each frame, and the playback speed of moving images is limited. In addition, if the completion times of image processing in the drawing unit and the shape setting unit do not match, the shape setting information and the drawing result cannot be displayed synchronously.

また特許文献４の画像生成システムでは、ムービデータの最終フレーム以外のフレームで、移動オブジェクトとムービデータを合成する場合、移動オブジェクトの移動処理の時間を考慮していない。このため、動作中のムービデータと、移動処理後のオブジェクトとを合成すると、経路情報を指示したビデオフレームと、合成される移動オブジェクトがずれてしまうとう問題がある。また特許文献５の画像表示装置では、グラフィック変換手段と、動画像変換手段がそれぞれ独立に変換処理を行い、その結果を合成して表示している。従って、動画像変換手段と、グラフィック変換手段の画像処理が同時に完了しない場合には、変換済みの動画像とグラフィックとを同期して表示することができなくなる。更に特許文献６の画像表示装置では、設定手段を用いて半透明状態で合成すべき部品の画像とビデオの重ね合わせを指示している。この特許文献６でも、部品の画像とビデオの処理時間が常に同一レイテンシで完了しない場合には、部品画像とビデオとを同期させて合成表示することができない。   In the image generation system of Patent Document 4, when a moving object and movie data are combined in a frame other than the final frame of the movie data, the time for moving the moving object is not taken into consideration. For this reason, there is a problem that when the moving movie data and the object after the movement process are combined, the video frame instructing the route information is shifted from the combined moving object. In the image display device of Patent Document 5, the graphic conversion means and the moving image conversion means independently perform conversion processing, and the results are combined and displayed. Therefore, when the image processing of the moving image conversion unit and the graphic conversion unit is not completed at the same time, the converted moving image and the graphic cannot be displayed in synchronization. Further, in the image display device of Patent Document 6, the setting unit is used to instruct the superimposition of the image of the component to be synthesized in a translucent state and the video. Even in this Patent Document 6, if the processing time of the part image and the video is not always completed with the same latency, the part image and the video cannot be synthesized and displayed in synchronization.

本発明の目的は、上記従来技術の問題点を解決することにある。   An object of the present invention is to solve the above-mentioned problems of the prior art.

本願発明の一態様によれば、グラフィックスと動画の同期表示を可能にした画像処理装置とその制御方法を提供できる。   According to one aspect of the present invention, it is possible to provide an image processing apparatus that enables synchronous display of graphics and moving images and a control method thereof.

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to an aspect of the present invention has the following arrangement. That is,
An image processing apparatus that receives a drawing command including a moving image drawing command and a graphics drawing command and performs a drawing process,
A graphics drawing means for generating a video drawing command, a graphics drawing command and synchronization information from the drawing command, and executing the graphics drawing command to output graphics;
Graphics holding means for holding graphics as a drawing result by the graphics drawing means;
Moving image drawing command holding means for receiving and holding the moving image drawing command generated by the graphics drawing means;
In accordance with the synchronization information output from the graphics drawing unit, a moving image drawing command output unit that outputs a synchronous moving image drawing command from the moving image drawing command held in the moving image drawing command holding unit;
A moving image rendering means for executing the synchronized moving image rendering command for an input moving image and outputting a processed moving image;
Graphics output means for outputting synchronized graphics from the graphics holding means in accordance with the synchronization information output from the graphics drawing means;
Combining means for combining the synchronized graphics output from the graphics output means and the processed moving image output from the moving image rendering means;
It is characterized by having.

上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする。 In order to achieve the above object, a method for controlling an image processing apparatus according to an aspect of the present invention includes the following steps. That is,
A control method of an image processing apparatus that receives a drawing command including a moving image drawing command and a graphics drawing command and performs a drawing process,
A graphics drawing step of generating a video drawing command, a graphics drawing command and synchronization information from the drawing command, executing the graphics drawing command and outputting graphics;
A graphics holding step for holding graphics which is a drawing result in the graphics drawing step;
A moving image drawing command holding step for receiving and holding the moving image drawing command generated in the graphics drawing step;
In accordance with the synchronization information output by the graphics drawing step, a moving image drawing command output step of outputting a synchronous moving image drawing command from the moving image drawing command held in the moving image drawing command holding step;
A video rendering step for executing the synchronous video rendering command for the input video and outputting a processed video;
A graphics output step of outputting synchronized graphics from the graphics held in the graphics holding step according to the synchronization information output by the graphics drawing step;
Synthesizing the synchronized graphics output in the graphics output step and the processed video output in the video rendering step;
It is characterized by having.

本発明によれば、グラフィックスと動画の同期表示が可能となるという効果がある。   According to the present invention, there is an effect that synchronous display of graphics and moving images becomes possible.

以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the present invention according to the claims, and all combinations of features described in the embodiments are not necessarily essential to the solution means of the present invention. .

図１は、本発明の実施形態に係る画像処理装置１０６を有する画像処理システム１１１の構成を説明するブロック図である。   FIG. 1 is a block diagram illustrating the configuration of an image processing system 111 having an image processing apparatus 106 according to an embodiment of the present invention.

この画像処理システム１１１は、アプリケーション１０１、制御ソフトウェア１０２、画像処理装置１０６及び画像デコーダ１０５を有している。制御ソフトウェア１０２は、アプリケーション１０１が生成するドキュメントを、ドキュメントパス１１２を介して受け取って画像処理装置１０６に渡す。ここで、このドキュメントは、画像の描画指示及びＵＲＩ情報に代表される、外部ドキュメントの参照情報を含む。画像ソース１０８は、画像ソース入力パス１０９を介して入力される。この画像ソース入力パス１０９は、物理的に一つであっても複数であってもよい。また物理的に一つの画像ソース入力パス１０９を時分割で使用して、複数の画像ソースを入力できるように構成しても良い。   The image processing system 111 includes an application 101, control software 102, an image processing device 106, and an image decoder 105. The control software 102 receives a document generated by the application 101 via the document path 112 and passes it to the image processing apparatus 106. Here, this document includes reference information of an external document represented by an image drawing instruction and URI information. The image source 108 is input via an image source input path 109. The image source input path 109 may be physically one or plural. Alternatively, a configuration may be adopted in which a plurality of image sources can be input by using one physical image source input path 109 in a time-sharing manner.

次に制御ソフトウェア１０２が行う動画入力処理について説明する。   Next, the moving image input process performed by the control software 102 will be described.

制御ソフトウェア１０２は、動画入力処理として、ドキュメントに含まれる外部ドキュメントの参照情報を抽出して解析する。そして制御バス１０４を介して画像デコーダ１０５に、画像ソース１０８が格納されている場所、画像ソース１０８の形式を指示する。更に、画像デコーダ１０５が画像データを出力するための動画パス１０７の情報及び画像ソース１０８をダウンロードする入力パス１０９を画像デコーダ１０５に指示する。いま画像ソース１０８が複数である場合、制御ソフトウェア１０２は、合成出力１１７の表示に必要な全ての画像ソース１０８に対して動画を入力するように画像デコーダ１０５に指示する。尚、画像デコーダ１０５が出力する動画パス１０７は、一つであっても複数であってもよい。   The control software 102 extracts and analyzes reference information of an external document included in the document as moving image input processing. Then, it instructs the image decoder 105 via the control bus 104 where the image source 108 is stored and the format of the image source 108. Further, the image decoder 105 instructs the image decoder 105 to input information 109 on the moving image path 107 for outputting image data and an input path 109 for downloading the image source 108. If there are a plurality of image sources 108, the control software 102 instructs the image decoder 105 to input moving images to all the image sources 108 necessary for displaying the composite output 117. The moving image path 107 output from the image decoder 105 may be one or plural.

画像デコーダ１０５は、画像ソース１０８が圧縮画像である場合に、その画像ソース１０８をデコード（伸張）して動画パス１０７に出力する。一方、画像ソース１０８が非圧縮画像の場合は、画像デコーダは画像ソース１０８を、デコード処理を行わずに制御ソフトウェア１０２によって指示された動画パス１０７に出力する。制御ソフトウェア１０２は、アプリケーション１０１から受信したドキュメントに含まれる外部ドキュメントの参照情報を動画パス１０７の情報と置換する。また画像処理装置１０６は、そのドキュメントに含まれる外部ドキュメントの参照情報を、上記処理によって動画パス１０７の情報と置換済みとすることによって生成した描画命令を用いる。   When the image source 108 is a compressed image, the image decoder 105 decodes (decompresses) the image source 108 and outputs it to the moving image path 107. On the other hand, when the image source 108 is an uncompressed image, the image decoder outputs the image source 108 to the moving image path 107 designated by the control software 102 without performing the decoding process. The control software 102 replaces the reference information of the external document included in the document received from the application 101 with the information of the moving image path 107. Further, the image processing apparatus 106 uses a drawing command generated by replacing the reference information of the external document included in the document with the information of the moving image path 107 by the above processing.

図２は、本発明の実施形態に係る画像処理装置１０６の機能構成を説明する機能ブロック図である。尚、図２において、図１と共通する部分は同じ記号で示し、それらの説明を省略する。   FIG. 2 is a functional block diagram illustrating a functional configuration of the image processing apparatus 106 according to the embodiment of the present invention. 2 that are the same as those in FIG. 1 are denoted by the same symbols, and descriptions thereof are omitted.

この画像処理装置１０６は、描画命令パス１０３、動画パス１０７を介して、それぞれ描画命令、動画を受け取り、これらを合成した合成出力１１７を生成する。ここで描画命令は、動画描画命令及びグラフィックス描画命令とを含み、ＳＶＧやフラッシュメモリ等に代表されるアニメーショングラフィックス、及び動画の表示が可能な描画命令である。描画命令は、グラフィックス描画タグと、動画タグとを含んでいる。   The image processing apparatus 106 receives a drawing command and a moving image via the drawing command path 103 and the moving image path 107, respectively, and generates a combined output 117 obtained by combining them. Here, the drawing command includes a moving image drawing command and a graphics drawing command, and is a drawing command capable of displaying animation graphics and moving images represented by SVG, flash memory, and the like. The drawing command includes a graphics drawing tag and a moving image tag.

グラフィックス描画タグは、テキスト、基本図形、パス情報、リンク情報、アニメーション指示、画面の更新指示等を行うグラフィックス描画タグと、各グラフィック要素の描画指示において描画時に必要となるパラメータ群を含んでいる。これらのグラフィックス描画タグ、及びグラフィック要素の描画指示と、その描画指示に必要となるパラメータ群の関連付けは、一般的技術として公知であるため、ここでは詳述しない。   The graphics drawing tag includes a graphics drawing tag for performing text, basic figure, path information, link information, animation instruction, screen update instruction, and the like, and a parameter group necessary for drawing in the drawing instruction of each graphic element. Yes. Since the graphic drawing tag and the graphic element drawing instruction and the parameter group necessary for the drawing instruction are known as general techniques, they are not described in detail here.

また動画タグは、動画の基点座標情報、サイズ情報、動画に適用する動画描画指示情報、画像処理装置１０６に非圧縮の動画ストリームを入力する際に使用する動画パス１０７の指示情報を含んでいる。この他に、後述する動画描画処理において必要となる動画のプロパティを動画タグに含めてもよい。例えば、画像処理装置１０６で動画の色変換を行う場合、動画の色空間情報を付与しても良い。尚、ここで動画は、テレビ放送やビデオ入力信号をデコードした非圧縮のデータである。一般的には、動画の形状は矩形であるが、入力動画の形状は本発明を制限するものではない。   The moving image tag includes moving image base coordinate information, size information, moving image drawing instruction information applied to the moving image, and moving image path 107 instruction information used when an uncompressed moving image stream is input to the image processing apparatus 106. . In addition, you may include the moving image property required in the moving image drawing process mentioned later in a moving image tag. For example, when the image processing apparatus 106 performs color conversion of a moving image, color space information of the moving image may be added. Here, the moving image is uncompressed data obtained by decoding a television broadcast or a video input signal. In general, the shape of the moving image is rectangular, but the shape of the input moving image does not limit the present invention.

合成出力１１７は、グラフィックスと動画とを合成した結果である。合成出力１１７はラスタフォーマットの色情報を持つ。   The combined output 117 is a result of combining graphics and moving images. The composite output 117 has raster format color information.

本実施形態に係る画像処理装置１０６は、グラフィックス描画部２１５、動画描画命令保持部２０３、動画描画命令出力部２０４、グラフィックス保持部２１１、グラフィックス出力部２１２、動画描画部２０７及び合成部２０９を有する。   The image processing apparatus 106 according to the present embodiment includes a graphics drawing unit 215, a moving image drawing command holding unit 203, a moving image drawing command output unit 204, a graphics holding unit 211, a graphics output unit 212, a moving image drawing unit 207, and a combining unit. 209.

次に、以上の構成を有する画像処理装置１０６による処理について説明する。   Next, processing by the image processing apparatus 106 having the above configuration will be described.

グラフィックス描画部２１５は、描画命令パス１０３を介して描画命令を受け取り、動画描画命令パス２０２、同期情報パス２１４及びグラフィックスパス２１３にそれぞれ動画描画命令、同期情報、及び描画したグラフィックスを出力する。尚、以下の説明では、描画した結果であるグラフィックスを単にグラフィックスと呼ぶこととする。   The graphics drawing unit 215 receives a drawing command via the drawing command path 103, and outputs the moving picture drawing command, the synchronization information, and the drawn graphics to the moving picture drawing command path 202, the synchronization information path 214, and the graphics path 213, respectively. . In the following description, graphics that are the result of drawing are simply referred to as graphics.

次に、グラフィックス描画部２１５が、描画命令として入力したグラフィックス描画タグと動画タグより、動画描画命令パス２０２及びグラフィックスパス２１３に出力する動画描画命令及びグラフィックスを生成する手順を説明する。２０５は動画描画部２０７に動画描画命令を供給する同期動画描画命令パス、２０８は動画描画部２０７で描画された動画を合成部２０９に供給する処理済動画パスである。同期済みグラフィックスパス２１０は、動画に同期してグラフィックス出力部２１２から合成部２０９にグラフィックスを供給するパスである。   Next, a procedure in which the graphics drawing unit 215 generates a moving image drawing command and graphics to be output to the moving image drawing command path 202 and the graphics path 213 from the graphics drawing tag and the moving image tag input as a drawing command will be described. Reference numeral 205 denotes a synchronous moving image drawing command path for supplying a moving image drawing command to the moving image drawing unit 207, and 208 denotes a processed moving image path for supplying the moving image drawn by the moving image drawing unit 207 to the synthesizing unit 209. The synchronized graphics path 210 is a path for supplying graphics from the graphics output unit 212 to the synthesizing unit 209 in synchronization with the moving image.

図３は、本実施形態に係る画像処理装置１０６のグラフィックス描画部２１５による処理を説明するフローチャートである。ここでは描画命令を入力し、その描画命令からグラフィックスと動画描画命令を生成する手順を示している。   FIG. 3 is a flowchart for explaining processing by the graphics drawing unit 215 of the image processing apparatus 106 according to the present embodiment. Here, a procedure for inputting a drawing command and generating a graphics and a moving image drawing command from the drawing command is shown.

この処理は描画命令パス１０３を介して描画命令を受け取ることにより開始され、先ずステップＳ１で、その描画命令のグラフィックス描画タグが有効な描画タグであるかを判定し、そうであればステップＳ９に進む。ステップＳ９では、そのグラフィックス描画タグが画面更新指示であるか否かを判定する。ここで画面更新指示でなかった場合はステップＳ１０に進み、指示されたグラフィックオブジェクトの描画を行い、その生成したグラフィックスをグラフィックスパス２１３に出力する。そしてステップＳ７に進む。尚、ここでのグラフィックスの描画は、ペインタアルゴリズム等の既知の方法を用いてよい。   This process is started by receiving a drawing command via the drawing command path 103. First, in step S1, it is determined whether the graphics drawing tag of the drawing command is a valid drawing tag, and if so, step S9. Proceed to In step S9, it is determined whether or not the graphics drawing tag is a screen update instruction. If the instruction is not a screen update instruction, the process proceeds to step S 10, where the instructed graphic object is drawn, and the generated graphics is output to the graphics path 213. Then, the process proceeds to step S7. Note that the graphics drawing here may use a known method such as a painter algorithm.

図４は、本実施形態に係るグラフィックス描画部２１５が生成したグラフィックスの一例を示す図である。   FIG. 4 is a diagram illustrating an example of graphics generated by the graphics drawing unit 215 according to the present embodiment.

グラフィックス４０１は、グラフィックスの色を示す色情報４０２、グラフィックスの透過度を示すグラフィック透過度４０３、動画の表示領域を示す動画マスク４０４、動画のデフォルト透過度を示す動画透過度４０５を含んでいる。更に、このグラフィックスの画素に動画の表示が必要か否かを示す動画フラグ４０６を有している。   The graphics 401 includes color information 402 indicating the color of the graphics, graphic transparency 403 indicating the transparency of the graphics, a moving image mask 404 indicating the moving image display area, and a moving image transparency 405 indicating the default transparency of the moving image. It is out. Furthermore, a moving image flag 406 indicating whether or not it is necessary to display a moving image on the graphics pixel is provided.

一方ステップＳ９で、描画タグが画面更新指示であった場合はステップＳ１１に進み、グラフィックス描画部２１５は、グラフィックス出力部２１２及び動画描画命令出力部２０４に対して出力設定を行う。尚、この画面更新指示は、１フレームの出力終了時、或はフレーム内の部分領域の描画が終了した時点で発行するようにしてよい。   On the other hand, if it is determined in step S9 that the drawing tag is a screen update instruction, the process advances to step S11, and the graphics drawing unit 215 performs output settings for the graphics output unit 212 and the moving image drawing command output unit 204. This screen update instruction may be issued when the output of one frame is completed, or when the drawing of the partial area in the frame is completed.

このステップＳ１１の処理の詳細は以下の如くである。   Details of the processing in step S11 are as follows.

グラフィックス描画部２１５は、グラフィックス出力部２１２に対して、グラフィックス保持部２１１に格納したグラフィックスのサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理以降に描画された一連のグラフィックスが格納されているグラフィックス保持部２１１の領域を示すアドレス情報を指定する。但し、グラフィックス保持部２１１をレジスタで構成する場合は、このアドレス情報を指定する必要はない。   The graphics drawing unit 215 specifies the size of the graphics stored in the graphics holding unit 211 for the graphics output unit 212. Further, address information indicating an area of the graphics holding unit 211 in which a series of graphics drawn after the previous processing of step S12 or the drawing processing of step S10 is stored is designated. However, when the graphics holding unit 211 is configured by a register, it is not necessary to specify this address information.

またグラフィックス描画部２１５は、動画描画命令出力部２０４に対して、動画描画命令保持部２０３に格納した動画描画命令のサイズを指定する。更に、前回のステップＳ１２の処理又はステップＳ１０の描画処理により生成された動画描画命令が格納されている動画描画命令保持部２０３の領域を示すアドレス情報を指定する。但し、動画描画命令保持部２０３をレジスタで構成する場合は、このアドレス情報を指定する必要はない。   In addition, the graphics drawing unit 215 specifies the size of the moving image drawing command stored in the moving image drawing command holding unit 203 to the moving image drawing command output unit 204. Furthermore, address information indicating the area of the moving image drawing command holding unit 203 in which the moving image drawing command generated by the previous processing in step S12 or the drawing processing in step S10 is stored is designated. However, when the moving image drawing command holding unit 203 is configured by a register, it is not necessary to specify this address information.

そしてステップＳ１１からステップＳ１２に進み、グラフィックス描画部２１５は同期情報パス２１４を介して同期情報をグラフィックス出力部２１２と動画描画命令出力部２０４とに出力する。   Then, the process proceeds from step S11 to step S12, and the graphics drawing unit 215 outputs the synchronization information to the graphics output unit 212 and the moving image drawing command output unit 204 via the synchronization information path 214.

図５（Ａ）は、グラフィックス描画部２１５に同期情報設定レジスタを持たせ、同期情報パス２１４を用いて同期情報を送出する場合の同期情報の一例を示す図である。   FIG. 5A is a diagram illustrating an example of synchronization information when the graphics drawing unit 215 has a synchronization information setting register and sends synchronization information using the synchronization information path 214.

この同期情報５０１は、グラフィックス出力部２１２に同期を指示するためのグラフィックス同期情報５０２、動画描画命令出力部２０４に同期を指示するための動画同期情報５０３を含んでいる。いま動画パス１０７の数を複数とし、複数の動画描画部２０７を用いる場合は、複数の動画パス１０７のそれぞれに対応するように動画同期情報のフィールドを増やせば良い。   The synchronization information 501 includes graphics synchronization information 502 for instructing the graphics output unit 212 to synchronize, and moving image synchronization information 503 for instructing the animation drawing command output unit 204 to synchronize. If there are a plurality of moving image paths 107 and a plurality of moving image drawing units 207 are used, the number of moving image synchronization information fields may be increased to correspond to each of the plurality of moving image paths 107.

図５（Ｂ）は、動画パス１０７を２本にした場合に用いる同期情報の一例を示す図である。図５（Ｂ）では、図５（Ａ）に示すグラフィックス同期情報５０２、動画同期情報５０３に加えて、動画２同期情報５０５が含まれている。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５は、それぞれ独立にセットしてよい。尚、これらグラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５はそれぞれ１ビットのデータである。尚、ここでグラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５
本実施形態では、グラフィックスパス２１３に出力するグラフィックスと、一つ以上の動画パス１０７とをそれぞれ独立に制御するため、グラフィックス同期情報５０２、動画同期情報５０３及び動画２同期情報５０５を持つ同期情報を用いる。しかし、同期済グラフィックスと、同期済動画描画命令を常に同時に出力するだけでよい場合は、グラフィックス同期情報５０２、動画同期情報５０３、動画２同期情報５０５をまとめて一つの同期情報としてもよい。 FIG. 5B is a diagram illustrating an example of synchronization information used when the number of moving image paths 107 is two. 5B includes moving image 2 synchronization information 505 in addition to the graphics synchronization information 502 and moving image synchronization information 503 shown in FIG. 5A. Here, the graphics synchronization information 502, the moving image synchronization information 503, and the moving image 2 synchronization information 505 may be set independently. The graphics synchronization information 502, the moving image synchronization information 503, and the moving image 2 synchronization information 505 are each 1-bit data. Here, the graphics synchronization information 502, the video synchronization information 503, and the video 2 synchronization information 505 are here.
In the present embodiment, in order to control independently the graphics output to the graphics path 213 and one or more moving image paths 107, synchronization having graphics synchronization information 502, moving image synchronization information 503, and moving image 2 synchronization information 505 is performed. Use information. However, if it is only necessary to always output the synchronized graphics and the synchronized moving image rendering command at the same time, the graphics synchronization information 502, the moving image synchronization information 503, and the moving image 2 synchronization information 505 may be combined into one synchronization information. .

本実施形態では、グラフィックス描画部２１５内のレジスタにデータを設定することによって同期情報を発行する例で説明する。しかし、動画描画命令パス２０２及びグラフィックスパス２１３のそれぞれに、グラフィックス同期情報５０２、動画同期情報５０３を送出する機構を、グラフィックス描画部２１５内の他の部分のハードウェア或はソフトウェアにより実現してもよい。   In this embodiment, an example in which synchronization information is issued by setting data in a register in the graphics drawing unit 215 will be described. However, the mechanism for sending the graphics synchronization information 502 and the movie synchronization information 503 to each of the movie drawing command path 202 and the graphics path 213 is realized by hardware or software of other parts in the graphics drawing unit 215. May be.

またグラフィックス描画部２１５は、図５に示す同期情報を同期情報パス２１４に出力することにより合成部２０９に入力する処理済動画、及び同期済グラフィックスの更新を指示する。この同期情報は一般的に、描画命令パス１０３から入力された描画命令に基づいて、１フレーム分の描画が完了した時点で発行される。また１フレーム内の特定の部分を、１フレームの描画を完了する前に更新する場合は、更新すべき部分に存在する全ての描画命令の処理が終了した時点で同期情報を発行すればよい。そしてグラフィックス出力部２１２と動画描画命令出力部２０４のいずれか、又は両方の更新を指示してよい。   Further, the graphics drawing unit 215 instructs to update the processed moving image and the synchronized graphics input to the synthesis unit 209 by outputting the synchronization information illustrated in FIG. 5 to the synchronization information path 214. This synchronization information is generally issued when drawing for one frame is completed based on a drawing command input from the drawing command path 103. When a specific part in one frame is updated before drawing of one frame is completed, the synchronization information may be issued when processing of all the drawing commands existing in the part to be updated is completed. Then, updating of either or both of the graphics output unit 212 and the moving image drawing command output unit 204 may be instructed.

再び図３のフローチャートに戻って、動画タグの処理について説明する。   Returning to the flowchart of FIG. 3 again, the moving image tag processing will be described.

ステップＳ１で有効な描画タグでない場合はステップＳ２に進み、グラフィックス描画部２１５は、有効な動画タグであるか否かを判定する。ここで有効な動画タグであると判定するとステップＳ３に進み、動画ハンドルを生成する。尚、ステップＳ２で有効な動画タグでないと判定するとステップＳ８に進み、エラー処理を実行する。   If the drawing tag is not valid in step S1, the process proceeds to step S2, and the graphics drawing unit 215 determines whether or not the drawing tag is valid. If it is determined here that the video tag is valid, the process proceeds to step S3 to generate a video handle. If it is determined in step S2 that the moving image tag is not valid, the process proceeds to step S8 to execute error processing.

本実施形態では、動画ハンドルは、動画の幅、高さ、画質情報、動画のデフォルト透過度を指定して作成する。尚、動画ハンドルに渡すパラメータの種類は、本実施形態に限定されない。また本実施形態では、この他に動画ハンドルとグラフィックスのZ-orderとを描画順序によって規定するが、明示的に動画ハンドルでZ-orderを指示してもよい。   In the present embodiment, the moving image handle is created by designating the moving image width, height, image quality information, and moving image default transparency. Note that the type of parameter passed to the moving image handle is not limited to this embodiment. In addition, in the present embodiment, the moving image handle and the graphics Z-order are defined in addition to the drawing order, but the Z-order may be explicitly specified by the moving image handle.

尚、ここで画質情報は、動画再生時に画質、速度のどちらを優先するかを決定する品質情報を含む。また動画のデフォルト透過度は、透過度を持たない動画に対する透過度を指定する。尚、画像処理装置１０６に入力される動画が透過度を持つ場合、最終出力には動画が持つ透過度を用いてよい。   Here, the image quality information includes quality information for determining which of image quality and speed is prioritized during moving image reproduction. In addition, the default transparency of the moving image specifies the transparency with respect to the moving image having no transparency. When the moving image input to the image processing apparatus 106 has transparency, the transparency of the moving image may be used as the final output.

ステップＳ３の次はステップＳ４に進み、グラフィックス描画部２１５は、ステップＳ３で生成した動画ハンドルと動画パス１０７との対応付けを行う。次にステップＳ５に進み、グラフィックス描画部２１５は、ステップＳ４で動画パス１０７との対応付けを行った動画ハンドルに基づいて動画描画命令を生成する。この動画描画命令の生成とは、動画描画命令の生成対象となる動画ハンドルを指定し、動画の回転、変倍、移動、マスキング、クリッピング、合成、台形変換、色変換、フィルタ処理及び動画再生の処理指示、及びその処理に必要なパラメータ群を指定することである。これらの設定値は、動画描画命令として動画描画命令パス２０２を介して動画描画命令保持部２０３に出力される。   After step S3, the process proceeds to step S4, and the graphics drawing unit 215 associates the moving image handle generated in step S3 with the moving image path 107. In step S5, the graphics drawing unit 215 generates a moving image drawing command based on the moving image handle that is associated with the moving image path 107 in step S4. This movie drawing command generation specifies the movie handle for which the movie drawing command is generated, and the rotation, scaling, movement, masking, clipping, composition, trapezoid conversion, color conversion, filter processing, and movie playback of the movie are specified. A process instruction and a parameter group necessary for the process are designated. These set values are output as a moving image drawing command to the moving image drawing command holding unit 203 via the moving image drawing command path 202.

本実施形態では、回転、変倍等は、アフィン変換の行列要素を指定することにより指定できる。また色変換は、色変換行列を指定することにより得られる。またフィルタ処理では、フィルタの種類、マスキングではマスクパターンの指示、ＬＵＴの設定等を含んでいる。これらの動画描画指示及び動画ハンドルの描画指示と、その描画指示に必要となるパラメータ群との関連付けは、一般的技術として公知であるためここでは詳述しない。尚、本実施形態に係る動画描画命令の生成時に指定する具体的な動画処理とそのパラメータ群、及びその関連付けは、本発明を制限するものではない。   In the present embodiment, rotation, scaling, etc. can be specified by specifying matrix elements for affine transformation. Color conversion is obtained by designating a color conversion matrix. The filter process includes a filter type, and masking includes a mask pattern instruction and LUT setting. The association between the moving picture drawing instruction and the moving picture handle drawing instruction and the parameter group necessary for the drawing instruction is well-known as a general technique and will not be described in detail here. It should be noted that the specific moving image processing, the parameter group, and the association thereof specified when generating the moving image drawing command according to the present embodiment do not limit the present invention.

次にステップＳ６に進み、グラフィックス描画部２１５は、動画パス１０７から入力される動画が表示される領域をグラフィックスパス２１３に出力する。またグラフィックス描画部２１５は、動画の存在する領域に動画フラグ４０６（図４）をセットし、動画描画命令によって指示された動画のデフォルト透過度を動画透過度４０５（図４）に設定する。またステップＳ５でマスキング処理がされている場合には、そのマスク値を動画マスク４０４に設定する。   In step S6, the graphics drawing unit 215 outputs an area in which the moving image input from the moving image path 107 is displayed to the graphics path 213. Further, the graphics drawing unit 215 sets the moving image flag 406 (FIG. 4) in the area where the moving image exists, and sets the default transparency of the moving image designated by the moving image drawing command to the moving image transparency 405 (FIG. 4). If the masking process is performed in step S5, the mask value is set in the moving image mask 404.

こうしてステップＳ６の動画タグの処理、或はステップＳ１０，Ｓ１２の描画タグの処理が終了するとステップＳ７に進み、グラフィックス描画部２１５は、描画処理が完了したか否かを判定する。ここで描画が完了したと判定した場合は処理を終了するが、描画が完了していないと判定した場合はステップＳ１に戻って、描画処理を継続する。   When the moving image tag processing in step S6 or the drawing tag processing in steps S10 and S12 is completed in this way, the process proceeds to step S7, and the graphics drawing unit 215 determines whether or not the drawing processing is completed. If it is determined that the drawing has been completed, the process ends. If it is determined that the drawing has not been completed, the process returns to step S1 to continue the drawing process.

動画描画命令保持部２０３は、動画描画命令パス２０２を介して入力した動画描画命令を保持する。この動画描画命令保持部２０３は、共有メモリで構成しても、専用メモリ或はレジスタで構成してもよい。また複数バッファで構成しても、シングルバッファで構成してもよい。   The moving picture drawing command holding unit 203 holds a moving picture drawing command input via the moving picture drawing command path 202. The moving image drawing command holding unit 203 may be configured by a shared memory, a dedicated memory, or a register. Further, it may be composed of a plurality of buffers or a single buffer.

動画描画命令保持部２０３に動画描画命令が格納されている状態で、同期情報パス２１４を介して図５に示す同期情報が入力されると、動画描画命令の同期を指示する動画同期情報５０３及び動画２同期情報５０５が設定されているか否かを判定する。動画同期５０３が設定されていると、動画描画命令出力部２０４は、動画描画命令保持部２０３に保持されている動画描画命令を同期動画描画命令パス２０５に出力する。   When the synchronization information shown in FIG. 5 is input via the synchronization information path 214 in a state where the animation drawing command is stored in the animation drawing command holding unit 203, the animation synchronization information 503 for instructing the synchronization of the animation drawing command and It is determined whether the moving picture 2 synchronization information 505 is set. When the moving image synchronization 503 is set, the moving image drawing command output unit 204 outputs the moving image drawing command held in the moving image drawing command holding unit 203 to the synchronous moving image drawing command path 205.

次に動画描画部２０７の動作を説明する。この動画描画部２０７は、動画パス１０７から受け取った動画に、同期動画描画命令パス２０５を介して入力される動画描画命令によって指示される動画の描画処理を行う。動画描画部２０７は、こうして処理した処理済みの動画を処理済動画パス２０８に出力する。   Next, the operation of the moving picture drawing unit 207 will be described. The moving image drawing unit 207 performs a moving image drawing process instructed by a moving image drawing command input via the synchronous moving image drawing command path 205 on the moving image received from the moving image path 107. The moving image drawing unit 207 outputs the processed moving image thus processed to the processed moving image path 208.

次にグラフィックス保持部２１１の動作を説明する。グラフィックス保持部２１１は、グラフィックスパス２１３を介して入力されるグラフィックスを保持する。グラフィックス保持部２１１は、共有メモリで構成しても、専用メモリ、或はレジスタで構成してもよい。また、複数バッファで構成しても、シングルバッファで構成してもよい。   Next, the operation of the graphics holding unit 211 will be described. The graphics holding unit 211 holds graphics input via the graphics path 213. The graphics holding unit 211 may be configured with a shared memory, a dedicated memory, or a register. Further, it may be composed of a plurality of buffers or a single buffer.

グラフィックス出力部２１２は、同期情報パス２１４を介してより同期情報を入力すると、その同期情報にグラフィックスの同期を指示するグラフィックス同期情報５０２がセットされているか否かを判定する。このグラフィックス同期情報５０２がセットされている場合は、グラフィックス保持部２１１に保持されているグラフィックスを、同期済グラフィックスとして同期済みグラフィックスパス２１０に出力する。   When more synchronization information is input via the synchronization information path 214, the graphics output unit 212 determines whether or not the graphics synchronization information 502 that instructs the synchronization of graphics is set in the synchronization information. When the graphics synchronization information 502 is set, the graphics held in the graphics holding unit 211 is output to the synchronized graphics path 210 as synchronized graphics.

次に合成部２０９の動作を説明する。   Next, the operation of the synthesis unit 209 will be described.

合成部２０９は、処理済動画パス２０８及び同期済みグラフィックスパス２１０を介して、処理済み動画と同期済みのグラフィックスとをそれぞれ受け取り、これらを合成した画像を合成出力１１７として出力する。ここでの合成処理は、処理済動画と同期済みグラフィックスの画像データを、入力した画素順に合成して出力する周知の合成部であっても良い。   The synthesizing unit 209 receives the processed moving image and the synchronized graphics via the processed moving image path 208 and the synchronized graphics path 210, respectively, and outputs an image obtained by combining these images as a combined output 117. The synthesis process here may be a known synthesis unit that synthesizes and outputs the processed moving image and the synchronized graphics image data in the order of input pixels.

図６は、本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。ここでは、出力終了通知信号３５４によって、動画描画命令出力部２０４及びグラフィックス出力部２１２からの出力を切り替えている。   FIG. 6 is a timing diagram illustrating processing in the image processing apparatus according to the embodiment of the present invention. Here, the output from the moving image rendering command output unit 204 and the graphics output unit 212 is switched by the output end notification signal 354.

ここでは、グラフィックスフレーム１(g frame1)（３０１）と、グラフィックスフレーム４(g frame4)（３０４）は、動画描画命令とグラフィックスの両方の更新を示す。グラフィックスフレーム２(g frame2)（３０２）は動画描画命令の更新のみ、グラフィックスフレーム３(g frame3)（３０３）はグラフィックスの更新だけを必要としている。ここで描画命令パス１０３には、グラフィックスフレーム０〜４の描画命令が順に到着するものとする。   Here, the graphics frame 1 (g frame 1) (301) and the graphics frame 4 (g frame 4) (304) indicate the update of both the moving picture rendering command and the graphics. The graphics frame 2 (g frame 2) (302) only needs to update the moving image drawing command, and the graphics frame 3 (g frame 3) (303) only needs to update the graphics. Here, it is assumed that the drawing commands for the graphics frames 0 to 4 arrive at the drawing command path 103 in order.

一方、動画パス１０７には、動画フレーム０(v frame0)（３２２）、動画フレーム１（３２３）、動画フレーム２（３２４）、動画フレーム３（３２５）、動画フレーム４（３２６）が入力される。   On the other hand, the moving image frame 107 receives moving image frame 0 (v frame 0) (322), moving image frame 1 (323), moving image frame 2 (324), moving image frame 3 (325), and moving image frame 4 (326). .

タイミング３６０で、同期情報パス２１４に出力される同期情報の値は「０」であるとする。また同期済グラフィックスパス２１０及び同期動画描画命令パス２０５には、それぞれ図示しないタイミング３６０以前に処理が完了しているフレーム０のグラフィックス及びフレーム０の動画描画命令が出力されている。これらは図６の３１３，３１７で示されている。   It is assumed that the value of the synchronization information output to the synchronization information path 214 at timing 360 is “0”. The synchronized graphics path 210 and the synchronized moving image drawing command path 205 are output with the graphics for frame 0 and the moving image drawing command for frame 0 that have been processed before the timing 360 (not shown), respectively. These are shown at 313, 317 in FIG.

タイミング３６０からタイミング３６２までの期間は、グラフィックス描画処理が、合成出力１１７の１フレーム出力以前に終了するケースを示している。   A period from the timing 360 to the timing 362 indicates a case where the graphics drawing processing ends before one frame output of the composite output 117.

グラフィックスフレーム１（３０１）が描画命令パス１０３を介して入力されると、グラフィックス描画部２１５は、このグラフィックスフレーム１の描画命令を処理する。グラフィックス描画部２１５は、３５４で、グラフィックスパス２１３にグラフィックス(g frame1)を出力する。また３５５で、動画描画命令パス２０２に動画描画命令(inst frame1)を出力する。このとき動画パス１０７には、３２２で示すように、動画フレーム１(v frame1)の動画描画命令が到着している。   When the graphics frame 1 (301) is input via the rendering command path 103, the graphics rendering unit 215 processes the rendering command for the graphics frame 1. In 354, the graphics drawing unit 215 outputs the graphics (g frame 1) to the graphics path 213. At 355, a moving image drawing command (inst frame 1) is output to the moving image drawing command path 202. At this time, the moving image drawing command for moving image frame 1 (v frame 1) has arrived in the moving image path 107 as indicated by reference numeral 322.

グラフィックス描画部２１５は、グラフィックスフレーム１の描画処理が終了すると３０７で、同期情報パス２１４にグラフィックスの同期情報５０２、動画同期情報５０３をそれぞれセットした同期情報を発行する。   When the graphics frame 1 drawing process ends, the graphics drawing unit 215 issues synchronization information in which the graphics synchronization information 502 and the moving image synchronization information 503 are set in the synchronization information path 214 in 307.

動画描画部２０７は、３１７で生成される動画フレーム０の動画描画命令を、３２２で動画パス１０７から動画描画部２０７に入力される動画フレーム０に適用する。そして３２７で、処理済み動画フレーム０(v frame0/sync inst frame0)として出力する。   The moving image drawing unit 207 applies the moving image drawing command for moving image frame 0 generated in 317 to the moving image frame 0 input from the moving image path 107 to the moving image drawing unit 207 in 322. Then, at 327, the processed moving image frame 0 (v frame0 / sync inst frame0) is output.

合成部２０９は、３２７で生成される処理済動画フレーム０と、３１３で生成された同期済グラフィックスフレーム０(sync g frame0)とを合成する。そして３３２で、合成出力フレーム０（g frame0/v frame0/sync inst frame0）を出力する。そして合成部２０９は、この合成出力フレーム０の処理が終了すると、３６４で、出力終了通知信号３５４であるパルス信号を発行する。このパルス信号は、同期情報のリセット、グラフィックス出力部２１２の同期済グラフィックス出力の切り替え、及び動画描画命令出力部２０４の動画描画命令の出力切り替えを指示する。   The synthesizing unit 209 synthesizes the processed moving image frame 0 generated in 327 and the synchronized graphics frame 0 (sync g frame 0) generated in 313. At 332, a composite output frame 0 (g frame0 / v frame0 / sync inst frame0) is output. When the processing of the combined output frame 0 is completed, the combining unit 209 issues a pulse signal that is an output end notification signal 354 at 364. This pulse signal instructs reset of synchronization information, switching of synchronized graphics output of the graphics output unit 212, and switching of output of the moving image drawing command of the moving image drawing command output unit 204.

３２３では、動画パス１０７に動画フレーム１(v frame1)が入力される。この動画フレーム１が入力される前の時点である３０７で、グラフィックスと動画の同期が指示されている。従って、この場合は、グラフィックス出力部２１２は、３１４で、同期を取ったグラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方動画描画命令出力部２０４は、３１８で、同期動画描画命令フレーム１(sync inst frame1)を同期動画描画命令パス２０５に出力する。これにより動画描画部２０７は、その動画フレーム１の動画描画命令を受け取り、それを３２３で、動画パス１０７から動画描画部２０７に入力される動画フレーム１に適用する。そして３２８で、処理済動画フレーム１（v frame1/sync inst frame1）として出力する。   In 323, the moving image frame 1 (v frame1) is input to the moving image path 107. At 307, which is the time before the moving image frame 1 is input, the synchronization between the graphics and the moving image is instructed. Accordingly, in this case, the graphics output unit 212 outputs the synchronized graphics frame 1 (sync g frame 1) to the synchronized graphics path 210 at 314. On the other hand, the moving image drawing command output unit 204 outputs a synchronous moving image drawing command frame 1 (sync inst frame 1) to the synchronous moving image drawing command path 205 at 318. As a result, the moving image drawing unit 207 receives the moving image drawing command for the moving image frame 1 and applies it to the moving image frame 1 input from the moving image path 107 to the moving image drawing unit 207 at 323. Then, at 328, the processed moving image frame 1 (v frame1 / sync inst frame 1) is output.

これにより合成部２０９は、３２８で生成された処理済動画フレーム１と、３１４で生成された同期済グラフィックスフレーム１とを合成する。そして３３３で、合成出力フレーム１（g frame1/v frame1/sync inst frame1）を出力する。こうして合成部２０９は、この合成出力フレーム１の処理が終了すると、出力終了通知信号３５４としてパルス信号３６５を発行する。   As a result, the synthesis unit 209 synthesizes the processed moving image frame 1 generated in 328 and the synchronized graphics frame 1 generated in 314. At 333, the composite output frame 1 (g frame1 / v frame1 / sync inst frame1) is output. In this way, the synthesis unit 209 issues the pulse signal 365 as the output end notification signal 354 when the processing of the synthesized output frame 1 is completed.

図６におけるタイミング３６１からタイミング３６３までの期間は、合成出力１１７が１フレームの出力を終了した時点で、グラフィックスの描画処理による１フレームの描画が終了しないケースを示している。   A period from timing 361 to timing 363 in FIG. 6 shows a case where drawing of one frame by the graphics drawing processing does not end when the combined output 117 ends outputting of one frame.

ここでは３０２での描画処理が、３６１の時点で終了していない。このため、タイミング３６１の時点では、グラフィックスフレーム２の描画結果、及び動画描画命令フレーム２は利用できない。この場合、グラフィックス出力部２１２は、３１５で、タイミング３６１の時点で使用可能であった同期済グラフィックスフレーム１（sync g frame1）を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３１９で、タイミング３６１の時点で使用可能であった同期動画描画命令フレーム１（sync inst frame1）を同期動画描画命令パス２０５に出力する。   Here, the drawing process at 302 is not completed at the time of 361. For this reason, at the timing 361, the drawing result of the graphics frame 2 and the moving image drawing command frame 2 cannot be used. In this case, the graphics output unit 212 outputs the synchronized graphics frame 1 (sync g frame 1) that was available at the timing 361 to the synchronized graphics path 210 at 315. In addition, the moving image drawing command output unit 204 outputs a synchronous moving image drawing command frame 1 (sync inst frame 1) that can be used at the timing 361 to the synchronous moving image drawing command path 205 at 319.

これにより動画描画部２０７は、３１９で生成される動画フレーム１の動画描画命令を、３２４で動画パス１０７から動画描画部２０７に入力される動画フレーム２に適用する。そして３２９で、処理済動画フレーム２（v frame2/sync inst frame1）を出力する。   Accordingly, the moving image drawing unit 207 applies the moving image drawing command for the moving image frame 1 generated in 319 to the moving image frame 2 input to the moving image drawing unit 207 from the moving image path 107 in 324. In 329, the processed moving image frame 2 (v frame2 / sync inst frame 1) is output.

合成部２０９は、３２９で生成された処理済動画フレーム２と、３１５の同期済グラフィックスフレーム１とを合成する。そして３３４で、フレーム２（g frame1/v frame2/sync inst frame1）を出力する。こうして合成部２０９は、３３４のフレーム２の合成処理が終了すると、出力終了通知信号３５４としてパルス信号３６６を発行する。   The synthesizing unit 209 synthesizes the processed moving image frame 2 generated in 329 and the synchronized graphics frame 1 of 315. At 334, frame 2 (g frame1 / v frame2 / sync inst frame1) is output. In this way, when the synthesis process of frame 2 in 334 is completed, the synthesis unit 209 issues a pulse signal 366 as the output end notification signal 354.

次にタイミング３６１からタイミング３６２までの期間は、グラフィックス描画部２１５によるフレーム２の描画が終了した時点で、動画描画命令出力部２０４のみに同期を指示する場合を示している。ここでは同期情報が「０１」であるため、動画同期情報５０３のみが「１」となっている。   Next, a period from timing 361 to timing 362 indicates a case where only the moving image rendering command output unit 204 is instructed to be synchronized when the graphics rendering unit 215 finishes rendering the frame 2. Here, since the synchronization information is “01”, only the moving image synchronization information 503 is “1”.

グラフィックス描画部２１５は、３０２での描画処理が終了すると、３０９で、動画描画命令出力部２０４のみに同期を指示する同期情報を出力する。このときグラフィックス描画部２１５は、同期情報のグラフィックス同期情報５０２をリセット、動画同期情報５０３のみを「１」にセットする。従って、３６２の時点では動画描画命令フレーム２と、グラフィックスフレーム１が利用可能である。   When the drawing process in 302 is completed, the graphics drawing unit 215 outputs synchronization information instructing synchronization only to the moving image drawing command output unit 204 in 309. At this time, the graphics drawing unit 215 resets the graphics synchronization information 502 of the synchronization information, and sets only the moving image synchronization information 503 to “1”. Therefore, at the time of 362, the moving image drawing command frame 2 and the graphics frame 1 can be used.

グラフィックス出力部２１２は、３１６で、同期済グラフィックスフレーム１(sync g frame1)を同期済グラフィックスパス２１０に出力する。一方、動画描画命令出力部２０４は、３２０で、タイミング３６２の時点で使用可能となった同期動画描画命令フレーム２(sync inst frame2)を同期動画描画命令パス２０５に出力する。   The graphics output unit 212 outputs the synchronized graphics frame 1 to the synchronized graphics path 210 at 316. On the other hand, the moving image drawing command output unit 204 outputs the synchronous moving image drawing command frame 2 (sync inst frame 2) that can be used at the timing 362 to the synchronous moving image drawing command path 205 at 320.

動画描画部２０７は、３２０で生成される動画フレーム２の動画描画命令を、３２５で、動画パス１０７から動画描画部２０７に入力される動画フレーム３(v frame3)に適用する。そして３３０で、処理済動画フレーム３(v frame3/sync inst frame2)を出力する。   The moving image drawing unit 207 applies the moving image drawing command of the moving image frame 2 generated in 320 to the moving image frame 3 (v frame 3) input from the moving image path 107 to the moving image drawing unit 207 at 325. In step 330, the processed moving image frame 3 (v frame3 / sync inst frame2) is output.

これにより合成部２０９は、３３０で生成された処理済動画フレーム３と、３１６の同期済グラフィックスフレーム１(sync g frame1)とを合成する。そして３３５で、合成出力フレーム３(g frame1/v frame3/sync inst frame2)を出力する。こうして合成部２０９は、３３５で示す合成出力フレーム３の処理が終了すると、出力終了通知信号３５４にパルス信号３６７を発行する。   As a result, the synthesizing unit 209 synthesizes the processed moving image frame 3 generated in 330 and the synchronized graphics frame 1 (sync g frame 1) of 316. At 335, the combined output frame 3 (g frame1 / v frame3 / sync inst frame2) is output. Thus, when the processing of the combined output frame 3 indicated by 335 is completed, the combining unit 209 issues a pulse signal 367 to the output end notification signal 354.

３６３から３６４までの期間は、合成出力１１７が１フレームの出力を終了する前に、グラフィックス描画部２１５が複数フレームの描画を完了したケースを示している。
本実施形態では、３０３で、グラフィックスフレーム３の描画が完了し、３１１で、グラフィックス同期情報５０２が「１０」にセットされている。また３０４でグラフィックスフレーム４の描画が完了し、３１２で、グラフィックス同期情報５０２と動画同期情報５０３の両方がセット（「１１」）されている。３０４での描画処理が終了した後、３１２で、グラフィックスと動画の同期が指示されている。このため、３６４では、グラフィックスフレーム４(g frame4)及び動画描画命令フレーム４(sync inst frame4)が利用可能である。このようにグラフィックス描画部２１５が合成部２０９の１フレーム出力完了前に複数フレームの描画を完了した場合は、動画描画部２０７及び合成部２０９は、タイミング３６４の時点で最新のグラフィックス及び動画描画命令を用いる。 A period from 363 to 364 shows a case where the graphics drawing unit 215 has completed drawing of a plurality of frames before the combined output 117 finishes outputting one frame.
In this embodiment, the rendering of the graphics frame 3 is completed in 303, and the graphics synchronization information 502 is set to “10” in 311. In step 304, the drawing of the graphics frame 4 is completed. In step 312, both the graphics synchronization information 502 and the moving image synchronization information 503 are set (“11”). After the drawing process at 304 is finished, at 312 an instruction to synchronize graphics and moving images is given. Therefore, in 364, the graphics frame 4 (g frame 4) and the moving image drawing command frame 4 (sync inst frame 4) can be used. As described above, when the graphics drawing unit 215 completes drawing of a plurality of frames before completing the output of one frame of the combining unit 209, the moving image drawing unit 207 and the combining unit 209 display the latest graphics and moving images at the timing 364. Use drawing commands.

グラフィックス出力部２１２は、３４４で同期済グラフィックスフレーム４(sync g frame4)を同期済グラフィックスパス２１０に出力する。また動画描画命令出力部２０４は、３４５で、同期動画描画命令フレーム４(sync inst frame4)を同期動画描画命令パス２０５に出力する。   The graphics output unit 212 outputs the synchronized graphics frame 4 (sync g frame 4) to the synchronized graphics path 210 at 344. Also, the moving image drawing command output unit 204 outputs a synchronous moving image drawing command frame 4 (sync inst frame 4) to the synchronous moving image drawing command path 205 at 345.

動画描画部２０７は、３４５で生成された動画フレーム４の動画描画命令に基づいて、３２６で動画パス１０７から動画描画部２０７に入力される動画フレーム４に適用する。そして３３１で、処理済動画フレーム４(v frame4/sync inst frame4)を出力する。こうして合成部２０９は、３３１で生成された処理済動画フレーム４と、３４４で生成された同期済グラフィックスフレーム４とを合成する。そして３３６で、合成出力フレーム４(g frame4/v frame4/sync inst frame4)を出力する。   The moving image drawing unit 207 applies the moving image frame 4 input to the moving image drawing unit 207 from the moving image path 107 at 326 based on the moving image drawing command of the moving image frame 4 generated at 345. In 331, the processed moving image frame 4 (v frame4 / sync inst frame4) is output. In this way, the synthesizing unit 209 synthesizes the processed moving image frame 4 generated in 331 and the synchronized graphics frame 4 generated in 344. At 336, the composite output frame 4 (g frame4 / v frame4 / sync inst frame4) is output.

以上のようにして、動画とグラフィックスを同期しながら表示する画像処理装置１０６が実現できる。   As described above, it is possible to realize the image processing apparatus 106 that displays a moving image and graphics while synchronizing them.

以上説明したように本実施形態によれば、グラフィックスと動画の同期表示が可能となるという効果がある。   As described above, according to the present embodiment, there is an effect that synchronous display of graphics and moving images becomes possible.

また本実施形態によれば、グラフィックスと動画の同期時点で、１フレーム出力中にグラフィックスと動画の同期を行った場合に、フレームの切り替え時点でグラフィックスと動画とを更新することができる。   Further, according to the present embodiment, when the graphics and the moving image are synchronized during the output of one frame at the time of synchronization between the graphics and the moving image, the graphics and the moving image can be updated at the time of switching the frame. .

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。 (Other embodiments)
Although the embodiments of the present invention have been described in detail above, the present invention may be applied to a system constituted by a plurality of devices or may be applied to an apparatus constituted by one device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。   In the present invention, a software program that implements the functions of the above-described embodiments is supplied directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program. Can also be achieved. In that case, as long as it has the function of a program, the form does not need to be a program.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the claims of the present invention include the computer program itself for realizing the functional processing of the present invention. In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。   Various recording media for supplying the program can be used. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。   As another program supply method, the program can be supplied by connecting to a home page on the Internet using a browser of a client computer and downloading the program from the home page to a recording medium such as a hard disk. In this case, the computer program itself of the present invention or a compressed file including an automatic installation function may be downloaded. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the claims of the present invention.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。   Further, the program of the present invention may be encrypted, stored in a storage medium such as a CD-ROM, and distributed to users. In that case, a user who has cleared a predetermined condition is allowed to download key information to be decrypted from a homepage via the Internet, and using the key information, the encrypted program can be executed on a computer in a format that can be executed. To be installed.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。   Further, the present invention can be realized in a form other than the form in which the functions of the above-described embodiments are realized by the computer executing the read program. For example, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。   Furthermore, the program read from the recording medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. In this case, thereafter, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. .

本発明の実施形態に係る画像処理装置を有する画像処理システムの構成を説明するブロック図である。1 is a block diagram illustrating a configuration of an image processing system having an image processing apparatus according to an embodiment of the present invention. 本発明の実施形態に係る画像処理装置の機能構成を説明する機能ブロック図である。It is a functional block diagram explaining the functional structure of the image processing apparatus which concerns on embodiment of this invention. 本実施形態に係る画像処理装置のグラフィックス描画部による処理を説明するフローチャートである。It is a flowchart explaining the process by the graphics drawing part of the image processing apparatus which concerns on this embodiment. 実施形態に係るグラフィックス描画部が生成したグラフィックスの一例を示す図である。It is a figure which shows an example of the graphics which the graphics drawing part which concerns on embodiment produced | generated. 本実施の形態に係る同期情報の一例を示す図である。It is a figure which shows an example of the synchronous information which concerns on this Embodiment. 本発明の実施形態に係る画像処理装置における処理を説明するタイミング図である。It is a timing diagram explaining the processing in the image processing apparatus according to the embodiment of the present invention.

Claims (6)

動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画手段と、
前記グラフィックス描画手段による描画結果であるグラフィックスを保持するグラフィックス保持手段と、
前記グラフィックス描画手段が生成した前記動画描画命令を受け取って保持する動画描画命令保持手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記動画描画命令保持手段に保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力手段と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画手段と、
前記グラフィックス描画手段から出力される前記同期情報に従って、前記グラフィックス保持手段から同期済みグラフィックスを出力するグラフィックス出力手段と、
前記グラフィックス出力手段から出力される前記同期済みグラフィックスと前記動画描画手段から出力される前記処理済動画とを合成する合成手段と、
を有することを特徴とする画像処理装置。 An image processing apparatus that receives a drawing command including a moving image drawing command and a graphics drawing command and performs a drawing process,
A graphics drawing means for generating a video drawing command, a graphics drawing command and synchronization information from the drawing command, and executing the graphics drawing command to output graphics;
Graphics holding means for holding graphics as a drawing result by the graphics drawing means;
Moving image drawing command holding means for receiving and holding the moving image drawing command generated by the graphics drawing means;
In accordance with the synchronization information output from the graphics drawing unit, a moving image drawing command output unit that outputs a synchronous moving image drawing command from the moving image drawing command held in the moving image drawing command holding unit;
A moving image rendering means for executing the synchronized moving image rendering command for an input moving image and outputting a processed moving image;
Graphics output means for outputting synchronized graphics from the graphics holding means in accordance with the synchronization information output from the graphics drawing means;
Combining means for combining the synchronized graphics output from the graphics output means and the processed moving image output from the moving image rendering means;
An image processing apparatus comprising: 前記動画描画手段は、複数の動画を入力し、
前記動画描画命令出力手段は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画手段は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成手段は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項１に記載の画像処理装置。 The moving image drawing means inputs a plurality of moving images,
The moving image drawing command output means generates a synchronous moving image drawing command including association information between each of the plurality of moving images and a moving image included in the drawing command,
The moving image drawing means executes the synchronous moving image drawing command for the plurality of moving images and outputs a plurality of processed moving images,
The image processing apparatus according to claim 1, wherein the synthesizing unit synthesizes the graphics and the plurality of processed moving images. 前記合成手段は、１フレームの出力終了時、前記動画描画命令出力手段と前記グラフィックス出力手段に対して出力終了通知信号を発行することを特徴とする請求項１又は２に記載の画像処理装置。   3. The image processing apparatus according to claim 1, wherein the synthesizing unit issues an output end notification signal to the moving image rendering command output unit and the graphics output unit when the output of one frame is completed. . 動画描画命令及びグラフィックス描画命令を含む描画命令を受け取って描画処理を行なう画像処理装置の制御方法であって、
前記描画命令から動画描画命令、グラフィックス描画命令及び同期情報を生成し、前記グラフィックス描画命令を実行してグラフィックスを出力するグラフィックス描画工程と、
前記グラフィックス描画工程での描画結果であるグラフィックスを保持するグラフィックス保持工程と、
前記グラフィックス描画工程で生成した前記動画描画命令を受け取って保持する動画描画命令保持工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記動画描画命令保持工程で保持された前記動画描画命令から同期動画描画命令を出力する動画描画命令出力工程と、
入力する動画に対して前記同期動画描画命令を実行して処理済動画を出力する動画描画工程と、
前記グラフィックス描画工程により出力される前記同期情報に従って、前記グラフィックス保持工程で保持されたグラフィックから同期済みグラフィックスを出力するグラフィックス出力工程と、
前記グラフィックス出力工程で出力される前記同期済みグラフィックスと前記動画描画工程で出力される前記処理済動画とを合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。 A control method of an image processing apparatus that receives a drawing command including a moving image drawing command and a graphics drawing command and performs a drawing process,
A graphics drawing step of generating a video drawing command, a graphics drawing command and synchronization information from the drawing command, executing the graphics drawing command and outputting graphics;
A graphics holding step for holding graphics which is a drawing result in the graphics drawing step;
A moving image drawing command holding step for receiving and holding the moving image drawing command generated in the graphics drawing step;
In accordance with the synchronization information output by the graphics drawing step, a moving image drawing command output step of outputting a synchronous moving image drawing command from the moving image drawing command held in the moving image drawing command holding step;
A video rendering step for executing the synchronous video rendering command for the input video and outputting a processed video;
A graphics output step for outputting synchronized graphics from the graphics held in the graphics holding step according to the synchronization information output by the graphics drawing step;
A synthesizing step of synthesizing the synchronized graphics output in the graphics output step and the processed moving image output in the moving image drawing step;
A control method for an image processing apparatus, comprising: 前記動画描画工程は、複数の動画を入力し、
前記動画描画命令出力工程は、前記複数の動画のそれぞれと前記描画命令に含まれる動画との関連付け情報を含む同期動画描画命令を生成し、
前記動画描画工程は、前記複数の動画に対して前記同期動画描画命令を実行して複数の処理済動画を出力し、
前記合成工程は、前記グラフィックスと前記複数の処理済動画を合成することを特徴とする請求項４に記載の画像処理装置の制御方法。 The moving image drawing step inputs a plurality of moving images,
The moving image drawing command output step generates a synchronous moving image drawing command including association information between each of the plurality of moving images and the moving image included in the drawing command,
The moving image drawing step executes the synchronous moving image drawing command for the plurality of moving images and outputs a plurality of processed moving images,
The method of controlling an image processing apparatus according to claim 4, wherein the combining step combines the graphics and the plurality of processed moving images. 前記合成工程は、１フレームの出力終了時、前記動画描画命令出力工程と前記グラフィックス出力工程に対して出力終了通知信号を発行することを特徴とする請求項４又は５に記載の画像処理装置の制御方法。   6. The image processing apparatus according to claim 4, wherein the synthesis step issues an output end notification signal to the moving image drawing command output step and the graphics output step when the output of one frame ends. Control method.
JP2008181979A 2008-07-04 2008-07-11 Image processing apparatus and control method thereof Active JP5231886B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008181979A JP5231886B2 (en) 2008-07-11 2008-07-11 Image processing apparatus and control method thereof
US12/486,336 US8717380B2 (en) 2008-07-04 2009-06-17 Image processing apparatus and control method thereof
US14/217,993 US9305327B2 (en) 2008-07-04 2014-03-18 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008181979A JP5231886B2 (en) 2008-07-11 2008-07-11 Image processing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2010020186A true JP2010020186A (en) 2010-01-28
JP5231886B2 JP5231886B2 (en) 2013-07-10

Family

ID=41705131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008181979A Active JP5231886B2 (en) 2008-07-04 2008-07-11 Image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5231886B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041760A (en) * 2014-08-08 2017-04-17 어드밴스드 마이크로 디바이시즈, 인코포레이티드 Method and system for frame pacing
WO2018079081A1 (en) * 2016-10-25 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 Display control device, electronic device, control method of display control device, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03145394A (en) * 1989-10-31 1991-06-20 Nec Corp Display system and apparatus for moving picture signal
JPH03216691A (en) * 1990-01-22 1991-09-24 Fujitsu Ltd Moving image and still image display controller
JPH0876721A (en) * 1994-09-09 1996-03-22 Hitachi Ltd Matrix panel display device
JPH08125982A (en) * 1994-10-28 1996-05-17 Hitachi Ltd Video signal processing means
JP2002271751A (en) * 2001-03-08 2002-09-20 Canon Inc Display control method and device
JP2007166498A (en) * 2005-12-16 2007-06-28 Toshiba Corp Information processing apparatus and reproducing method
JP2007214659A (en) * 2006-02-07 2007-08-23 Aoi Technology Inc Osd apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03145394A (en) * 1989-10-31 1991-06-20 Nec Corp Display system and apparatus for moving picture signal
JPH03216691A (en) * 1990-01-22 1991-09-24 Fujitsu Ltd Moving image and still image display controller
JPH0876721A (en) * 1994-09-09 1996-03-22 Hitachi Ltd Matrix panel display device
JPH08125982A (en) * 1994-10-28 1996-05-17 Hitachi Ltd Video signal processing means
JP2002271751A (en) * 2001-03-08 2002-09-20 Canon Inc Display control method and device
JP2007166498A (en) * 2005-12-16 2007-06-28 Toshiba Corp Information processing apparatus and reproducing method
JP2007214659A (en) * 2006-02-07 2007-08-23 Aoi Technology Inc Osd apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041760A (en) * 2014-08-08 2017-04-17 어드밴스드 마이크로 디바이시즈, 인코포레이티드 Method and system for frame pacing
KR102476197B1 (en) 2014-08-08 2022-12-09 어드밴스드 마이크로 디바이시즈, 인코포레이티드 Method and system for frame pacing
WO2018079081A1 (en) * 2016-10-25 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 Display control device, electronic device, control method of display control device, and program
US10867587B2 (en) 2016-10-25 2020-12-15 Sony Semiconductor Solutions Corporation Display control apparatus, electronic equipment, and control method of display control apparatus

Also Published As

Publication number Publication date
JP5231886B2 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
KR100661895B1 (en) Video data processing apparatus
JP2007271908A (en) Multi-image creating device
JP5230096B2 (en) VIDEO / AUDIO OUTPUT DEVICE AND VIDEO / AUDIO OUTPUT METHOD
JPH11296667A (en) Method and device for displaying image of interesting scene
JPWO2004095837A1 (en) Playback device, program.
JP2011133649A (en) Image display control apparatus
US9305327B2 (en) Image processing apparatus and control method thereof
JP2007214659A (en) Osd apparatus
JP5231886B2 (en) Image processing apparatus and control method thereof
JP6666974B2 (en) Image processing apparatus, image processing method, and program
JP5430083B2 (en) Image processing apparatus and image processing method
JP2008228242A (en) Video reproducing device
JP4393425B2 (en) Video equipment, video recording method and video playback method
JP5033098B2 (en) Image display device, image display method, and image display program
JP5060409B2 (en) Image processing apparatus and control method thereof
JP2009206986A (en) Image output device and image output method
JP2000259822A (en) Transparent synthesizing method of image
JP3642952B2 (en) Image composition method and apparatus, and information processing system
JP2001013936A (en) Multi-media font display system
JP2005292414A (en) Image output controller
JP2009271134A (en) Image reproduction device, and display control method in the same
US20200081678A1 (en) Multi-panel display
JP5055220B2 (en) Image display device and image display method
JP2005196549A (en) Image generation device and method
JPH10257454A (en) Graphics generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130322

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3