JP2013186247A - Moving picture display device - Google Patents

Moving picture display device Download PDF

Info

Publication number
JP2013186247A
JP2013186247A JP2012050487A JP2012050487A JP2013186247A JP 2013186247 A JP2013186247 A JP 2013186247A JP 2012050487 A JP2012050487 A JP 2012050487A JP 2012050487 A JP2012050487 A JP 2012050487A JP 2013186247 A JP2013186247 A JP 2013186247A
Authority
JP
Japan
Prior art keywords
area
mesh
unit
drawing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012050487A
Other languages
Japanese (ja)
Other versions
JP2013186247A5 (en
Inventor
Yoshiyuki Kato
義幸 加藤
Akira Torii
晃 鳥居
Masaki Hamada
雅樹 濱田
Takafumi Kasuga
隆文 春日
Shinichi Okada
信一 岡田
Original Assignee
Mitsubishi Electric Corp
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, 三菱電機株式会社 filed Critical Mitsubishi Electric Corp
Priority to JP2012050487A priority Critical patent/JP2013186247A/en
Publication of JP2013186247A publication Critical patent/JP2013186247A/en
Publication of JP2013186247A5 publication Critical patent/JP2013186247A5/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a moving picture display device capable of smoothly displaying an attention part and reducing power consumption.SOLUTION: A moving picture display device comprises: a mesh generation section 3 that divides a screen into a plurality of mesh areas and generates a display list of mesh information and priority information; a virtual Z value generation section 4 that adds a virtual Z value for each mesh area to the display list; a drawing area writing determination section 5 that determines thinning drawing of a frame for a non-attention area on the basis of the priority information on the mesh areas; and a perspective correction mapping section 6 that, on the basis of the result of determination by the drawing area writing determination section 5, performs mapping drawing of a moving picture in a mesh area unit set in the display list while performing perspective correction.

Description

本発明は、テレビ会議システムや監視システムなどで、例えば画像に写っている発言者を拡大表示させて他の人は縮小表示させ、注目人物を分かりやすい形でデフォルメさせるといった表示を行う動画表示装置に関する。 The present invention, TV and conference system and monitoring system, for example, the image on the back is to have a speaker a larger image reflected in the other person to shrink display, video display device for the display, such as to be deformed in an easy to understand a person of interest form on.

従来、表示画面の一部分を拡大し、他方を縮小表示する方式や変形表示方式としては、例えば特許文献1に記載したようなものがあった。 Conventionally, an enlarged view of a part of the display screen, the method and deformation display method which collapse the other hand, for example, there is one as described in Patent Document 1. この表示方式は、計算機やワープロ等のディスプレイ装置において、表示画面上の一部を拡大すると同時に他の部分を適当に縮小し、拡大部分とそれ以外との連続性を損なわず、なおかつ画面に表示した情報量を拡大以前と同じに保てるように構成したものである。 This display method in a computer or a display device of a word processor or the like, suitably reduced at the same time other portions of the magnified on the display screen, without impairing the continuity of the enlarged portion and the others, yet the screen those constructed as maintain the information amount expanded before the same.

特開平6−274586号公報 JP-6-274586 discloses

動画の中に映っている注目人物や注目物体を拡大デフォルメさせる表示において、注目部分の動きを滑らかに表示するためには、フルレートでのリアルタイム表示が必要である。 In the display of expanding deformation of the person of interest and attention object shown in the video, in order to smoothly display the movement of the target portion, it is necessary to real-time display on the full rate. また、一般に、デフォルメ処理を施した表示を行うためには、通常表示に比べて演算処理量が増加すると共に、メモリアクセスの回数が増大する。 In general, in order to perform the display which has been subjected to deformation processing, the processing amount is increased as compared to the normal display, the number of memory accesses is increased. そのため、例えば、特許文献1に記載されたような従来の表示方式を単純に動画表示装置に適用した場合、メモリ帯域が不足して、表示フレームのコマ落ちが発生してしまうという問題があった。 Therefore, for example, when applied to a simple moving image display device of a conventional display system as described in Patent Document 1, the memory bandwidth is insufficient, dropped frames display frame there is a problem that occurs . また、演算量増大のため、システム全体の消費電力も高くなってしまうという問題があった。 Further, since the calculation amount increases, there is a problem that becomes higher power consumption of the entire system.

この発明は上記のような課題を解決するためになされたもので、注目部分の滑らかな表示を行うと共に消費電力を抑えることのできる動画表示装置を得ることを目的とする。 The present invention has been made to solve the above problems, an object of the present invention to provide a moving picture display apparatus capable of suppressing power consumption performs a smooth display of the target portion.

この発明に係る動画表示装置は、動画像から特定の注目エリアを検出する注目エリア検出部と、注目エリアを1つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なZ値を各メッシュ領域に対して生成し、Z値をディスプレイリストに付加する仮想Z値生成部と、メッシュ領域の優先度情報に基づいて、非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、描画エリア書き込み判定部の判定結果に基づいて、動画像を、Z値が付加されたデ Video display device according to the present invention includes a focused area detection unit for detecting a specific area of ​​interest from the moving image, the area of ​​interest as a single mesh region, the screen is divided into a plurality of mesh regions, the screen of each mesh region additional mesh information indicating the position of the inner, and each of the mesh generator to create a display list for registering the priority information of the mesh region, the representation effect of perspective between the target area and the other non-target areas a virtual Z value generating unit which a virtual Z values ​​for generating for each mesh region, adding Z values ​​in the display list, based on the priority information of the mesh area, decimation of the frame relative to the non-target area a drawing area write judging unit for judging drawing, on the basis of the drawing area writing determination of the determination result, a moving image, Z value has been added de スプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたものである。 A mesh region unit set to spray list, in which a perspective correcting mapping unit that maps drawn while performing fluoroscopy correction.

この発明の動画表示装置は、注目エリアと非注目エリアの間で遠近感の表現効果を付加すると共に、非注目エリアに対してフレーム間引きを行うようにしたので、注目部分の滑らかな表示を行うことができると共に消費電力を抑えることができる。 Video display device of the invention is to adding a representation effect of perspective between the target area and the non-interest area, since to perform frame thinning against non-interest area, performing a smooth display of the target portion it is possible to reduce power consumption it is possible.

この発明の実施の形態1による動画表示装置を示す構成図である。 It is a block diagram showing a moving picture display apparatus according to a first embodiment of the present invention. この発明の実施の形態1による動画表示装置の動作を示す説明図である。 Is an explanatory view showing an operation of a moving picture display apparatus according to a first embodiment of the present invention. この発明の実施の形態1による動画表示装置の他の例の動作を示す説明図である。 Is an explanatory diagram showing the operation of another example of a video display device according to a first embodiment of the present invention. この発明の実施の形態2による動画表示装置を示す構成図である。 It is a block diagram showing a video display device according to a second embodiment of the present invention. この発明の実施の形態2による動画表示装置の動作を示す説明図である。 Is an explanatory view showing an operation of a moving picture display apparatus according to a second embodiment of the present invention. この発明の実施の形態3による動画表示装置を示す構成図である。 It is a block diagram showing a moving picture display apparatus according to a third embodiment of the present invention.

実施の形態1. The first embodiment.
図1は、この発明の実施の形態1による動画表示装置を示す構成図である。 Figure 1 is a block diagram showing a moving picture display apparatus according to a first embodiment of the present invention.
図1に示す動画表示装置は、映像バッファ1、注目エリア検出部2、メッシュ生成部3、仮想Z値生成部4、描画エリア書き込み判定部5、透視補正マッピング部6、フレームバッファ7、ディスプレイ8を備えている。 Video display device shown in FIG. 1, the video buffer 1, attention area detector 2, the mesh generator 3, a virtual Z value generation unit 4, the drawing area write judging unit 5, a perspective correction mapping unit 6, a frame buffer 7, a display 8 It is equipped with a.

映像バッファ1は、入力される映像データ(動画像)をフレーム単位に格納するバッファである。 Video buffer 1 is a buffer for storing video data inputted (moving picture) in frame units. 注目エリア検出部2は、入力された映像の中から注目すべきエリアを求める処理部である。 Interest area detector 2 is a processing unit for determining the area to be noted from the input video. 例えば、テレビ会議システムの場合は、発言している人の顔を顔画像検出および認識回路を用いて検出する。 For example, in the case of video conferencing system is detected using face image detection and recognition circuitry faces of those who have spoken. また、監視システムの場合は、不審者やペットなどの画像を認識する。 In addition, in the case of the monitoring system, it recognizes the image, such as a suspicious person and pets. そして、検出された注目エリアのバウンディングボックスの矩形エリア座標を出力する。 Then, it outputs a rectangular area coordinates of the bounding box of the detected target area. メッシュ生成部3は、注目エリア検出部2が出力するバウンディングボックスを基準に、全画面をメッシュに分割する処理部である。 Mesh generation unit 3, based on the bounding box interest area detector 2 outputs a processing unit for dividing the entire screen into a mesh. メッシュはディスプレイリストの形式で図示しないメモリに保存される。 Mesh is stored in a memory (not shown) in the form of a display list. 仮想Z値生成部4は、各メッシュの頂点における仮想Z値を生成しディスプレイリストに付加する処理部である。 Virtual Z value generating unit 4 is a processing unit for adding the generated display list to the virtual Z values ​​at the vertices of each mesh. 描画エリア書き込み判定部5は、ディスプレイリストの中の注目エリアに該当するメッシュをフラグ情報から判断し、各メッシュの描画(フレームバッファ7への書き込み)を毎フレーム行うか否かを判定し、その判定結果を透視補正マッピング部6に出力する。 The drawing area write judging unit 5 judges the mesh corresponding to the target area in the display list from the flag information, determines whether to perform for each frame drawing of each mesh (writing to the frame buffer 7), the and it outputs the determination result to the perspective correction mapping unit 6. 透視補正マッピング部6は、描画エリア書き込み判定部5の判定結果に基づいて、ディスプレイリストのメッシュ情報と映像バッファ1の映像データから透視補正を行いながら映像のマッピング描画を行う処理部である。 Perspective correction mapping unit 6, based on the determination result of the drawing area write judging unit 5, a processing unit for mapping drawing image while perspective correction from the mesh information of the display list and the video data of the video buffer 1. フレームバッファ7は、透視補正マッピング部6によって描画された画像を格納するバッファである。 Frame buffer 7 is a buffer for storing an image drawn by the perspective correcting mapping unit 6. ディスプレイ8は、LCD、有機EL、電子ペーパなどの表示装置である。 Display 8, LCD, organic EL, a display device such as electronic paper.

なお、動画表示装置はコンピュータを用いて実現され、注目エリア検出部2〜透視補正マッピング部6は、それぞれの機能に対応したソフトウェアと、これらソフトウェアを実行するためのCPUやメモリといったハードウェアから構成されている。 The moving display is realized by using a computer, attention area detector 2 perspective correction mapping unit 6, the software corresponding to the respective functions, composed of hardware such as CPU and memory for performing these software It is. あるいは、少なくともいずれかの機能部を専用のハードウェアで構成してもよい。 Alternatively, it may be at least one functional portion configured by dedicated hardware. また、映像バッファ1およびフレームバッファ7は、同一メモリでも、CPUの主記憶と共用されていても構わない。 The video buffer 1 and the frame buffer 7, in the same memory, it may be shared with the main memory of the CPU. 同様に、ディスプレイリストはオンチップの内蔵RAMへ格納しても、フレームバッファ7へ格納しても構わない。 Similarly, display list be stored in the on-chip internal RAM, and may be stored in the frame buffer 7.

次に、実施の形態1の動画表示装置の動作について説明する。 Next, the operation of the video display device of the first embodiment.
図2は、メッシュ生成部3、仮想Z値生成部4、描画エリア書き込み判定部5、透視補正マッピング部6の動作を説明するための図である。 2, the mesh generator 3, a virtual Z value generation unit 4, the drawing area write judging unit 5 is a diagram for explaining the operation of the perspective correction mapping unit 6.
注目エリア検出部2は、例えば、映像(元画像)中の左から2番目の人物の顔を注目ターゲットとして検出したとすると、顔画像のバウンディングボックスとなる(1)を注目エリアとして出力する。 Interest area detector 2, for example, assuming that detects faces of the second person from the left in the image (original image) as a target to focus, and outputs the bounding box of the face image (1) as the target area. メッシュ生成部3は、注目エリアが画面上の中央に大きく配置されるように、各分割エリア(メッシュ)のスクリーンXY座標生成と、各メッシュに映像をマッピングするときに必要な映像元のUV座標(テクスチャXY座標)の算出を行う。 Mesh generation unit 3, as noted area is largely located in the center of the screen, the screen XY coordinate generation of the respective divided areas (meshes), a video source UV coordinates necessary when mapping an image on each mesh to calculate the (texture XY coordinates). そして、各メッシュ単位にXY座標とUV座標のディスプレイリストを作成する。 Then, to create a display list of XY coordinates and UV coordinates to each mesh unit. ディスプレイリストは、後述するZ座標と、検出結果の注目度の優先順位を格納するための注目度フラグも備える。 Display list comprises a Z-coordinate to be described later, also attention flag for storing the priority of the attention of the detection result. 例えば、(1)には優先順位1を、(2),(3),(4),(5)には優先順位2が設定される。 For example, a priority 1 in (1), (2), (3), (4), priority 2 is set to (5). 仮想Z値生成部4は、2次元平面の映像に対して、注目エリアを遠近感をつけて強調させるために各メッシュの頂点のZ値を生成する。 Virtual Z value generating unit 4, to the two-dimensional plane image, and generates a Z value of the vertex of each mesh in order to emphasize the area of ​​interest with the perspective. 例えば、メッシュ(1)を強調させ、メッシュ(2),(3),(4),(5)を目立たなくするための手法として下記の手段が考えられる。 For example, to emphasize the mesh (1), mesh (2), (3), (4), can be considered the following means as a method for inconspicuous (5).

・遠近法A - perspective A
注目メッシュを手前(視点に近い方)に配置し、非注目メッシュをなだらかに後方に配置する。 Attention mesh placed in front of (closer to the point of view), gently placed behind the non-interest mesh.
・遠近法B - perspective B
注目メッシュを手前(視点に近い方)に配置し、非注目メッシュを後方に均一Z値で配置する。 Attention mesh placed in front (closer to the viewpoint), arranged at uniform Z value of non-interest mesh backwards.
・遠近法C - perspective C
注目メッシュが手前(視点に近い方)に配置されるように、全体を球面上にマッピングする。 Attention mesh to be arranged in front (closer to the viewpoint), to map the entire on a sphere.

図2では、説明を簡単にするために水平方向L0−L1に対しての遠近法を示しているが、垂直方向に対しても同様に適用される。 In Figure 2, there is shown a perspective of the horizontal direction L0-L1 in order to simplify the description applies equally to the vertical direction.
透視補正マッピング部6は、ディスプレイリストの各メッシュのX,Y,Z,U,V座標に基づいて、メッシュに対する映像データのマッピング処理を行う。 Perspective correction mapping unit 6, based on X of each mesh of the display list, Y, Z, U, the V coordinates, performs the mapping processing of the video data for the mesh. 透視補正を行うために、以下の演算処理によりピクセルを生成する。 To perform fluoroscopy correction, it produces the pixels by the following processing. ここで、U',V',Z'はU/Z,V/Z,1/Zを線形補間した値である。 Here, U ', V', Z 'is a value obtained by linear interpolation U / Z, V / Z, 1 / Z.


これにより、各種遠近法により生成されたZ値に基づいた遠近間を映像に対して付加することができ、2次元平面の入力映像に対して、注目部分の拡大表示と遠近感表示により、分かりやすく強調させることができる。 Thus, the inter-perspective based on the Z value produced by various perspective can be added to the video, for the input image of the two-dimensional plane, the enlarged display and perspective view of the target portion, see it can be easy emphasized. こうして、表示画面を見る人は、意識することなく注目部分に自然と目が行くことになる。 Thus, a person viewing the display screen would go nature and eye in the target portion without being conscious. また、非注目部分は小さいながらも画面上に常に表示されるため、映像全体の状況や雰囲気を把握することが可能である。 The non-target portion is for always displayed on the screen while small, it is possible to grasp the overall picture situation and atmosphere.

描画エリア書き込み判定部5は、ディスプレイリストの注目度フラグ情報から優先順位の高いメッシュを優先して描画するよう判定する。 Drawing area write judging unit 5 judges as to draw with priority higher priority mesh prominence flag information of the display list. 優先度の高いメッシュについては、必ず毎フレームの描画を行い、優先度の低いメッシュについては、フレーム間引きを行いながら描画を行う。 For high-priority mesh performs a drawing of each frame without fail, for the low-priority mesh performs a drawing while performing frame thinning. 優先度の低いメッシュは、非注目エリアであり、フレーム落ちしても目立たないためである。 Low priority mesh is a non-interest area, is because inconspicuous be dropped frame.

これにより、メモリ帯域を抑えながらデフォルメの動画処理を実行することが可能となり、システムの貴重なメモリ資源を効率的に使用することができる。 Thus, while suppressing the memory bandwidth becomes possible to perform the moving image processing of deformation, it is possible to efficiently use the precious memory resources of the system. 特に、画像メモリがCPUなどと共用されたシステムにおいては非常に有効である。 In particular, it is very effective in a system in which the image memory is shared, such as a CPU. また、回路の動作率を低く抑えることができるため、消費電力を小さくすることが可能となる。 Moreover, since it is possible to reduce the operation rate of the circuit, it is possible to reduce the power consumption.

図3は、注目フラグの優先順位が高いものが複数ある場合(例えば、テレビ会議などで主要な発言者が複数いる場合)のメッシュ分割とメッシュ生成の例を示したものである(注目(1),(2)参照)。 3, if having a high priority target flag is more (e.g., if the dominant speaker in a television conference has multiple) illustrates an example of a mesh division and meshing (interest (1 ), (2) reference). 非注目の面積が小さすぎて潰れてしまわないようにある程度配慮しながら、最適な大きさの分割によりメッシュを生成する。 With consideration to some extent so that the area of ​​non-attention is not Shimawa collapse too small to generate a mesh by the division of the optimum size.
このように、メッシュの分割方式を変更することにより、注目エリアが複数発生した場合にも、対応が可能で、動的に動画をデフォルメさせて表示を行うことができる。 Thus, by changing the division of the mesh, when the area of ​​interest for multiple occurrences also, can correspond, it can be displayed dynamically by deformation video.

以上説明したように、実施の形態1の動画表示装置によれば、動画像から特定の注目エリアを検出する注目エリア検出部と、注目エリアを1つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なZ値を各メッシュ領域に対して生成し、Z値をディスプレイリストに付加する仮想Z値生成部と、メッシュ領域の優先度情報に基づいて、非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、描画エリア書き込み判定部の判定結果に基づいて、動 As described above, according to the moving image display device of the first embodiment, the target area detector for detecting a specific area of ​​interest from the moving image, the area of ​​interest as a single mesh region, a screen into a plurality of mesh regions split, the mesh information indicating the position in the screen of each mesh region, and the mesh generation section that creates a display list for registering the priority information of each mesh area, area of ​​interest and other non-target areas a virtual Z value generating unit which a virtual Z values ​​for adding a representation effect of perspective generated for each mesh region, adding Z values ​​in the display list between, based on the priority information of a mesh area Te, a drawing area write judging unit for judging thinning drawing frame for non-target area, based on the drawing area writing determination of the determination result, the dynamic 像を、Z値が付加されたディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたので、注目部分の滑らかな表示を行うことができると共に消費電力を抑えることができる。 An image, a mesh region unit set in the display list Z value is added, since a perspective correcting mapping unit that maps drawn while performing fluoroscopy correction, it is possible to perform smooth display of the target portion power consumption it is possible to suppress.

また、実施の形態1の動画表示装置によれば、注目エリアは拡大表示するエリアであり、非注目エリアは縮小表示を行うエリアであるようにしたので、より注目部分を分かりやすく強調表示することができる。 Further, according to the moving image display device of the first embodiment, attention area is an area to enlarge, because no interest area was such that the area for reduced display, highlighting clarity of more target portion can.

実施の形態2. The second embodiment.
図4は、実施の形態2の動画表示装置を示す構成図である。 Figure 4 is a block diagram showing a video display device of the second embodiment.
実施の形態2の動画表示装置は、実施の形態1の動画表示装置の構成に加えて、動画のデフォルメとGUI(グラフィカルユーザインタフェース)描画の合成表示を行うための手段を備えたものである。 Video display device of the second embodiment, in addition to the configuration of the moving image display device of the first embodiment, but provided with means for performing synthesis display videos deformation and GUI (Graphical User Interface) drawing. 図中、GUI描画部9は、メニュー、テロップ、アニメーションなどを2D(ベクターグラフィックスを含む)または3Dグラフィックス方式でフレームバッファ7へ描画を行う描画部である。 In the figure, GUI drawing unit 9 is a drawing unit for performing menu, ticker, the drawing to the frame buffer 7 and animation 2D (including vector graphics) or 3D graphics system. ピクセル合成部10は、透視補正マッピング部6からフレームバッファ7へ描画されたデフォルメ動画とGUI描画部9から描画されたGUI画像を画素単位に合成処理するよう構成されている。 Pixel combining unit 10 is configured to combine processing GUI images drawn from the perspective correcting mapping section deformed videos drawn to the frame buffer 7 from 6 and GUI drawing unit 9 for each pixel. また、描画エリア書き込み判定部5aは、実施の形態1の描画エリア書き込み判定部5の機能に加えて、GUI描画部で描画されたGUI画像のα値を書き込みマスク情報として透視補正マッピング部6における描画エリアの判定を行うよう構成されている。 The drawing area writing determination unit 5a, in addition to the function of the drawing area write judging unit 5 of the first embodiment, in perspective correction mapping unit 6 as a mask information write α value of the drawn GUI image in the GUI rendering unit It is configured to perform the determination of the drawing area. なお、図4において、映像バッファ1〜仮想Z値生成部4および透視補正マッピング部6〜ディスプレイ8は、図1に示した実施の形態1の構成と同様であるため、ここでの説明は省略する。 In FIG. 4, the video buffer 1 Virtual Z value generation unit 4 and the perspective correction mapping unit 6 to display 8 are the same as the configuration according to the first embodiment shown in FIG. 1, omitting the description here to.

図5は、図4のピクセル合成部10と描画エリア書き込み判定部5aの動作を説明するための図である。 Figure 5 is a diagram for explaining the operation of the pixel synthesis portion 10 in FIG. 4 drawing area writing determination unit 5a. GUI画像は、ARGB(32bit)のピクセルフォーマットでフレームバッファ7へ格納されるとする。 GUI image, and it is stored in the frame buffer 7 in pixel format ARGB (32bit). A要素の初期値は0であり、GUI描画部9により塗りつぶされた領域には255が書き込まれ、文字や図形などのアンチエイリアスのカバレッジ情報も書き込まれる。 The initial value of the A element is 0, the area filled by the GUI rendering unit 9 255 is written, is also written coverage information for antialiasing, such as characters and figures. ピクセル合成部10は、フレームバッファ7に格納されたGUI画像とデフォルメされたビデオ動画のピクセルデータを読み出し、RGBコンポーネントごとに以下のブレンド演算をリアルタイムに実行する。 Pixel combining unit 10 reads the GUI image and deformed a video movie pixel data stored in the frame buffer 7, to perform the following blend operations per RGB component in real time. ここで、AはGUI画像のα値、CsはGUI画像のRGB値、Cdはデフォルメ画像のRGB値である。 Here, A is α values ​​in the GUI image, Cs is the RGB values ​​in the GUI image, Cd is the RGB values ​​of the deformation image.

A*Cs+(255−A)*Cd A * Cs + (255-A) * Cd
また、Aは画面における画素単位のマスク情報として、デフォルメされたビデオ画像の書き込みを判定する描画エリア書き込み判定部5aへも送られる。 Also, A is as mask information in units of pixels on the screen, also sent to the determined drawing area write judging unit 5a writing deformed video images. A=255が設定された領域は、GUI画像のみが表示されビデオ画像は表示されないため、ビデオ画像の描画処理を省略するよう透視補正マッピング部6に指示する。 Area A = 255 is set, since only the GUI image is displayed video image is not displayed, it instructs the perspective correction mapping unit 6 so as to omit the drawing processing of the video image. 一方、A<>255が設定された領域に対しては、ビデオ画像の書き込みを実行する。 On the other hand, with respect to the region A <> 255 is set, it executes writing of the video image.

これにより、メニューやテロップの文字や図形の輪郭部においてアンチエイリアス処理を背景のビデオ画像に対してリアルタイムに施すことができる。 Thus, it is possible to perform real-time anti-aliasing processing to the background of the video image in the contour of the menus and telop characters and figures. 背景ビデオに対して、文字だけを切り出して合成することも可能となり、GUI画像とビデオ画像の高品質な合成表示を実現できる。 Against the background video, it becomes possible to synthesize cut out the character only, it is possible to realize a high-quality synthetic display of the GUI image and video image. また、デフォルメされたビデオ画像をフレームバッファ7へ描画するときに、GUI画像に隠れて表示されないエリアについては、予め描画処理をマスクすることにより、透視補正マッピング部6は不必要な描画処理を省略できる。 Also, omitted when drawing deformed video image to the frame buffer 7, the area not displayed hidden GUI image, by masking the advance drawing process, the perspective correction mapping unit 6 unnecessary drawing process it can. この結果、コマ落ちの性能劣化を防ぎメモリ帯域を有効に活用できると同時に、システム全体の消費電力を削減することが可能となる。 As a result, at the same time it can be effectively utilized memory bandwidth to prevent performance deterioration of dropped frames, it becomes possible to reduce the power consumption of the entire system.

以上説明したように、実施の形態2の動画表示装置によれば、グラフィカルユーザインタフェースのためのGUI画像を描画するGUI描画部と、透視補正マッピング部によって描画された画像とGUI画像とを、GUI画像のα値に基づいて合成するピクセル合成部とを備えたので、GUI画像を合成する場合でもシステム全体の消費電力を削減することができる。 As described above, according to the moving image display device of the second embodiment, the GUI rendering unit that renders a GUI image for a graphical user interface, the image and the GUI image drawn by the perspective correction mapping unit, GUI since a pixel synthesis unit for synthesizing on the basis of the α value of the image, it is possible to reduce the power consumption of the entire system even when synthesizing a GUI image.

実施の形態3. Embodiment 3.
図6は、実施の形態3の動画表示装置を示す構成図である。 Figure 6 is a block diagram showing a video display device of the third embodiment.
実施の形態3の動画表示装置は、実施の形態2の動画表示装置の構成に加えて、デフォルメされたビデオ画像とGUI画像の合成表示の同期制御を行うための手段を備えたものである。 Video display device of the third embodiment, in addition to the configuration of the moving image display device of Embodiment 2, but provided with means for performing synthesis display synchronization control of deformed video image and the GUI image. 図中、合成同期制御部11は、GUIのアニメーション画像をデフォルメされたビデオ画像に同期を合わせるための制御部である。 In the figure, the synthetic synchronization control unit 11 is a control unit for aligning the synchronous animated images of the GUI deformed video images. この合成同期制御部11は、デフォルメされたビデオ画像の垂直同期信号(VSYNC)に合わせて、GUI描画部9からの描画コマンドを発行開始することにより、ビデオ画像とGUIアニメーションの描画を同期させる。 This synthetic synchronization control unit 11, in accordance with the vertical synchronizing signal of the deformed video images (VSYNC), by starting issues a drawing command from the GUI rendering unit 9 synchronizes the rendering of the video image and the GUI animation. なお、図6において、映像バッファ1〜ピクセル合成部10は、図4に示した実施の形態2の構成と同様であるため、ここでの説明は省略する。 In FIG. 6, the video buffer 1 pixel synthesis unit 10 is the same as the configuration of the second embodiment shown in FIG. 4, the description thereof is omitted here.

次に、実施の形態3の動画表示装置の動作について説明する。 Next, the operation of the video display device of the third embodiment.
メモリ帯域が不足して、デフォルメされたビデオ画像またはGUIアニメーション画像のどちらか一方のコマ落ちが発生する場合、合成同期制御部11は、GUI描画部9によるGUIアニメーションのための描画処理の優先度を落とす。 Memory bandwidth is insufficient, the case where either dropped frames deformed video image or GUI animation image is generated, combining the synchronization control unit 11, the priority of the rendering process for the GUI animation by the GUI rendering unit 9 the drop. これにより、透視補正マッピング部6におけるデフォルメされたビデオ画像のフルレート描画を優先させることができる。 Thus, the full-rate draw deformed video images in the perspective correcting mapping unit 6 can be prioritized. この際、フレームバッファ7の図示しないバス調停回路は、デフォルメされたビデオ画像の描画アクセスが発生した場合、GUIアクセス要求を受け付けない。 At this time, a bus arbitration circuit (not shown) of the frame buffer 7, when rendering access deformed video image is generated, does not accept the GUI access request. ビデオ画像のひとかたまりデータのアクセス(例えば1スキャンラインなど)が完了後、GUIからのアクセス要求を受け付け、GUI描画部9からのGUI描画を許可する。 After accessing the lumped data of the video image (e.g., one scan line) is complete, it receives an access request from the GUI, to permit the GUI rendering from the GUI rendering unit 9. また、ピクセル合成部10は、GUI描画部9からの描画が完了するまでは、直前のGUI画像を読み続けることにより、合成処理を行う。 Further, the pixel combining unit 10, until the drawing from the GUI rendering unit 9 is completed, by continuing to read the previous GUI image synthesis processing is performed.

以上説明したように、実施の形態3の動画表示装置によれば、メモリ帯域の負荷が大きい場合、GUI画像の描画の優先度を透視補正マッピング部による画像の描画よりも低くしてピクセル合成部における合成を制御する合成同期制御部を備えたので、メモリ帯域の負荷が重くなった場合でも、デフォルメされたビデオ画像表示をコマ落ちさせることなく、GUIとの合成表示を実現することが可能となる。 As described above, according to the moving image display device of the third embodiment, when the load of the memory bandwidth is large, the pixel composition unit to be lower than the drawing of the image by the priority perspective correction mapping unit of the rendering of the GUI image since with composite synchronization control unit for controlling the synthesis in, even when the load of the memory bandwidth becomes heavy, without causing dropping frames displayed deformed video images, it can be realized a composite display of the GUI and Become.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 Incidentally, the present invention is within the scope of the invention, it is possible to omit any component deformation or in each of the embodiments of any of the components of a free combination, or each of the embodiments, the respective embodiments .

1 映像バッファ、2 注目エリア検出部、3 メッシュ生成部、4 仮想Z値生成部、5,5a 描画エリア書き込み判定部、6 透視補正マッピング部、7 フレームバッファ、8 ディスプレイ、9 GUI描画部、10 ピクセル合成部、11 合成同期制御部。 1 video buffer, 2 target area detector, 3 mesh generator, 4 virtual Z value generating unit, 5, 5a drawing area write judging unit, 6 a perspective correction mapping unit, 7 the frame buffer, 8 displays, 9 GUI drawing unit, 10 pixel combining unit, 11 synthetic synchronization control unit.

Claims (4)

  1. 動画像から特定の注目エリアを検出する注目エリア検出部と、 And attention area detector for detecting a specific area of ​​interest from the moving image,
    前記注目エリアを1つのメッシュ領域として、画面を複数のメッシュ領域に分割し、それぞれのメッシュ領域の画面内の位置を示すメッシュ情報と、前記それぞれのメッシュ領域の優先度情報とを登録するディスプレイリストを作成するメッシュ生成部と、 The area of ​​interest as a single mesh region, the display list the screen is divided into a plurality of mesh regions, and registers the mesh information indicating the position in the screen of each mesh region, and the priority information of each mesh region and the mesh generation unit to create,
    前記注目エリアとそれ以外の非注目エリアの間で遠近感の表現効果を付加するための仮想的なZ値を各メッシュ領域に対して生成し、当該Z値を前記ディスプレイリストに付加する仮想Z値生成部と、 A virtual Z values ​​for adding a representation effect of perspective between the target area and the other non-target area generated for each mesh region, adding the Z value to the display list virtual Z and the value generating unit,
    前記メッシュ領域の優先度情報に基づいて、前記非注目エリアに対するフレームの間引き描画の判定を行う描画エリア書き込み判定部と、 And on the basis of the priority information of the mesh area, the drawing area write judging unit for judging thinning drawing frame for non-target area,
    前記描画エリア書き込み判定部の判定結果に基づいて、前記動画像を、前記Z値が付加されたディスプレイリストに設定されたメッシュ領域単位に、透視補正を施しながらマッピング描画を行う透視補正マッピング部とを備えたことを特徴とする動画表示装置。 Based on the drawing area writing determination of the determination result, the moving image, the mesh region unit set in the display list to the Z value is added, and the perspective correction mapping unit that maps drawn while performing fluoroscopy correction video display apparatus comprising the.
  2. グラフィカルユーザインタフェースのためのGUI画像を描画するGUI描画部と、 A GUI drawing unit for drawing a GUI image for a graphical user interface,
    透視補正マッピング部によって描画された画像と前記GUI画像とを、当該GUI画像のα値に基づいて合成するピクセル合成部とを備えたことを特徴とする請求項1記載の動画表示装置。 Perspective correction mapping unit and image drawn by the said GUI image, moving picture display apparatus according to claim 1, characterized in that a pixel synthesis unit for synthesizing on the basis of the α value of the GUI image.
  3. メモリ帯域の負荷が大きい場合、GUI画像の描画の優先度を透視補正マッピング部による画像の描画よりも低くしてピクセル合成部における合成を制御する合成同期制御部を備えたことを特徴とする請求項2記載の動画表示装置。 If the load of the memory bandwidth is large, according to, comprising the synthetic synchronization control unit for controlling the synthesis in pixel composition unit to be lower than the drawing of the image based on the perspective correcting mapping unit priorities of GUI image drawing video display device of claim 2 wherein.
  4. 注目エリアは拡大表示するエリアであり、非注目エリアは縮小表示を行うエリアであることを特徴とする請求項1から請求項3のうちのいずれか1項記載の動画表示装置。 Attention area is an area to enlarge, the moving picture display apparatus according to any one of claims 3 non-interest area claim 1, characterized in that the area for the thumbnail.
JP2012050487A 2012-03-07 2012-03-07 Moving picture display device Pending JP2013186247A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012050487A JP2013186247A (en) 2012-03-07 2012-03-07 Moving picture display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050487A JP2013186247A (en) 2012-03-07 2012-03-07 Moving picture display device

Publications (2)

Publication Number Publication Date
JP2013186247A true JP2013186247A (en) 2013-09-19
JP2013186247A5 JP2013186247A5 (en) 2015-01-08

Family

ID=49387735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050487A Pending JP2013186247A (en) 2012-03-07 2012-03-07 Moving picture display device

Country Status (1)

Country Link
JP (1) JP2013186247A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166229A (en) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 Head-up display device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6390281A (en) * 1986-10-03 1988-04-21 Nippon Abionikusu Kk Monitor video composing and displaying method
JPH06274586A (en) * 1993-03-22 1994-09-30 Mitsubishi Electric Corp Displaying system
JPH06290275A (en) * 1993-04-02 1994-10-18 Fuji Electric Co Ltd Graphic display device
JPH07181951A (en) * 1993-10-27 1995-07-21 Xerox Corp Picture display method and picture display and picture scaling method
JPH10285566A (en) * 1997-04-02 1998-10-23 Airesu Denshi Kogyo Kk Image communication method, image receiver, image transmitter and image communication equipment
JP2000010705A (en) * 1998-06-17 2000-01-14 Nec Corp Output image deforming system and record medium recording program for output image deformation
JP2003259361A (en) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd Image processing apparatus for vehicle
JP2009017007A (en) * 2007-07-02 2009-01-22 Denso Corp Image display device and in-vehicle image display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6390281A (en) * 1986-10-03 1988-04-21 Nippon Abionikusu Kk Monitor video composing and displaying method
JPH06274586A (en) * 1993-03-22 1994-09-30 Mitsubishi Electric Corp Displaying system
JPH06290275A (en) * 1993-04-02 1994-10-18 Fuji Electric Co Ltd Graphic display device
JPH07181951A (en) * 1993-10-27 1995-07-21 Xerox Corp Picture display method and picture display and picture scaling method
JPH10285566A (en) * 1997-04-02 1998-10-23 Airesu Denshi Kogyo Kk Image communication method, image receiver, image transmitter and image communication equipment
JP2000010705A (en) * 1998-06-17 2000-01-14 Nec Corp Output image deforming system and record medium recording program for output image deformation
JP2003259361A (en) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd Image processing apparatus for vehicle
JP2009017007A (en) * 2007-07-02 2009-01-22 Denso Corp Image display device and in-vehicle image display device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015041403; 井口信和、床井浩平、内尾文隆: '「分散ネットワーク環境における技術相談のための画像QoS設定機能」' 情報処理学会論文誌 第41巻第9号, 20000915, pp.2651-2660, 社団法人情報処理学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166229A (en) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 Head-up display device

Similar Documents

Publication Publication Date Title
US9392167B2 (en) Image-processing system, image-processing method and program which changes the position of the viewing point in a first range and changes a size of a viewing angle in a second range
US9117384B2 (en) System and method for bendable display
JP3177221B2 (en) A method and apparatus for displaying an interesting scene of the image
US20090168027A1 (en) Projector system employing depth perception to detect speaker position and gestures
US6654020B2 (en) Method of rendering motion blur image and apparatus therefor
CN102246202B (en) The image display apparatus, image display method and a program
US7821517B2 (en) Video processing with multiple graphical processing units
JP4043518B2 (en) System and method for generating and displaying a complex graphic images at a constant frame rate
US6882346B1 (en) System and method for efficiently rendering graphical data
KR101281258B1 (en) Graphics processing unit with deferred vertex shading
JP2003531445A (en) System and method for generating a visual display of graphical data and digital document processing
US7342588B2 (en) Single logical screen system and method for rendering graphical data
JP2002123842A (en) Device for generating stereoscopic image, and medium for recording information
AU2008204084B2 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
JP6392370B2 (en) For changing the viewport under various rendering and rasterization parameters, efficient re-rendering method of an object
JP2000251094A (en) Device and method for processing image
US20040001163A1 (en) Method and apparatus for processing on-screen display data displayed on screen
JP5792607B2 (en) Image processing apparatus and image processing method
US7173619B2 (en) Matching digital information flow to a human perception system
US7697751B2 (en) Use of ray tracing for generating images for auto-stereo displays
JPH09161100A (en) Display method and device
EP1316064B1 (en) Scaling images
KR100860150B1 (en) Spatio-temporal generation of motion blur
US6788309B1 (en) Method and apparatus for generating a video overlay
US20030011636A1 (en) Method for magnifying images on a display screen and an interactive television guide system implementing the method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160524