JP2015228588A - Video processing apparatus, control method of the same, and program - Google Patents
Video processing apparatus, control method of the same, and program Download PDFInfo
- Publication number
- JP2015228588A JP2015228588A JP2014113343A JP2014113343A JP2015228588A JP 2015228588 A JP2015228588 A JP 2015228588A JP 2014113343 A JP2014113343 A JP 2014113343A JP 2014113343 A JP2014113343 A JP 2014113343A JP 2015228588 A JP2015228588 A JP 2015228588A
- Authority
- JP
- Japan
- Prior art keywords
- video processing
- video
- memory
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 274
- 238000000034 method Methods 0.000 title claims description 27
- 230000006870 function Effects 0.000 claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、映像処理時に中間フレームをメモリに書き込む映像処理装置に関し、特に実施する映像処理に応じて同期タイミングの載せ替えを行う箇所を変更する制御技術に関する。 The present invention relates to a video processing apparatus that writes an intermediate frame to a memory at the time of video processing, and more particularly to a control technique for changing a place where a synchronization timing is replaced according to video processing to be performed.
近年、映像処理装置において、映像処理LSI(Large Scale Integration)の開発コスト上昇に伴い、同一の映像処理プロセッサを用いて複数の異なる処理を行うケースがある。例えば、一つの映像処理装置が、液晶モニタとプロジェクタなどの異なる出力機器に対して映像を提供するために、同一の映像処理LSIを用いて映像処理を行うケースがある。この場合、該映像処理装置は、各出力機器で共通の映像処理と出力機器の特性に応じて別個の映像処理とを切り替えて実施することにより、同一のLSIを用いて各出力機器に適した映像処理を実施することが可能となる。例えば、出力機器がプロジェクタである場合、映像処理装置は出力映像を投影対象の形状に合わせて変形する幾何変形処理を実施するが、出力機器が液晶モニタである場合、このような処理を必要としない。逆に、出力機器が液晶モニタである場合、映像処理装置は領域毎の表示特性に応じたバックライト制御処理を実施するが、出力機器がプロジェクタである場合、このような処理を必要としない。このように、映像処理装置は対象とする出力機器毎に処理を切替えることで、LSIの共通化を実現している。 2. Description of the Related Art In recent years, there are cases where a video processing apparatus performs a plurality of different processes using the same video processing processor as the development cost of video processing LSI (Large Scale Integration) increases. For example, there is a case where one video processing apparatus performs video processing using the same video processing LSI in order to provide video to different output devices such as a liquid crystal monitor and a projector. In this case, the video processing apparatus is suitable for each output device using the same LSI by switching between video processing common to each output device and separate video processing according to the characteristics of the output device. Video processing can be performed. For example, when the output device is a projector, the video processing apparatus performs a geometric deformation process for deforming the output video according to the shape of the projection target. However, when the output device is a liquid crystal monitor, such a process is necessary. do not do. Conversely, when the output device is a liquid crystal monitor, the video processing device performs backlight control processing according to the display characteristics for each region, but when the output device is a projector, such processing is not necessary. As described above, the video processing apparatus realizes commonality of LSIs by switching processing for each target output device.
また、出力機器の表示パネルの高解像度化に伴い、一つの映像処理装置において映像処理に要するメモリ帯域が増加している。例えば、表示解像度がFull−HD(Full−High−Definition:1920×1080画素)から4K2K(4096×2160画素)へと拡大する場合を考える。この場合、映像処理装置が同一LSIを用いた処理を実施する場合、4倍強のメモリ帯域が必要とされる。このように、映像処理装置において映像処理に要するメモリ帯域は増加している。 Further, as the resolution of the display panel of the output device is increased, the memory bandwidth required for video processing in one video processing device is increasing. For example, consider a case where the display resolution is expanded from Full-HD (Full-High-Definition: 1920 × 1080 pixels) to 4K2K (4096 × 2160 pixels). In this case, when the video processing apparatus performs processing using the same LSI, a memory band slightly more than four times is required. Thus, the memory bandwidth required for video processing in the video processing device is increasing.
また、出力機器の表示パネルの解像度の向上や、映像処理装置の映像処理の高機能化に伴い、一つの映像処理装置に、入力された複数の映像信号を1画面上にレイアウトする機能なども搭載されることが多い。例えば、特許文献1においては、複数のフレームデータ(入力信号)を一旦メモリに格納し、タイミング生成部から出力されるタイミングに合わせて1画面に合成する装置が提案されている。特許文献1によれば、互いに同期していない複数のフレームデータの合成に際し、フレームスキップ(フレーム落ち)の発生頻度を低減した画像合成が実現される。しかしながら、特許文献1では、複数の信号が1画面に合成される際、フレームメモリを用いた合成処理が行われるため、メモリ帯域が増加する。このように、映像処理の高度化により、必要となるメモリ帯域は増加の一途を辿っている。 In addition, with the improvement of the resolution of the display panel of the output device and the enhancement of the video processing of the video processing device, there is also a function for laying out a plurality of input video signals on one screen on one video processing device. Often installed. For example, Patent Document 1 proposes an apparatus that temporarily stores a plurality of frame data (input signals) in a memory and combines them into one screen in accordance with the timing output from the timing generation unit. According to Japanese Patent Application Laid-Open No. 2004-228620, image synthesis with reduced frequency of frame skipping (frame dropping) is realized when synthesizing a plurality of frame data that are not synchronized with each other. However, in Patent Document 1, when a plurality of signals are combined on one screen, since a combining process using a frame memory is performed, the memory band increases. Thus, with the advancement of video processing, the required memory bandwidth is steadily increasing.
入力映像を処理して出力機器の表示パネルに映像を出力する映像処理装置は、映像を出力する際、入力同期タイミングを内部同期タイミングへ、内部同期タイミングを出力同期タイミングへ載せ替える、載せ替え処理を実施することが多い。ここで、出力同期タイミングは、映像を出力する出力機器のパネルの特性によって決定されるため、映像処理装置から出力される出力信号の解像度やフレームレートは出力機器により異なる。また、内部同期タイミングは、入出力同期タイミングや実施する機能により異なる。一般に、映像処理装置は、入力同期タイミングから内部同期タイミングへの載せ替えを最初のメモリアクセスを行う映像処理部にて実施し、内部同期タイミングから出力同期タイミングへの載せ替えを最後のメモリアクセスを行う映像処理部で実施する。 The video processing device that processes the input video and outputs the video to the display panel of the output device replaces the input synchronization timing with the internal synchronization timing and the internal synchronization timing with the output synchronization timing when outputting the video. Is often implemented. Here, since the output synchronization timing is determined by the characteristics of the panel of the output device that outputs the video, the resolution and frame rate of the output signal output from the video processing device differ depending on the output device. The internal synchronization timing varies depending on the input / output synchronization timing and the function to be performed. In general, the video processing device performs the transfer from the input synchronization timing to the internal synchronization timing in the video processing unit that performs the first memory access, and performs the transfer from the internal synchronization timing to the output synchronization timing for the last memory access. This is performed by the video processing unit to be performed.
一方で、出力機器やパネル種別、実施する機能等により、映像処理装置においてメモリアクセスが実施される箇所は変動する。これに対し、映像処理装置は、上記の載せ替え処理を常に同一箇所で実施する場合、実施する機能によっては、直接の映像処理目的ではなく、タイミング載せ替え目的のみのメモリアクセスが実施されてしまう。これにより、不要なメモリ容量やメモリ帯域の増加を招いてしまうという問題がある。 On the other hand, the location where the memory access is performed in the video processing apparatus varies depending on the output device, the panel type, the function to be performed, and the like. On the other hand, when the video processing apparatus always performs the above-described replacement process at the same location, depending on the function to be performed, memory access is performed only for the purpose of timing replacement, not for the purpose of direct video processing. . As a result, there is a problem that unnecessary memory capacity and memory bandwidth are increased.
本発明は、上記課題に鑑みて為されたものであり、メモリ容量やメモリ帯域の増加を防ぐことを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to prevent an increase in memory capacity and memory bandwidth.
上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を有する。すなわち、入力された映像信号に対して映像処理を行う複数の映像処理手段と、所望の映像処理機能に応じて前記複数の映像処理手段のうちメモリへのアクセスを行う映像処理手段を選択する選択手段、とを有し、前記選択手段により選択された映像処理手段は前記メモリへのアクセスを介した前記映像処理を行うことを特徴とする。 As a means for achieving the above object, the video processing apparatus of the present invention has the following configuration. That is, a selection of a plurality of video processing means for performing video processing on the input video signal and a video processing means for accessing the memory among the plurality of video processing means according to a desired video processing function And the video processing means selected by the selection means performs the video processing via access to the memory.
メモリ容量やメモリ帯域の増加を防ぐことが可能となる。 An increase in memory capacity and memory bandwidth can be prevented.
以下、本発明に係る実施形態について、添付の図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 Embodiments according to the present invention will be described below with reference to the accompanying drawings. The following embodiments do not limit the present invention related to the scope of claims, and all combinations of features described in the present embodiments are essential to the solution means of the present invention. Not necessarily.
<第一実施形態>
●映像処理回路の構成
以下、第一実施形態における映像処理装置を構成する映像処理回路の構成に関して説明する。図1は、本実施形態における映像処理回路10の概略の構成を示すブロック図である。本実施形態においては、映像処理回路10は4系統の映像信号を入力可能なインターフェイスを具備するとして説明するが、それに限るものではない。映像処理回路10は、入力のために、例えばHDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Visual Interface)、DisplayPortなどの入力インターフェイスを備える。もしくは、映像処理回路10は、不図示のデコーダによりデコードされたMPEG(Moving Picture Experts Group)等のエンコードストリーム信号を入力可能な構成としても良い。
<First embodiment>
Configuration of Video Processing Circuit The configuration of the video processing circuit constituting the video processing device in the first embodiment will be described below. FIG. 1 is a block diagram showing a schematic configuration of a
映像処理回路10に入力された映像信号は、まず入力部11に入力される。入力部11は、不図示のフレームメモリアクセス部を持ち、以下の三つの機能を具備する。第一の機能として、入力部11は、入力された4系統の映像信号のうちいずれかを選択し、第一映像処理部12へ出力する選択機能を具備する。第二の機能として、入力部11は、複数分割された入力映像信号を結合する機能を具備する。図2は、入力映像信号の結合動作を示す図である。図2に示すように、例えば、入力された4つの映像信号が1つの映像信号が分割された映像信号である場合、入力部11は、4つの映像信号をバス15を介してメモリ16へ格納する。その際、入力部11は、メモリ16上にて4つの映像を1つの映像へ結合する。その後、入力部11は、同期信号生成部17により生成されて供給された同期信号SyncAに同期して、1つの映像信号としてメモリ16より読み出し、第一映像処理部12へ出力する。
The video signal input to the
第三の機能として、入力部11は、入力映像信号をシリアライズする機能を具備する。入力された4つの映像信号が独立した別個の映像信号であり、これらの映像信号に対応した4画面のレイアウト表示を実現する場合、入力部11は、各映像信号をバス15を介してメモリ16へ格納する。その後、入力部11は、同期信号生成部17から供給された同期信号SyncAに同期して、4つの入力映像を1フレーム毎交互に(シリアライズに)メモリ16より読み出し、それぞれ別個の識別符号を付加してから、第一映像処理部12へ出力する。入力部11は、これらの第一乃至第三の機能を選択的に実施する。
As a third function, the
第一映像処理部12は、メモリ16を介した映像処理を実施する。本実施形態においては、第一映像処理部12は、IP変換(インターレース・プログレッシブ変換)と解像度変換処理を行うことが可能である。第一映像処理部12に入力された映像信号は、不図示のフレームメモリアクセス部を介し、メモリ16に書き込まれる。その後、映像信号がインターレース信号である場合、第一映像処理部12は、同期信号生成部17により生成されて供給された同期信号SyncBに従い、メモリ16に格納されている複数フレームの映像信号を読み出し、IP変換処理を実施する。4つの映像信号が映像処理回路10に入力されている場合、第一映像処理部12は、入力部11の第三の機能により付加された識別符号に応じて、別個の処理を実施することが出来る。第一映像処理部12は、プログレッシブ信号に変換後、解像度変換処理を実施することによって、映像信号を所望の解像度へと成形する。第一映像処理部12は、解像度変換処理を実施する際に入力映像の有効領域を縮小する場合、入力レートより低いレートの有効領域を出力する。
The first
第一映像処理部12から出力された映像信号は、第一経路選択部18へと入力される。第一経路選択部18は、後述するレイアウト部13を迂回する経路Aと、レイアウト部13を経由する経路Bを選択する選択回路によって構成され、不図示の制御部の指示によりこれらの経路を切替える。
The video signal output from the first
レイアウト部13は、入力された複数の映像信号を、1つの画面上にレイアウトする機能を有する。例えば4つの映像信号が映像処理回路10に入力された場合、レイアウト部13は、これらの映像信号を1画面にレイアウトすることができる。この場合、入力された4つの映像は、それぞれ不図示のフレームメモリアクセス部とバス15を介し、メモリ16に格納される。その後、レイアウト部13は、不図示の制御部より合成座標の指定を受け、同期信号生成部17により生成されて供給された同期信号SyncCに同期し、出力画面の所定の座標に4つの映像信号をレイアウトして出力する。なお、第一経路選択部18が経路Aを選択している場合、レイアウト部13は、処理を停止する。
The
第二経路選択部19は、後述する第二映像処理部14を迂回する経路Cと、第二映像処理部14を経由する経路Dを選択する選択回路により構成され、不図示の制御部の指示によりこれらの経路を切替える。第二経路選択部19から出力された映像信号は、映像処理回路10より出力され、不図示の外部の出力機器へと接続され、該出力機器の表示パネルに表示される。ここで表示パネルとして、液晶やプラズマ、有機EL(Electro-Luminescence)等の直視型パネルや、LCOS(Liquid crystal on silicon)やDLP(Digital Light Processing)等の投影機用反射パネル等を用いることが出来る。
The second
第二映像処理部14は、入力された映像信号に対しメモリ16を介した映像処理を実施する。本実施形態においては、第二映像処理部14は、幾何変形処理を行うことが可能である。第二映像処理部14は、入力された映像信号に対し、不図示の制御部により指定された形状への幾何変形処理を実施し、処理後の映像信号を不図示のフレームメモリアクセス部とバス15を介してメモリ16に書き込む。その後、第二映像処理部14は、同期信号生成部17により生成されて供給された同期信号SyncDに同期してメモリ16より映像信号を読み出し、出力する。なお、第二経路選択部19が経路Cを選択している場合、第二映像処理部14は、処理を停止する。
The second
同期信号生成部17は、前述の入力部11、第一映像処理部12、レイアウト部13、第二映像処理部14に対し、メモリ16へのアクセスタイミングを制御する同期信号SyncA乃至Dを生成し、送信する。同期信号生成部17は、機能に応じて夫々別個の同期信号SyncA乃至Dを生成することが可能である。同期信号生成部17は、1系統の入力信号に対して同期信号を生成する場合、入力部11に入力される映像信号から同期信号を取得し、入力信号に対し表示パネルに出力するための同期信号がロックするように、該取得した同期信号の位相を調整する。
The synchronization
次に、本実施形態による映像処理回路10の動作を、前述した入力部11の第一乃至第三の機能と関連させて説明する。なお、本実施形態による映像処理回路10は、所望の映像処理機能に応じて必要な映像処理が不図示の選択制御部により選択され、該選択に応じた動作を行うものとする。
Next, the operation of the
●投影機にて1画面表示を実施(第一の機能の実施形態)
入力部11が第一の機能を実施する場合の例として、出力対象が投影機(プロジェクタ)である場合の映像処理回路10の構成を説明する。図3は、投影機の表示パネルにて1画面表示を実施する際の映像処理回路10の構成を示すブロック図である。映像処理回路10に入力された第一映像信号は、入力部11に入力される。入力部11は、第一の機能である入力信号のセレクタとして動作し、第一映像信号を第一映像処理部12に出力する。また同時に、入力部11は、第一映像信号に含まれる同期信号を同期信号生成部17へ出力する。同期信号生成部17は、入力された映像信号の同期信号の同期タイミングが、不図示の表示パネルの同期タイミングの制約を満たすか否かを判断する。
● One screen display on the projector (Embodiment of the first function)
As an example of the case where the
例えば、入力信号が1920×1080画素、60i(60は垂直周波数、iはインターレース)の信号であり、表示パネルが1920×1080画素で、動作周波数が95Hz乃至125Hzである場合を考える。この場合、同期信号生成部17は、SyncBに対し1920×1080画素で周波数60Hzの同期信号、SyncDに対し1920×1080画素で周波数120Hzの同期信号を生成し、出力する。ここで、メモリ16へのアクセス処理を実施しない入力部11とレイアウト部13はそれぞれ同期信号SyncAとSyncCを使用しないため、同期信号生成部17は、同期信号SyncAとSyncCを必ずしも出力する必要はない。
For example, consider a case where the input signal is a 1920 × 1080 pixel, 60i (60 is vertical frequency, i is interlaced) signal, the display panel is 1920 × 1080 pixel, and the operating frequency is 95 Hz to 125 Hz. In this case, the synchronization
第一映像処理部12は、入力部11より入力された映像信号をメモリ16へ格納する。その後、第一映像処理部12は、同期信号生成部17より入力される同期信号SyncBに同期し、メモリ16に格納された複数フレームの映像信号を読み出し、IP変換処理を実施する。IP変換処理後、第一映像処理部12は、映像信号を第一経路選択部18へ出力する。
The first
第一経路選択部18は、第一映像処理部12より入力された映像信号を、レイアウト部13へ入力させるか迂回させるかの選択を行う。本機能の実施形態において、入力は1系統であるためレイアウト処理は不要である。そのため、不図示の制御部は第一経路選択部18に対し、経路Aを設定する。これに応じて、第一経路選択部18は、第一映像処理部12より入力された映像信号を、レイアウト部13を迂回して、第二経路選択部19へ出力する。第二経路選択部19は、第一経路選択部18より入力された映像信号を、第二映像処理部14に入力させるか迂回させるかを選択する。ここで本機能の実施形態では投影機への出力が想定されているため、幾何変形処理が可能である第二映像処理部14を用いる必要がある。よって、不図示の制御部は第二経路選択部19の経路を経路Dに設定する。これに応じて、第二経路選択部19は、第一経路選択部18より入力された映像信号を第二映像処理部14へ出力する。
The first
第二映像処理部14は、入力された映像信号に対して幾何変形を施し、メモリ16に処理結果を格納する。その後、第二映像処理部14は、同期信号生成部17が生成した、不図示の表示パネルへの出力タイミングであるSyncDのタイミングにて映像信号をメモリ16より読み出し、投影機への出力を行う。以上より、第一の機能の実施形態においては、図3の斜線で示す第二映像処理部14が出力同期タイミングへの載せ替えを実施している。
The second
●モニタにて4入力を1画面表示(第二の機能の実施形態)
次に、入力部11が第二の機能を実施する場合の例として、出力対象がモニタである場合の映像処理回路10の構成を説明する。図4は、モニタの表示パネルにて4入力の1画面表示を実施する際の映像処理回路10の構成を示すブロック図である。図4において示される第一乃至第四映像信号は、図2に示されように、1つの映像信号から異なる信号線に分割されたものである。入力部11は、第二の機能を用いて、入力された第一乃至第四映像信号をメモリ16上で結合する。それと同時に、入力部11は、第一乃至第四映像信号に含まれる同期信号を、同期信号生成部17へ転送する。
● Displays 4 inputs on a monitor on a single screen (second function embodiment)
Next, as an example of the case where the
同期信号生成部17は、入力された複数の同期信号より基準となる同期信号を選択し、それを基に同期信号SyncA乃至Dを生成する。ここで、入力信号がそれぞれ2048×1080画素、60iであり、表示パネルが3840×2160画素で動作周波数47乃至65Hzである場合を考える。この場合、同期信号生成部17は、SyncA、Bに対し、4096×2160画素で周波数60Hzの同期信号、SyncDに対し3840×2160画素で周波数60Hzの同期信号を生成し、出力する。第二の機能の実施形態において、レイアウト部13はメモリアクセスを行わず同期信号を使用しないため、同期信号生成部17は、SyncCを必ずしも出力する必要はない。
The synchronization
入力部11は、同期信号生成部17より入力されるSyncAに同期し、結合した入力映像をメモリ16より読み出し、第一映像処理部12へ入力する。第一映像処理部12は、入力された映像信号をメモリ16へ格納する。その後、第一映像処理部12は、同期信号生成部17より入力される同期信号SyncBに同期し、メモリ16より格納されている複数フレーム分の映像信号を用いてIP変換を実施する。また、入力された映像信号の解像度が表示パネルの解像度よりも大きいため、第一映像処理部12は、表示パネルの解像度に合わせ縮小処理を施す。ここで、第一映像処理部12は、アスペクトを維持して縮小する場合、出力解像度は3840×2025画素に縮小する。処理後、第一映像処理部12は、第一経路選択部18へ映像信号を出力する。
The
第一経路選択部18は、本機能の実施形態では入力は1系統であるため、レイアウト処理は不要である。そのため、不図示の制御部は第一経路選択部18に対し、経路Aを設定する。これに応じて、第一経路選択部18は、第一映像処理部12より入力された映像信号を、レイアウト部13を迂回して、第二経路選択部19へ出力する。第二経路選択部19へ入力された映像信号は、第一映像処理部12の縮小処理により、垂直方向に135ライン(2160画素(表示パネルの解像度)−2025画素(第一映像処理部12の出力解像度))のライン抜けのある映像信号として第二経路選択部19へ到達している。このような信号に対し、第二映像処理部14は、出力する表示パネルに適した出力同期タイミングへの載せ替え処理を実施する。
In the embodiment of this function, the first
第二映像処理部14は、入力信号に対し、垂直方向に不足する135ラインの領域に対して、例えば上下に黒領域を付加することにより画像拡張処理し、メモリ16へ格納する。本機能の実施形態においては、出力機器が投影機ではないため、第二映像処理部14は、前述の幾何変形処理を実施しない。その後、第二映像処理部14は、同期信号生成部17により生成された同期信号SyncDに同期してメモリ16より読み出しを行い、不図示のパネルへ出力する。以上より、第二の機能の実施形態においては、図4の斜線で示す第二映像処理部14が出力同期タイミングへの載せ替えを実施している。
The second
●モニタに複数映像をレイアウト表示(第三の機能の実施形態)
次に、入力部11が第三の機能を実施する場合の例として、出力対象がモニタであり、複数の異なる入力信号として入力された映像信号をレイアウトして該モニタの表示パネルに表示する場合の映像処理回路10の構成を説明する。図5は、モニタの表示パネルにてレイアウト表示を実施する際の映像処理回路10の構成を示すブロック図である。図6は、モニタの表示パネルにてレイアウト表示を実施する際の映像処理回路10の画像処理の概要を示す図である。図6に示されるように、第一乃至第四映像信号は、解像度並びにフレーム周波数などの異なる別個の映像信号であり、入力部11へそれぞれ入力される。入力部11は、第三の機能を用い、入力された各映像信号を順次メモリ16に書き込む。
● Display multiple images on the monitor (third function embodiment)
Next, as an example of the case where the
本機能の実施形態において、同期信号生成部17は、入力された映像信号に含まれる同期信号を用いず、表示パネルの動作周波数に同期した同期信号を生成する。ここで、表示パネルは3840×2160画素で、動作周波数は60Hzである。本機能の実施形態においては、映像処理回路10は、入力部11乃至レイアウト部13までの間、異なる4つの映像信号を1系統の映像処理パスにて処理する必要がある。そのため同期信号生成部17は、入力部11乃至レイアウト部13までの間においては、表示パネルの動作周波数60Hzの4倍の240Hzのフレームレートで、第一乃至第四映像信号を時分割で交互に処理する。よって、同期信号生成部17は、SyncA、Bに対し周波数240Hzの同期信号を生成し、SyncCに対しては表示パネルの同期信号と同じ60Hzの同期信号を生成し、出力する。本機能の実施形態では、第二映像処理部14はSyncDを使用しないため、同期信号生成部17は必ずしもSyncDを出力する必要はない。
In the embodiment of this function, the synchronization
入力部11は、同期信号生成部17より入力されるSyncAに同期し、第一乃至第四映像信号を、フレーム交互にメモリ16より読み出し、第一映像処理部12へ出力する。入力された映像信号の同期信号が表示パネルの同期信号より周期が短い場合、入力部11は、フレームスキップして読み出すことにより同期させる。一方、入力された映像信号の同期信号が表示パネルの同期信号より周期が長い場合、入力部11は、複数回同一フレームを読み出すことにより同期させる。入力部11は、メモリ16より読み出した映像信号を、第一映像処理部12へ出力する。
The
第一映像処理部12は、入力された第一乃至第四映像信号に対し、別個にIP変換処理並びに解像度変換処理を実施する。このとき第一映像処理部12は、入力された映像信号をメモリ16へ格納し、同期信号生成部17により生成された同期信号SyncBに同期してフレーム交互にメモリ16より読み出し、IP変換処理や解像度変換処理を行う。第一映像処理部12は、処理後、映像信号を第一経路選択部18へ出力する。
The first
第一経路選択部18は、本機能の実施形態においては、入力された4画面を1画面上にレイアウトする。そのため、不図示の制御部は第一経路選択部18に対し、経路Bを設定する。これに応じて、第一経路選択部18は、第一映像処理部12より入力された映像信号を、レイアウト部13へ出力する。レイアウト部13は、入力された第一乃至第四映像信号を、それぞれメモリ16に格納する。その後、レイアウト部13は、同期信号生成部17によって生成された同期信号SyncCに同期して、各映像信号をメモリ16より読み出す。そして、レイアウト部13は、不図示の制御部によって指定された座標上に各映像をレイアウトし、1画面の映像信号として第二経路選択部19へ出力する。
In the embodiment of this function, the first
第二経路選択部19は、レイアウト部13より入力された映像信号を、第二映像処理部14に入力させるか迂回させるかを選択する。ここで、レイアウト部13において用いられた同期信号SyncCは、表示パネルの同期信号であり、かつ第二映像処理部14は、幾何変形ならびに出力同期タイミングへの載せ替えを行う必要がない。よって、不図示の制御部は第二経路選択部19の経路を経路Cに設定する。これに応じて、第二経路選択部19は、レイアウト部13より入力された映像信号を、不図示の出力機器であるモニタへと出力する。
The second
●本実施形態の効果
ここで、従来の映像処理回路に対する、本実施形態の効果を示す。図7に、従来の映像処理回路70の構成を示す。従来の映像処理回路では、出力機器への出力同期タイミングの載せ替え処理は、最後段の第二映像処理部74にて固定的に実施されていた。このような従来の映像処理回路70では、前述のレイアウト処理を実施する場合、レイアウト部73はレイアウトを実施した後、第二映像処理部74は出力同期タイミングへの載せ替えを実施する必要があった。その結果、上述したレイアウト処理時の実施形態と比較し、第二映像処理部74によるメモリアクセスが発生してしまう。このため、従来の映像処理回路70では、より多くのメモリ容量並びにメモリ帯域をもつメモリにて回路を構成する必要がある。それに対し、本実施形態においては、複数のメモリアクセス箇所にて出力同期タイミングへの載せ替え並びに同期タイミング生成を可能としているため、従来手法と比較しより少ないメモリアクセスにて機能を実現可能である。よって、従来技術に対する本実施形態の優位性は明確である。
Effects of the present embodiment Here, effects of the present embodiment with respect to a conventional video processing circuit will be described. FIG. 7 shows a configuration of a conventional
<第二実施形態>
●映像処理回路の構成
以下、第二実施形態における映像処理装置を構成する映像処理回路の構成に関して説明する。なお、第一実施形態と同様の箇所に関しては説明を省略する。図8は、本実施形態における映像処理回路80の概略の構成を示すブロック図である。映像処理回路80において、第一乃至第四映像信号は、入力部81へ入力される。入力部81は、以下の二つの機能を具備する。第一の機能として、入力部11は、入力される第一乃至第四映像信号をそのまま第一映像処理部82へ出力する機能を具備する。また、第二の機能として、入力部11は、入力された信号をメモリ86を介して1つに結合し、同期信号生成部87により生成されるSyncAに同期して第一映像処理部82へ出力する機能を有する。入力部11は、これらの第一乃至第二の機能を選択的に実施する。
<Second embodiment>
Configuration of Video Processing Circuit Hereinafter, the configuration of the video processing circuit constituting the video processing device in the second embodiment will be described. In addition, description is abbreviate | omitted regarding the same location as 1st embodiment. FIG. 8 is a block diagram showing a schematic configuration of the
第一映像処理部82は、入力される4系統の映像信号に対し、4系統のメモリ書き込み経路を具備し、入力映像をそれぞれメモリ86へ格納する。その後同期信号SyncBに同期してメモリ86より読み出し、IP変換処理並びに解像度変換処理を実施し、第一経路選択部88へ出力する。以降の処理に関しては、第一実施形態と同様である。
The first
●4入力を1画面表示(第二の機能の実施形態)
入力部11が第二の機能を実施する場合の映像処理回路80の構成を説明する。図9は、1画面表示を実施する際の映像処理回路80の構成を示すブロック図である。1つの映像信号から異なる信号線に分割された第一乃至第四の映像信号を1画面に表示する場合、入力部81は第二の機能を用い、入力された各映像信号を1つの画面に結合する。入力部81は、入力された第一乃至第四映像信号は、バス85を介し、メモリ86上で結合するよう配置して格納する。
● Display 4 inputs on a single screen (second function embodiment)
A configuration of the
同期信号生成部87は、第一実施形態と同様に、入力信号に同期した同期信号SyncA乃至Dを生成し、メモリ86からの読み出しタイミング並びに出力同期タイミングの載せ替えを制御する。入力部81は、同期信号生成部87より入力される同期信号SyncAに同期し、結合された映像信号をメモリ86より読み出し、第一映像処理部82へ出力する。以後、第一の実施形態と同様に、図9に斜線で示す第二映像処理部84が出力同期タイミングへの載せ替えを実施し、不図示の出力機器の表示パネルへ映像信号を出力する。
As in the first embodiment, the synchronization
●複数映像をレイアウト表示(第一の機能の実施形態)
次に、入力部11が第一の機能を実施する場合の映像処理回路80の構成を説明する。図10は、複数映像がレイアウト表示を実施する際の映像処理回路80の構成を示すブロック図である。入力部81は、異なる独立した映像信号である第一乃至第四映像信号を1画面上に結合して表示する場合、1画面表示時と異なり、画面結合を実施しない。また、図8の例では、映像処理回路80は、第一映像処理部82のメモリ86への書き込みまでは、独立した4系統の処理が可能なため、入力部81は第一実施形態の様に時分割交互処理へと処理順序を変更する必要がない。そのため、図10に示す通り、入力部81は、第一の機能を用いて入力される4つの映像を夫々第一映像処理部82へ入力する。第一映像処理部82は、入力された4つの映像信号に対し、別個にメモリ86への書き込みを行う。
● Multiple video layout display (first function embodiment)
Next, the configuration of the
同期信号生成部87は、本機能の実施形態では、入力信号に同期せず出力パネルタイミングに同期してフリーランで動作する。本機能の実施形態では、入力部81並びに第二映像処理部84はメモリ86へのアクセスを実施しないため、同期信号生成部87は、同期信号SyncA、Dを生成しなくても良い。パネルへの同期信号載せ替えを実施するレイアウト部83に対し、同期信号生成部87は出力パネルへの同期信号をSyncCとして生成する。また、第一映像処理部82からレイアウト部83間は1系統の画像処理回路しか持たず、4つの入力に対し映像処理を行うためにはSyncCの4倍の垂直同期周波数にて画像処理を実施する必要がある。ゆえに、第一映像処理部82へ出力する同期信号SyncBは、出力同期タイミングSyncCの4倍の垂直同期周波数にて生成される。
In the embodiment of this function, the synchronization
第一映像処理部82は、同期信号生成部87より入力される同期信号SyncBに同期し、メモリ86より第一乃至第四映像信号をフレーム交互に読み出して処理し、レイアウト部83へ出力する。レイアウト部83は入力される4つの映像信号をメモリ86に格納する。その後、出力同期タイミングSyncCのタイミングにて読み出し、不図示の制御部のレイアウト指示に従い4画面を合成し、映像処理回路より出力する。
The first
●本実施形態の効果
図7に示す従来の映像処理回路では、内部動作タイミングの載せ替え処理は、最前段の入力部71にて固定的に実施されていた。本実施形態では、実施する機能に応じて入力信号をメモリへ格納する箇所を可変とし、内部動作タイミングへの載せ替え箇所を複数設けることにより、第一実施形態より第一映像処理部までの画像処理回路は増加する。しかしながら、本実施形態では、より少ないメモリアクセスにてレイアウト機能の実現が可能となる。よって、映像処理回路の回路規模が問題である場合には第一実施形態の回路構成を用い、メモリ帯域が問題である場合には第二実施形態を用いることにより、目的に即した構成にてレイアウト機能を実現可能となる。
Effects of this Embodiment In the conventional video processing circuit shown in FIG. 7, the internal operation timing replacement process is fixedly performed at the
<第三実施形態>
本実施形態では第一乃至第二実施形態において述べた映像処理回路を含むシステムの構成について説明する。図11は、本実施形態による映像処理システムを示す図である。図11において、映像処理回路90は、第一乃至第二実施形態において述べた映像処理回路に相当する。カメラ91は撮影処理によって得られた映像信号を映像処理回路90に送信する。なお、図11ではカメラ91は一台としたが、複数台としてもよい。選択制御部94は、映像処理回路90に入力される映像信号の数や種類、及び、出力対象がプロジェクタ92かモニタ93により、必要な映像処理を選択し、第一乃至第二実施形態において述べたように異なる映像処理を行う。なお、映像処理回路90が選択制御部94を含むように構成してもよい。
<Third embodiment>
In this embodiment, a configuration of a system including the video processing circuit described in the first to second embodiments will be described. FIG. 11 is a diagram showing a video processing system according to the present embodiment. In FIG. 11, a
このように、以上に述べた実施形態によれば、実施する映像処理に応じて入力信号のタイミング載せ替えを実施する箇所を好適に制御することが可能となる。これにより、メモリコストの上昇を抑制し所望の機能を実現することが可能となる。 As described above, according to the embodiment described above, it is possible to suitably control the place where the timing change of the input signal is performed according to the video processing to be performed. Thereby, it is possible to suppress the increase in memory cost and realize a desired function.
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
10 映像処理回路、11 入力部、12 第一映像処理部、13 レイアウト部、14 第二映像処理部、15 バス、16 メモリ、17 同期信号生成部、18 第一経路選択部、19 第二経路選択部 10 video processing circuit, 11 input unit, 12 first video processing unit, 13 layout unit, 14 second video processing unit, 15 bus, 16 memory, 17 synchronization signal generation unit, 18 first path selection unit, 19 second path Select part
Claims (14)
入力された映像信号に対して映像処理を行う複数の映像処理手段と、
所望の映像処理機能に応じて前記複数の映像処理手段のうちメモリへのアクセスを行う映像処理手段を選択する選択手段、とを有し、
前記選択手段により選択された映像処理手段は前記メモリへのアクセスを介した前記映像処理を行うことを特徴とする映像処理装置。 A video processing device,
A plurality of video processing means for performing video processing on the input video signal;
Selecting means for selecting a video processing means for accessing the memory among the plurality of video processing means according to a desired video processing function;
The video processing apparatus, wherein the video processing means selected by the selection means performs the video processing via access to the memory.
前記最後段の映像処理手段は該外部への出力タイミングに従って前記メモリへのアクセスを介した前記映像処理を行うことを特徴とする請求項1または2に記載の映像処理装置。 A first synchronization signal indicating an output timing to the outside is generated, and the first synchronization signal is supplied to the last video processing means among the video processing means selected by the selection means. A synchronization signal generating means;
The video processing apparatus according to claim 1, wherein the video processing means at the last stage performs the video processing via access to the memory according to an output timing to the outside.
前記最前段の映像処理手段は該内部の動作タイミングに従って前記メモリへのアクセスを介した前記映像処理を行うことを特徴とする請求項1乃至6のいずれか1項に記載の映像処理装置。 A second synchronization signal that generates a second synchronization signal indicating an internal operation timing, and supplies the second synchronization signal to the first-stage video processing means among the video processing means selected by the selection means. A signal generating means;
The video processing apparatus according to claim 1, wherein the video processing unit in the forefront stage performs the video processing via access to the memory in accordance with the internal operation timing.
入力された映像信号に対して映像処理を行う複数の映像処理工程と、
所望の映像処理機能に応じて前記複数の映像処理工程のうちメモリへのアクセスを行う映像処理工程を選択する選択工程、とを有し、
前記選択工程において選択された映像処理工程では前記メモリへのアクセスを介した前記映像処理を行うことを特徴とする映像処理装置の制御方法。 A method for controlling a video processing apparatus,
A plurality of video processing steps for performing video processing on the input video signal;
A selection step of selecting a video processing step for accessing the memory among the plurality of video processing steps according to a desired video processing function,
The method of controlling a video processing apparatus, wherein the video processing is performed through access to the memory in the video processing step selected in the selection step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014113343A JP6351382B2 (en) | 2014-05-30 | 2014-05-30 | VIDEO PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014113343A JP6351382B2 (en) | 2014-05-30 | 2014-05-30 | VIDEO PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015228588A true JP2015228588A (en) | 2015-12-17 |
JP2015228588A5 JP2015228588A5 (en) | 2017-07-06 |
JP6351382B2 JP6351382B2 (en) | 2018-07-04 |
Family
ID=54885829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014113343A Expired - Fee Related JP6351382B2 (en) | 2014-05-30 | 2014-05-30 | VIDEO PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6351382B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012643A1 (en) * | 2018-07-13 | 2020-01-16 | Necディスプレイソリューションズ株式会社 | Multi-screen display adjustment system and method for adjusting multi-screen display |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11250228A (en) * | 1998-03-05 | 1999-09-17 | Hitachi Ltd | Picture processor and system therefor |
JP2005124167A (en) * | 2003-09-25 | 2005-05-12 | Canon Inc | Frame rate conversion device, overtaking prediction method used in the same, display control device and video image receiving display device |
JP2007281741A (en) * | 2006-04-05 | 2007-10-25 | Seiko Epson Corp | Image processing using pipeline processing |
JP2009258416A (en) * | 2008-04-17 | 2009-11-05 | Canon Inc | Memory control device and control method of a memory |
JP2009265319A (en) * | 2008-04-24 | 2009-11-12 | Mitsubishi Electric Corp | Video composition device |
JP2010245682A (en) * | 2009-04-02 | 2010-10-28 | Seiko Epson Corp | Image processing device, image processing method, and computer program |
JP2011077729A (en) * | 2009-09-29 | 2011-04-14 | Panasonic Corp | Three-dimensional image processor and method of controlling the same |
JP2011107558A (en) * | 2009-11-20 | 2011-06-02 | Seiko Epson Corp | Device and method for processing video, and computer program |
-
2014
- 2014-05-30 JP JP2014113343A patent/JP6351382B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11250228A (en) * | 1998-03-05 | 1999-09-17 | Hitachi Ltd | Picture processor and system therefor |
JP2005124167A (en) * | 2003-09-25 | 2005-05-12 | Canon Inc | Frame rate conversion device, overtaking prediction method used in the same, display control device and video image receiving display device |
JP2007281741A (en) * | 2006-04-05 | 2007-10-25 | Seiko Epson Corp | Image processing using pipeline processing |
JP2009258416A (en) * | 2008-04-17 | 2009-11-05 | Canon Inc | Memory control device and control method of a memory |
JP2009265319A (en) * | 2008-04-24 | 2009-11-12 | Mitsubishi Electric Corp | Video composition device |
JP2010245682A (en) * | 2009-04-02 | 2010-10-28 | Seiko Epson Corp | Image processing device, image processing method, and computer program |
JP2011077729A (en) * | 2009-09-29 | 2011-04-14 | Panasonic Corp | Three-dimensional image processor and method of controlling the same |
JP2011107558A (en) * | 2009-11-20 | 2011-06-02 | Seiko Epson Corp | Device and method for processing video, and computer program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012643A1 (en) * | 2018-07-13 | 2020-01-16 | Necディスプレイソリューションズ株式会社 | Multi-screen display adjustment system and method for adjusting multi-screen display |
US11106419B2 (en) | 2018-07-13 | 2021-08-31 | Sharp Nec Display Solutions, Ltd. | Multi-screen display adjusting system and multi-screen display adjusting method |
Also Published As
Publication number | Publication date |
---|---|
JP6351382B2 (en) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107027000B (en) | Video processor, display system, and video image processing method | |
US20080074350A1 (en) | High-definition image display device and method of converting frame rate thereof | |
US9661262B2 (en) | Content processing device and content processing method | |
JP2007334071A (en) | Video signal processor and display device | |
US6844879B2 (en) | Drawing apparatus | |
JP2011180336A (en) | Image processing apparatus, projection type display device, video display system, image processing method, and computer program | |
JP2008244981A (en) | Video synthesis device and video output device | |
JP6358847B2 (en) | Display processing apparatus and imaging apparatus | |
JP5669614B2 (en) | Image display apparatus and control method thereof | |
JP2001255862A (en) | Overlay picture processor and overlay picture display device | |
JP4788381B2 (en) | Video output device and digital camera equipped with the same | |
JP6325886B2 (en) | Display processing apparatus and imaging apparatus | |
JP6351382B2 (en) | VIDEO PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
US9479682B2 (en) | Video signal processing device and display apparatus | |
JP2006235233A (en) | Video display method for large screen, video display device, and large-screen display device | |
JP2018037765A (en) | Image signal processor | |
JP2009267612A (en) | Image processor, and image processing method | |
JP3685668B2 (en) | Screen synthesizer for multi-screen | |
KR101506030B1 (en) | Multi-vision system and picture visualizing method the same | |
JP2009296410A (en) | High-resolution video reproducing device | |
JP6478621B2 (en) | Image processing device | |
JP6534243B2 (en) | Video processing device | |
JP2009290710A (en) | Image processing apparatus and display unit | |
WO2023013072A1 (en) | Device, method, and program for combining video signals | |
JP2003289553A (en) | Image data processor and stereoscopic image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6351382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |