JP2013055629A - Video output device and video output method - Google Patents
Video output device and video output method Download PDFInfo
- Publication number
- JP2013055629A JP2013055629A JP2012009213A JP2012009213A JP2013055629A JP 2013055629 A JP2013055629 A JP 2013055629A JP 2012009213 A JP2012009213 A JP 2012009213A JP 2012009213 A JP2012009213 A JP 2012009213A JP 2013055629 A JP2013055629 A JP 2013055629A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- video
- depth
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明の実施形態は、映像出力装置及び映像出力方法に関する。 Embodiments described herein relate generally to a video output apparatus and a video output method.
視差を有する複数の光学系を備えた撮像装置に関する提案がある。例えば、特徴点抽出
、対応点検出により第1・第2画像から視差分布(ヒストグラム)を求め、それに基づい
て移動体検出を行うというものがある。また、立体撮像装置が、ピントの合った被写体に
合わせて電子的に輻輳角を調整できるようにすることを目的とするというものもある(例
えば、特許文献1参照。)。これは概要として、合焦状態にある第1画像データと第2画
像データからそれぞれ検出された特徴点と対応点の組の総数が、所定の閾値th1を超え
た場合、視差量のヒストグラムを生成するよう制御し、視差量のヒストグラムのビンから
、代表視差量を決定するよう制御するというものである。
There is a proposal related to an imaging apparatus including a plurality of optical systems having parallax. For example, a parallax distribution (histogram) is obtained from first and second images by feature point extraction and corresponding point detection, and moving object detection is performed based on the parallax distribution (histogram). Another object is to enable the stereoscopic imaging apparatus to electronically adjust the convergence angle according to the subject in focus (see, for example, Patent Document 1). As an outline, when the total number of pairs of feature points and corresponding points detected from the first image data and the second image data in the in-focus state exceeds a predetermined threshold th1, a parallax amount histogram is generated. The representative parallax amount is controlled to be determined from the bin of the histogram of the parallax amount.
しかしながら他方で、問題点として外れ視差除外処理への要望があるが、かかる要望
を実現するための手段は知られていない。
However, on the other hand, there is a demand for deviating parallax exclusion processing as a problem, but means for realizing such demand is not known.
本発明の実施の形態は、立体視映像を好適に出力することのできる映像出力装置及び映
像出力方法を提供することを課題とする。
An object of the embodiments of the present invention is to provide a video output device and a video output method capable of suitably outputting a stereoscopic video.
上記課題を解決するために、実施形態の映像出力装置は、入力手段と、変換手段と、出
力手段とを具備する。入力手段は、立体映像の奥行きを生成するための情報を有する映像
を入力する。変換手段は、前記入力手段で入力した映像について、奥行き階調を拡張する
ように奥行きを変換する。出力手段は、前記変換手段によって奥行きが変更された映像を
出力する。
In order to solve the above-described problem, the video output apparatus according to the embodiment includes an input unit, a conversion unit, and an output unit. The input means inputs a video having information for generating the depth of the stereoscopic video. The conversion means converts the depth of the video input by the input means so as to extend the depth gradation. The output means outputs the video whose depth has been changed by the converting means.
以下、本発明の一実施形態を説明する。 Hereinafter, an embodiment of the present invention will be described.
(第1の実施形態)
第1の実施形態を図1乃至図8を参照して説明する。
(First embodiment)
A first embodiment will be described with reference to FIGS.
図1は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブ
ロック図である。
FIG. 1 is a block diagram illustrating a signal processing system of a digital television broadcast receiver according to an embodiment.
図1に示すディジタルテレビジョン放送受信装置(以下、ディジタルテレビジョンと称
する)11は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけ
でなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
A digital television broadcast receiving apparatus (hereinafter referred to as digital television) 11 shown in FIG. 1 not only performs video display based on a video signal for normal planar view (two-dimensional) display but also stereoscopic view (three-dimensional). ) Video display based on the video signal for display can also be performed.
図1に示すように、ディジタルテレビジョン11は、アンテナ12で受信したディジタ
ルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより
、所望のチャンネルの放送信号を選局することが可能になっている。ディジタルテレビジ
ョン11は映像出力装置として機能する。
As shown in FIG. 1, a
ディジタルテレビジョン11は、チューナ部14で選局された放送信号を、復調復号部
15に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部
16に出力する。信号処理部16は、復調復号部15から供給されたディジタルの映像信
号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
The
ここで、信号処理部16が行なう所定のディジタル信号処理には、通常の平面視(2次
元)表示用の映像信号を立体視(3次元)表示用の映像信号及び音声信号に変換する処理
、その際に復調復号部15から入力されたディジタル映像信号及びディジタル音声信号あ
るいは後述のOSD信号生成部19から入力された字幕などのOSD信号に基づいて立体
視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号
を平面視表示用の映像信号に変換する処理等も含まれている。
Here, the predetermined digital signal processing performed by the
また、信号処理部16は、ディジタル映像信号を合成処理部17に出力し、ディジタル
音声信号を音声処理部18に出力する。
Further, the
合成処理部17は、信号処理部16から供給されるディジタル映像信号に、OSD(on
screen display)信号生成部19で生成される字幕、GUI(Graphical User Interfac
e)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合
、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映
像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をその
まま重畳して出力している。
The composition processing unit 17 applies the OSD (on
screen display) Subtitles generated by the
e) An OSD signal that is a video signal for superimposition such as OSD is superimposed and output. In this case, if the video signal supplied from the
また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映
像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力され
た立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信
号を入力映像信号に重畳して出力している。
In addition, when the video signal supplied from the
ディジタルテレビジョン11は、合成処理部17から出力したディジタルの映像信号を
、映像処理部20に供給する。映像処理部20は、入力されたディジタル映像信号を、後
段の、例えば液晶表示パネル等を有する平面型の映像表示部21で表示可能なフォーマッ
トのアナログ映像信号に変換している。ディジタルテレビジョン11は、映像処理部20
から出力されたアナログ映像信号を、映像表示部21に供給して映像表示に供する(映像
を出力する)。
The
The analog video signal output from is supplied to the
音声処理部18は、入力されたディジタル音声信号を、後段のスピーカ22で再生可能
なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出
力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される
。
The
ここで、ディジタルテレビジョン11は、上記した各種の受信動作を含むその全ての動
作を制御部23によって統括的に制御している。この制御部23は、CPU(central pr
ocessing nit)23aを内蔵しており、ディジタルテレビジョン11の本体に設置された
操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受
信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ
制御している。
Here, the
ocessing nit) 23a is built in and receives operation information from the
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU
23aが実行する制御プログラムを格納したROM(Read Only Memory)と、CPU23
aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及
び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディ
スクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digi
tal Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディス
ク28に対してディジタルデータの記録再生を行なう機能を有している。
The
A ROM (Read Only Memory) storing a control program executed by the CPU 23a;
a has a random access memory (RAM) for providing a work area, and a non-volatile memory in which various setting information, control information, and the like are stored. Further, a
tal Versatile Disk) or the like, which has a function of recording and reproducing digital data with respect to the
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて
、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部2
9によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供
給して光ディスク28に記録させるように制御することができる。
The
After being encrypted by 9 and converted into a predetermined recording format, it can be supplied to the
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、ディスクドライブ部27により光ディスク28からディジタルの映像信号及び音
声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に
供給することによって、以後、上記した映像表示及び音声再生に供させるように制御する
ことができる。
The
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、
視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15
から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化
し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに
記録させるように制御することができる。
An HDD (Hard Disk Drive) 30 is connected to the
Based on the operation of the
The digital video signal and audio signal obtained from the above can be encrypted and converted into a predetermined recording format by the recording /
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、HDD30によりハードディスク30aからディジタルの映像信号及び音声信号
を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給するこ
とによって、以後、上記した映像表示及び音声再生に供させるように制御することができ
る。
Further, the
さらに、ディジタルテレビジョン11には、入力端子31が接続されている。入力端子
31は、ディジタルテレビジョン11の外部からディジタルの映像信号及び音声信号を直
接入力するためのものである。この入力端子31を介して入力されたディジタルの映像信
号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号
処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
Furthermore, an
また、入力端子31を介して入力されたディジタル映像信号及びディジタル音声信号は
、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部2
7による光ディスク28に対しての記録再生や、HDD30によるハードディスク30a
に対しての記録再生に供される。
Further, the digital video signal and the digital audio signal input through the
7 and recording / reproduction with respect to the
It is used for recording and playback.
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されてい
るディジタル映像信号及びディジタル音声信号をハードディスク30aに記録したり、ハ
ードディスク30aに記録されているディジタル映像信号及びディジタル音声信号を光デ
ィスク28に記録したりすることも制御している。
The
また、制御部23には、ネットワークインターフェース32が接続されている。このネ
ットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に
接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通
信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワ
ークサーバ35,36が接続されている。このため、制御部23は、ネットワークインタ
ーフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサ
ーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービ
スを利用することができるようになっている。
A
さて図5(a)は、映像の視差量変換を行わない場合のステレオ3Dの処理イメージを
示す図である。ステレオ3Dとは立体視向けに用意された左右画像から、それらの視差情
報を検出し、その奥行き情報を取得するアルゴリズムを指す。なお、生成された奥行き情
報は、それを元に多視差の画像を生成する使い方がある。
Now, FIG. 5A is a diagram showing a stereo 3D processing image when the parallax amount conversion of video is not performed. Stereo 3D refers to an algorithm for detecting disparity information from left and right images prepared for stereoscopic viewing and acquiring the depth information. The generated depth information can be used to generate a multi-parallax image based on the depth information.
本実施形態において、信号処理部16はヒストグラム取得部(視差量検出部)、マップ
加工部(視差変換部/奥行き変換部)とを具備する(図示しない)。
In the present embodiment, the
ヒストグラム取得部(視差量検出部)は左眼用画像と右眼用画像とから視差の情報を検
出(取得)し、これに基づいて視差のヒストグラムを作成(取得)する機能を有している
。
The histogram acquisition unit (parallax amount detection unit) has a function of detecting (acquiring) parallax information from the left-eye image and the right-eye image, and creating (acquiring) a parallax histogram based on the information. .
マップ加工部(視差変換部/奥行き変換部)は、ヒストグラム取得部が作成したヒスト
グラムに基づいて、オブジェクトの奥行きを変換し、映像の視差を変換する機能を有して
いる。
The map processing unit (disparity conversion unit / depth conversion unit) has a function of converting the depth of the object based on the histogram created by the histogram acquisition unit and converting the parallax of the video.
マップ加工部は、外れ視差を検出(取得)する外れ視差検出部(図示しない)を有して
いる。外れ視差検出部はヒストグラムに基づいて外れ視差を検出する機能を有している。
更に、マップ加工部は検出された外れ視差を除外する機能を有する除外部(図示しない)
を有している。この外れ視差及び外れ視差の除外については後述にて説明する。
The map processing unit includes an outlier parallax detection unit (not shown) that detects (acquires) outlier parallax. The deviating parallax detection unit has a function of detecting deviating parallax based on the histogram.
Further, the map processing unit has an excluding unit (not shown) having a function of excluding the detected out-of-parallax.
have. This out parallax and the exclusion of out parallax will be described later.
また、信号処理部16は多視差画像作成部(図示しない)を有する。多視差画像作成部
はマップ加工部から出力される映像の視差情報に基づいて左右の視差映像を作成する機能
を有している。
The
なお、上記のヒストグラム取得部(視差量検出部)、マップ加工部(視差変換部/奥行
き変換部)、外れ視差検出部、除外部、および多視差画像作成部はHWで構成されていて
も、SWで構成されていてもよい。
Note that the above-described histogram acquisition unit (parallax amount detection unit), map processing unit (parallax conversion unit / depth conversion unit), out-of-parallax detection unit, exclusion unit, and multi-parallax image creation unit may be configured with HW. You may be comprised by SW.
上記のステレオ3Dの処理は以下のような流れで行われる。 The stereo 3D process is performed in the following flow.
最初に、ヒストグラム取得部(視差検出部)は左右画像から視差情報を検出し、それを
視差マップ(ヒストグラム)として記録する。なお、視差情報の検出方法の一例として左
右画像の輝度情報を元に、ブロックマッチングを用いる方法がある。ヒストグラム取得部
(視差検出部)は、ブロックマッチングに基づいて左右の画像の比較を行い、映像におけ
る(各オブジェクトの)視差を検出する。
First, the histogram acquisition unit (parallax detection unit) detects parallax information from the left and right images and records it as a parallax map (histogram). As an example of the parallax information detection method, there is a method using block matching based on the luminance information of the left and right images. The histogram acquisition unit (parallax detection unit) compares the left and right images based on block matching, and detects the parallax (of each object) in the video.
次に、マップ加工部が生成した視差マップを奥行きマップに変換する。視差を奥行きに
変換する式には様々なものがあるが、図2に示すように、視差と奥行きの関係を線形とす
る変換が一例として挙げられる。ここでは視差の値で−64から63までを、奥行きの値
で−128から127へと対応づけている。
Next, the parallax map generated by the map processing unit is converted into a depth map. There are various formulas for converting the parallax into the depth. As shown in FIG. 2, for example, conversion in which the relationship between the parallax and the depth is linear is given. Here, -64 to 63 are associated with the parallax value, and -128 to 127 are associated with the depth value.
最後に、多視差画像を作成する多視差画像作成部が生成された奥行きマップを元に、多
視差画像を生成し、パネルに立体視画像が表示される。
Finally, the multi-parallax image is generated based on the depth map generated by the multi-parallax image creating unit that creates the multi-parallax image, and the stereoscopic image is displayed on the panel.
図3は、実施形態に関わる一般的な視差/奥行き変換の一例を説明するために示す図で
ある。上記のような流れで奥行きマップを生成したときの一例を示したものである。
FIG. 3 is a diagram for explaining an example of general parallax / depth conversion according to the embodiment. An example at the time of producing | generating a depth map by the above flows is shown.
視差マップの情報をヒストグラム化したものを視差ヒストグラムとして取り扱うとき、
図3のように、視差情報が局所的に集中する場合がある。このとき、視差を奥行きに線形
変換する場合、生成される奥行きも視差と同様に、局所的に集中し、結果として奥行き範
囲Rが狭く奥行きの階調性が低くなる。
When handling parallax map information as a histogram,
As shown in FIG. 3, the parallax information may concentrate locally. At this time, when the parallax is linearly converted to the depth, the generated depth is also locally concentrated similarly to the parallax, and as a result, the depth range R is narrow and the depth gradation is lowered.
奥行きの階調性は、実際にパネルで立体画像を見たときの飛び出し感、奥行き感に関わ
っており、これが高いほど、より立体感のある画像を体験できる。つまり、立体感を感じ
たい場合は、奥行きの階調性は高いほうが望ましいと言える。
The gradation of depth is related to the sense of popping out and the sense of depth when a stereoscopic image is actually viewed on the panel, and the higher this is, the more stereoscopic the image can be experienced. That is, when it is desired to feel a three-dimensional effect, it can be said that it is desirable that the depth gradation is high.
図4は、実施形態の処理における視差/奥行き変換の一例を示す図である。これは、図
3のように視差情報が局所的に集中した場合に、奥行きの階調を拡張する手法を示す図で
ある。以下にその手順を示す。
FIG. 4 is a diagram illustrating an example of parallax / depth conversion in the processing of the embodiment. This is a diagram illustrating a method of extending the depth gradation when disparity information is locally concentrated as shown in FIG. The procedure is shown below.
まず、ヒストグラム取得部(視差検出部)は視差情報から、視差ヒストグラムを生成し
、値の入っているビンで最大、最小のものを探索し、それらを“max_dv”、“min_dv”と
して取り扱う。
First, the histogram acquisition unit (parallax detection unit) generates a parallax histogram from the parallax information, searches for the maximum and minimum bins containing values, and handles them as “max_dv” and “min_dv”.
次に、視差“dv”に対して、以下の変換式を施す。なお“bin_num”は視差ヒストグラム
のビン数を示し、この値は任意である。
上記の変換式は、画像中の最大の視差量と最小の視差量との差を大きくする(存在する
視差量の上限と下限の差を大きくする)ことのできる変換式である。
The above conversion equation is a conversion equation that can increase the difference between the maximum parallax amount and the minimum parallax amount in the image (increase the difference between the upper limit and the lower limit of the existing parallax amount).
上記、式1を視差に施すことにより、例えば、dvがmax_dvおよびmin_dvの場合、その値
は視差の上限、下限に変換される(図4の場合は63、−64)。
By applying Equation 1 to the parallax, for example, when dv is max_dv and min_dv, the values are converted into the upper and lower limits of the parallax (63 and -64 in the case of FIG. 4).
また、その他の視差も変換され、図4に示すように、ヒストグラムの形状を保ちつつ、
全体的に視差の範囲が拡張される。このようにして、視差拡張後に、奥行き変換すること
で、奥行き範囲R’として奥行きの階調性を上げることが可能である。すなわち、従来の
システムでは、立体感の乏しい画像も、本システムを適用することで立体感のある画像と
して体験(視聴)できる。
In addition, other parallaxes are also converted, and as shown in FIG. 4, while maintaining the shape of the histogram,
Overall, the range of parallax is extended. In this way, by performing depth conversion after parallax expansion, it is possible to improve the gradation of depth as the depth range R ′. In other words, in a conventional system, an image with poor stereoscopic effect can be experienced (viewed) as an image with a stereoscopic effect by applying this system.
なお、上記においては、最大の視差量と最小の視差量とをそれぞれ視差の上限、下限と
するように変換しているが、第1の視差量と第1の視差量より小さい第2視差量との差が
大きくなるように変換するのであれば、これに限定されない。
In the above, the maximum parallax amount and the minimum parallax amount are converted to be the upper limit and the lower limit of the parallax, respectively, but the first parallax amount and the second parallax amount smaller than the first parallax amount. If it converts so that the difference with may become large, it is not limited to this.
図5は、実施形態に関わるステレオ3Dの処理イメージを示す図である。特に図5(b
)が奥行き変換(視差量変換)を行った場合のステレオ3Dの処理イメージを示したもの
であり、図6は、信号処理部16もしくは制御部23におけるその処理をフローチャート
化したものである。上記で説明したように、一般的なシステムとの違いは、視差をヒスト
グラム化し、その情報を元に視差を加工する点で、これにより、図5(b)に示すように
、図5(a)より立体感の大きい画像を出力可能となる。
FIG. 5 is a diagram illustrating a stereo 3D processing image according to the embodiment. In particular, FIG.
) Shows a stereo 3D processing image when depth conversion (parallax amount conversion) is performed, and FIG. 6 is a flowchart of the processing in the
ステップS61: まず、ヒストグラム取得部(視差量検出部)が視差検出を行う。 Step S61: First, the histogram acquisition unit (parallax amount detection unit) performs parallax detection.
ステップS62: 次に、ヒストグラム取得部(視差量検出部)が視差ヒストグラム取
得を行う。
Step S62: Next, the histogram acquisition unit (parallax amount detection unit) performs parallax histogram acquisition.
ステップS63: 次に、マップ加工部(視差変換部/奥行き変換部)がステップS6
2にて得られたヒストグラムに基づいて、各種パラメータ計算を行う。例えば、式1や視
差ヒストグラムのMAX値やMIN値を求める。
Step S63: Next, the map processing unit (parallax conversion unit / depth conversion unit) performs step S6.
Various parameters are calculated based on the histogram obtained in step 2. For example, the MAX value and MIN value of Equation 1 and the parallax histogram are obtained.
ステップS64: さらに、マップ加工部(視差変換部/奥行き変換部)が視差マップ
加工を行う。
Step S64: Further, the map processing unit (parallax conversion unit / depth conversion unit) performs parallax map processing.
ステップS65: 最後に、マップ加工部(視差変換部/奥行き変換部)が視差/奥行
き変換を行う。
Step S65: Finally, the map processing unit (parallax conversion unit / depth conversion unit) performs parallax / depth conversion.
これらの処理の詳細は上述にも記載している。 Details of these processes are also described above.
入力された映像に基づいてヒストグラム取得部(視差量検出部)が映像内の各オブジェ
クトの視差量を検出し、視差量についてのヒストグラムを作成(取得)する。マップ加工
部(視差変換部/奥行き変換部)は得られたヒストグラムに基づいて映像における奥行き
階調が大きくなるように、奥行きの変換と視差量の変換を行う。視差量の変換を行うと、
多視差画像作成部は変換された視差の情報に基づいて映像を作成し、出力部が映像を出力
する。
Based on the input video, a histogram acquisition unit (parallax amount detection unit) detects the parallax amount of each object in the video and creates (acquires) a histogram regarding the parallax amount. The map processing unit (parallax conversion unit / depth conversion unit) performs depth conversion and parallax amount conversion so that the depth gradation in the video is increased based on the obtained histogram. When converting the amount of parallax,
The multi-parallax image creation unit creates a video based on the converted parallax information, and the output unit outputs the video.
以上の実施形態の手法により、ステレオ3D処理を行ったときの立体感を、一般的には
高めることができる。
By the method of the above embodiment, the stereoscopic effect when performing stereo 3D processing can be generally increased.
以下では、更なる改良について説明する。 In the following, further improvements will be described.
まず図8は、上記で説明したステレオ3Dの処理を示したものである。ここでは、視差
ヒストグラムを生成した後に、値が入っているビンで最大、最少のものをパラメータとし
て、視差変換を行う場合についての例が図8に示されている。ビンに入っている値が1以
上であれば、その値に関わらず、“min_dv”、“max_dv”が決定されるため、図8のよう
に僅かな数しかない視差の情報を使って、視差変換が行われるケースが有り得る。この結
果、上記の処理手順によれば、図8(a)から図8(b)への変換のように、飛び出して
(外れて)存在する最小及び最大の視差量が影響するため、視差ヒストグラムが十分に拡
張されなくなってしまう。そもそも、少数しかない視差は、誤検出された視差(以後、外
れ視差と呼ぶ)である可能性が高く、これらの視差情報を元に全体の視差を補正すること
は、望ましいとは言えない。
First, FIG. 8 shows the stereo 3D processing described above. Here, FIG. 8 shows an example of the case where parallax conversion is performed using the maximum and minimum bins containing values after generating a parallax histogram. If the value in the bin is 1 or more, regardless of the value, “min_dv” and “max_dv” are determined, and therefore, using only a small number of parallax information as shown in FIG. There may be cases where conversion takes place. As a result, according to the above processing procedure, the minimum and maximum amount of parallax popping out (displaced) is affected as in the conversion from FIG. 8A to FIG. Will not be fully expanded. In the first place, there is a high possibility that parallax having only a small number is erroneously detected parallax (hereinafter referred to as out-of-parallax), and it is not desirable to correct the total parallax based on such parallax information.
そこで、図7のように、外れ視差を除外した上で、“min_dv”、“max_dv”を決定する
方法を採用する。例えば間単には、ヒストグラム全体の1パーセントに相当する、外れた
ビンに有る値のものを除外する。
Therefore, as shown in FIG. 7, a method of determining “min_dv” and “max_dv” after excluding out-of-parallax is employed. For example, simply skip the values in the out-of-bins that represent 1 percent of the entire histogram.
視差量/奥行き量の変換の際に外れ視差を除外することで、図7のように視差の階調性
が高まり、ユーザーはより立体感のある画像を楽しむことができる。
By excluding out-of-parallax when converting the amount of parallax / depth, the gradation of parallax is enhanced as shown in FIG. 7, and the user can enjoy a more stereoscopic image.
ここでは、ヒストグラム取得部(視差量検出部)がヒストグラムを取得した後に、上述
の外れ視差検出部がはずれ視差を検出し、マップ加工部(視差変換部/奥行き変換部)が
視差量/奥行き変換の前にこの外れ視差を除外する。マップ加工部(視差変換部/奥行き
変換部)は、外れ視差が除外されたヒストグラムに基づいて視差量/奥行き変換を行う。
Here, after the histogram acquisition unit (parallax amount detection unit) acquires the histogram, the above-described disparity detection unit detects the disparity, and the map processing unit (parallax conversion unit / depth conversion unit) detects the parallax amount / depth conversion. This outlier parallax is excluded before. The map processing unit (parallax conversion unit / depth conversion unit) performs the parallax amount / depth conversion based on the histogram from which the outlier parallax is excluded.
なお、外れ視差の求め方は、ベクトル値が極端に大きいものは外れ視差である経験則か
ら、ヒストグラムの両端から任意のデータ数を除外する方法、ステレオ画像は、主にx方
向(視聴時の左右方向)に視差があり、y方向(視聴時の上下方向)にはほとんど視差が
ないことから、y方向に一定以上の視差がある場合、それを外れ視差と判断する方法など
もある。本実施形態の手法により、ステレオ3D処理を行ったときの立体感を、高めるこ
とができる。
Note that the method for obtaining out parallax is a method of excluding an arbitrary number of data from both ends of the histogram based on an empirical rule that the vector value is extremely large is out of parallax, and stereo images are mainly in the x direction (when viewing). Since there is parallax in the left and right direction and almost no parallax in the y direction (up and down direction during viewing), there is a method of determining that when there is a certain parallax or more in the y direction, it is determined as parallax. By the method of the present embodiment, it is possible to enhance the stereoscopic effect when stereo 3D processing is performed.
(第2の実施形態)
本発明による第2の実施形態を図1乃至図8を参照して説明する。実施形態1と共通す
る部分は説明を省略する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS. Description of the parts common to the first embodiment is omitted.
実施形態1で示した式(1)は、次の式(2)のように、各パラメータに重みをつける
ような変形例もある。
例えばαは0から1の値で重みをつける。また、βはヒストグラムの偏りに対処するも
のであり、あるいはユーザーの選好を表現するように設定可能なものである。
For example, α is weighted from 0 to 1. In addition, β can deal with the bias of the histogram or can be set to express the user's preference.
以上、立体視向けの左右2枚の画像から視差情報を検出し、その奥行き情報を推定する
アルゴリズムにおいて、奥行きの幅を拡張する方法を説明した。
The method for extending the width of the depth in the algorithm for detecting the parallax information from the left and right images for stereoscopic viewing and estimating the depth information has been described above.
概要として、視差ヒストグラムからパラメータを取得する際に、誤情報を除外し、より
正確な処理を行う方法であって、更には視差ヒストグラムからパラメータを取得する際に
、誤情報を除外し、より正確な処理を行う方法である。
As an overview, this is a method of performing more accurate processing by removing erroneous information when acquiring a parameter from a parallax histogram, and more accurately excluding erroneous information when acquiring a parameter from a parallax histogram. This is a method for performing a correct process.
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
11 ディジタルテレビジョン放送受信装置
15 復調復号部
16 信号処理部
17 合成処理部
18 音声処理部
19 OSD信号生成部
20 映像処理部
21 映像表示部
22 スピーカ
23 制御部
DESCRIPTION OF
Claims (7)
前記入力手段で入力した映像について、奥行き階調を拡張するように奥行きを変換する
変換手段と、
前記変換手段によって奥行きが変更された映像を出力する出力手段と、
を具備する映像出力装置。 Input means for inputting a video having information for generating a depth of a stereoscopic video;
Conversion means for converting the depth so as to extend the depth gradation for the video input by the input means;
Output means for outputting video whose depth has been changed by the converting means;
A video output device comprising:
に具備し、
前記出力手段は、前記作成手段によって作成された視差映像を出力する請求項1記載の
映像出力装置。 Further comprising creating means for creating a parallax image based on the depth converted by the converting means;
The video output apparatus according to claim 1, wherein the output unit outputs the parallax video created by the creation unit.
前記変換手段は、前記検出された視差に基づいて、前記奥行き変換を行う請求項1記載
の映像出力装置。 It further comprises detection means for detecting parallax from the video input by the input means,
The video output apparatus according to claim 1, wherein the conversion unit performs the depth conversion based on the detected parallax.
備し、
前記変換手段は、前記ヒストグラム取得手段が取得した視差のヒストグラムに基づいて
、前記奥行き変換を行う請求項3記載の映像出力装置。 A histogram acquisition means for acquiring a histogram of parallax detected by the detection means;
The video output apparatus according to claim 3, wherein the conversion unit performs the depth conversion based on a parallax histogram acquired by the histogram acquisition unit.
前記外れ視差検出した外れ視差を除外する除外手段を更に具備し、
前記変換手段は、前記除外手段によって外れ視差が除外された視差について、前記奥行
き変換を行う請求項1記載の映像出力装置。 Out-of-focus parallax detection means for detecting out-of-focus parallax in the input video;
And further comprising an excluding means for excluding outlier parallax detected by the outlier parallax,
The video output apparatus according to claim 1, wherein the conversion unit performs the depth conversion on the parallax from which the out-of-run parallax is excluded by the exclusion unit.
出力装置。 The video output apparatus according to claim 2, further comprising a display unit that displays the parallax video output by the output unit.
入力した前記映像について、奥行き階調を拡張するように奥行きを変換し、
前記奥行きが変更された映像を出力する映像出力方法。 Input video with information to generate depth of stereoscopic video,
Convert the depth of the input video to expand the depth gradation,
An image output method for outputting an image in which the depth is changed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012009213A JP2013055629A (en) | 2011-08-10 | 2012-01-19 | Video output device and video output method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011175225 | 2011-08-10 | ||
JP2011175225 | 2011-08-10 | ||
JP2012009213A JP2013055629A (en) | 2011-08-10 | 2012-01-19 | Video output device and video output method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013055629A true JP2013055629A (en) | 2013-03-21 |
Family
ID=48132212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012009213A Pending JP2013055629A (en) | 2011-08-10 | 2012-01-19 | Video output device and video output method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013055629A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022018869A1 (en) * | 2020-07-22 | 2022-01-27 | 日本電信電話株式会社 | Mapping function adjustment device, mapping function adjustment method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (en) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | Stereoscopic television device |
JP2001298753A (en) * | 2000-04-11 | 2001-10-26 | Sanyo Electric Co Ltd | Method for converting two-dimensional video image into three-dimensional video image |
JP2003018619A (en) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | Three-dimensional image evaluation apparatus and display using the same |
JP2004208255A (en) * | 2002-09-27 | 2004-07-22 | Sharp Corp | Stereoscopic image display device, recording method, and transmission method |
JP2006031171A (en) * | 2004-07-13 | 2006-02-02 | Nippon Telegr & Teleph Corp <Ntt> | Pseudo three-dimensional data generation method, apparatus, program and recording medium |
-
2012
- 2012-01-19 JP JP2012009213A patent/JP2013055629A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (en) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | Stereoscopic television device |
JP2001298753A (en) * | 2000-04-11 | 2001-10-26 | Sanyo Electric Co Ltd | Method for converting two-dimensional video image into three-dimensional video image |
JP2003018619A (en) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | Three-dimensional image evaluation apparatus and display using the same |
JP2004208255A (en) * | 2002-09-27 | 2004-07-22 | Sharp Corp | Stereoscopic image display device, recording method, and transmission method |
JP2006031171A (en) * | 2004-07-13 | 2006-02-02 | Nippon Telegr & Teleph Corp <Ntt> | Pseudo three-dimensional data generation method, apparatus, program and recording medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022018869A1 (en) * | 2020-07-22 | 2022-01-27 | 日本電信電話株式会社 | Mapping function adjustment device, mapping function adjustment method, and program |
JP7485983B2 (en) | 2020-07-22 | 2024-05-17 | 日本電信電話株式会社 | Mapping function adjustment device, mapping function adjustment method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9094657B2 (en) | Electronic apparatus and method | |
US9716873B2 (en) | Image processing device and image processing method | |
US10055814B2 (en) | Image processing device and image processing method | |
JP4444354B2 (en) | Image processing apparatus and image processing method | |
JP5638974B2 (en) | Image processing apparatus, image processing method, and program | |
US9235749B2 (en) | Image processing device and image processing method | |
JP2013546220A (en) | Display device, signal processing device and method thereof | |
WO2011016240A1 (en) | Video reproducing device | |
US8941718B2 (en) | 3D video processing apparatus and 3D video processing method | |
JP5066244B2 (en) | Video playback apparatus and video playback method | |
JP5802766B2 (en) | Video signal processing apparatus and video signal processing method | |
WO2012014489A1 (en) | Video image signal processor and video image signal processing method | |
JP2013055629A (en) | Video output device and video output method | |
JP6021063B2 (en) | Movie editing apparatus, movie editing method, program, and integrated circuit | |
JP5647741B2 (en) | Image signal processing apparatus and image signal processing method | |
JP5684205B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012090094A (en) | Image processing device, image processing method, and program | |
JP4991884B2 (en) | Image processing apparatus and image processing method | |
JP2012213070A (en) | Video signal generation device, video signal generation method, and control program | |
JP5349648B1 (en) | Image processing apparatus and image processing method | |
JP2012151615A (en) | Video output device and video output method | |
JP2014093694A (en) | Image processor and image processing method | |
JP2013093677A (en) | Image processing apparatus and image processing method | |
JP2011061709A (en) | Video processing apparatus and method | |
JP2015039057A (en) | Video signal processing device and video signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130312 |