JP2013093677A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2013093677A JP2013093677A JP2011233423A JP2011233423A JP2013093677A JP 2013093677 A JP2013093677 A JP 2013093677A JP 2011233423 A JP2011233423 A JP 2011233423A JP 2011233423 A JP2011233423 A JP 2011233423A JP 2013093677 A JP2013093677 A JP 2013093677A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- depth
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。 Embodiments described herein relate generally to an image processing apparatus and an image processing method that use depth information.
奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている(例えば、特許文献1参照。)。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。
In image processing using depth information, there is a technique based on the premise that the in-focus position can be known. However, there are various devices for obtaining the in-focus position.
In addition, a technique of having a means for modulating depth information is also disclosed in image processing using depth information (see, for example, Patent Document 1). However, there is a demand for more appropriate sharpening in this image processing, but means for realizing such demand is not known.
本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。 An embodiment of the present invention aims to provide an image processing apparatus and an image processing method capable of performing more appropriate sharpening in image processing using depth information.
上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。 In order to solve the above-described problem, according to the embodiment, an image processing apparatus acquires an input image and depth information that becomes smaller as each point of the input image is closer to the front, and the input image from the depth. An adjustment unit that specifies a processing amount that is the strength of processing at each point; and a processing unit that processes the input image based on the processing amount, wherein the processing unit determines the processing amount at each point of the input image. The depth of the input image is increased as it approaches the minimum value of the depth obtained from the image.
発明の効果は特には記載しない。 The effect of the invention is not particularly described.
実施形態を図1乃至図7を参照して説明する。
図1は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図1に示すディジタルテレビジョン放送受信装置(以下、ディジタルテレビジョンと称する)11は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけでなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
The embodiment will be described with reference to FIGS. 1 to 7.
FIG. 1 is a block diagram illustrating a signal processing system of a digital television broadcast receiver according to an embodiment.
A digital television broadcast receiving apparatus (hereinafter referred to as digital television) 11 shown in FIG. 1 not only performs video display based on a video signal for normal planar view (two-dimensional) display but also stereoscopic view (three-dimensional). ) Video display based on the video signal for display can also be performed.
図1に示すように、ディジタルテレビジョン11は、アンテナ12で受信したディジタルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
As shown in FIG. 1, a
ディジタルテレビジョン11は、チューナ部14で選局された放送信号を、復調復号部15に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部16に出力する。信号処理部16は、復調復号部15から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
The
ここで、信号処理部16が行なう所定のディジタル信号処理には、通常の平面視(2次元)表示用の映像信号を立体視(3次元)表示用の映像信号及び音声信号に変換する処理、その際に復調復号部15から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のOSD信号生成部19から入力された字幕などのOSD信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
Here, the predetermined digital signal processing performed by the
また、信号処理部16は、ディジタル映像信号を合成処理部17に出力し、ディジタル音声信号を音声処理部18に出力する。
合成処理部17は、信号処理部16から供給されるディジタル映像信号に、OSD(on screen display)信号生成部19で生成される字幕、GUI(Graphical User Interface)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をそのまま重畳して出力している。
Further, the
The synthesizing processing unit 17 converts the digital video signal supplied from the
また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信号を入力映像信号に重畳して出力している。
In addition, when the video signal supplied from the
ディジタルテレビジョン11は、合成処理部17から出力したディジタルの映像信号を、映像処理部20に供給する。映像処理部20は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部21で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン11は、映像処理部20から出力されたアナログ映像信号を、映像表示部21に供給して映像表示に供する。
The
音声処理部18は、入力されたディジタル音声信号を、後段のスピーカ22で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される。
The
ここで、ディジタルテレビジョン11は、上記した各種の受信動作を含むその全ての動作を制御部23によって統括的に制御している。この制御部23は、CPU(central processing nit)23aを内蔵しており、ディジタルテレビジョン11の本体に設置された操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
Here, the
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU23aが実行する制御プログラムを格納したROM(Read Only Memory)と、CPU23aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディスクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digital Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディスク28に対してディジタルデータの記録再生を行なう機能を有している。
The control unit 23 uses the memory unit 23b. The memory unit 23b mainly includes a ROM (Read Only Memory) storing a control program executed by the CPU 23a, a RAM (Random Access Memory) for providing a work area to the CPU 23a, various setting information, control information, and the like. And a non-volatile memory to be stored. Further, a disk drive unit 27 is connected to the control unit 23. The disk drive unit 27 is a unit that allows an
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供給して光ディスク28に記録させるように制御することができる。
The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording /
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27により光ディスク28からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
The control unit 23 causes the disc drive unit 27 to read out digital video signals and audio signals from the
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに記録させるように制御することができる。
An HDD (Hard Disk Drive) 30 is connected to the control unit 23. The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording /
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、HDD30によりハードディスク30aからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
Further, the control unit 23 causes the
さらに、ディジタルテレビジョン11には、入力端子31が接続されている。入力端子31は、ディジタルテレビジョン11の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子31を介して入力されたディジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
Furthermore, an
また、入力端子31を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部27による光ディスク28に対しての記録再生や、HDD30によるハードディスク30aに対しての記録再生に供される。
Also, the digital video signal and digital audio signal input through the
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されているディジタル映像信号及びディジタル音声信号をハードディスク30aに記録したり、ハードディスク30aに記録されているディジタル映像信号及びディジタル音声信号を光ディスク28に記録したりすることも制御している。
The control unit 23 receives the digital video signal and the digital audio signal recorded on the
また、制御部23には、ネットワークインターフェース32が接続されている。このネットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワークサーバ35,36が接続されている。このため、制御部23は、ネットワークインターフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
A
実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部31、平坦判定部32、調整部33、処理部34から成る。この画像処理装置は、信号処理部16あるいは映像処理部20、制御部23に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。
FIG. 3 shows the configuration of the image processing apparatus according to the embodiment. The image processing apparatus includes a
まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。
First, the
次に平坦判定部32は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。
Next, the
その後、調整部33は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。
Thereafter, the
最後に処理部34は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。
Finally, the
なお図2(a)は図3の一部を示し、図2(b)はその変形例であり調整部33bでは注目領域を想定しない処理となる。
再び図6は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図7は、図3の実施に用いられる上記信号処理部16主体の処理の一例を示すフローチャートである。
FIG. 2A shows a part of FIG. 3, and FIG. 2B is a modification thereof, and the
FIG. 6 is a diagram illustrating an example of the frequency histogram of the depth obtained from FIG. 3 in the embodiment and the processing amount obtained therefrom. FIG. 7 is a flowchart showing an example of processing mainly performed by the
図6では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Trは図4における木Trによる奥行きの分布から外れ値を表現している。この外れ値を除いた第2の奥行きの分布を用いるのも好適である。 In FIG. 6, the horizontal axis represents depth, and the vertical axis represents frequency and processing amount. The amount of processing decreases gradually as the depth increases. Tr represents an outlier from the depth distribution by the tree Tr in FIG. It is also preferable to use the second depth distribution excluding this outlier.
図3から得られる図7のフローチャートは次のステップとなる。
ステップS71: 画面各部の奥行き(図 5)を推定する。
ステップS72: 注目領域マップを生成する。
ステップS73: 処理量を定める。
ステップS74: 入力画像の輪郭を強調する。
(他の実施例及び/又は変形例)
(1)入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。
The flowchart of FIG. 7 obtained from FIG. 3 is the next step.
Step S71: Estimate the depth of each part of the screen (FIG. 5).
Step S72: Generate an attention area map.
Step S73: A processing amount is determined.
Step S74: The outline of the input image is emphasized.
(Other embodiments and / or modifications)
(1) You may exclude the area | region where the local dispersion | distribution of the signal in an input image is small from an attention area. This allows natural sharpening without using the depth obtained by inaccurate block matching.
(2)注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。 (2) The region of interest may be limited to the central portion obtained by cutting a certain width from the left and right ends of the input image. As a result, the processing amount is not affected by the left and right obstacles. It is desirable that the width does not exceed 1/6 of the image width, for example. The same processing may be applied to the upper and lower sides.
(3)注目領域を入力画像中における誘目度が大きい領域としてもよい。
(4)注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
(5)顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
(6)処理量には時間方向平滑化をかけてもよい。
(7)処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
(8)上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。
(3) The attention area may be an area having a high degree of attraction in the input image.
(4) The attention area may be an area occupied by an object with little movement in the input image.
(5) If face detection can be used, the maximum processing depth may correspond to the face.
(6) The amount of processing may be smoothed in the time direction.
(7) The processing performed by the processing unit may not be edge enhancement. For example, any processing that can specify the strength of processing, such as saturation enhancement and luminance amplification, may be used.
(8) In the second distribution, the processing amount given to the depth smaller than the minimum value Dmin of the second distribution is Dmin / 2 and 2 * Dmin−, where Dmax is the maximum value of the second distribution. It may be a straight line passing through 0 with the larger value of Dmax.
(9)第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
(10)奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。
(9) In the second distribution, a method for specifying an outlier of the distribution may be, for example, the upper and lower percentages% of the depth amount.
(10) The processing performed by the
(以上の実施形態の概要)
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。
(Overview of the above embodiment)
Applying a contour enhancement filter to the entire image to increase the sharpness of the image will increase the sharpness of the subject in the foreground and the subject in the back, and the result will deviate from the actual image characteristics of blurring the subject that is out of the focus position of the camera As a result, the sense of depth is lost. Therefore, an image processing apparatus has been described in which the sharpness difference is provided between subjects having different depths by changing the strength of contour enhancement according to the depth, and as a result, the depth feeling is increased. Moreover, since the high frequency of the part outside the in-focus position of the camera is likely to be noise, the noise is reduced by reducing sharpening other than the in-focus position.
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
11 ディジタルテレビジョン放送受信装置
15 復調復号部
16 信号処理部
17 合成処理部
18 音声処理部
19 OSD信号生成部
20 映像処理部
21 映像表示部
22 スピーカ
23 制御部
DESCRIPTION OF
本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。 Embodiments described herein relate generally to an image processing apparatus and an image processing method that use depth information.
奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている(例えば、特許文献1参照。)。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。
In image processing using depth information, there is a technique based on the premise that the in-focus position can be known. However, there are various devices for obtaining the in-focus position.
In addition, a technique of having a means for modulating depth information is also disclosed in image processing using depth information (see, for example, Patent Document 1). However, there is a demand for more appropriate sharpening in this image processing, but means for realizing such demand is not known.
本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。 An embodiment of the present invention aims to provide an image processing apparatus and an image processing method capable of performing more appropriate sharpening in image processing using depth information.
上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。 In order to solve the above-described problem, according to the embodiment, an image processing apparatus acquires an input image and depth information that becomes smaller as each point of the input image is closer to the front, and the input image from the depth. An adjustment unit that specifies a processing amount that is the strength of processing at each point; and a processing unit that processes the input image based on the processing amount, wherein the processing unit determines the processing amount at each point of the input image. The depth of the input image is increased as it approaches the minimum value of the depth obtained from the image.
実施形態を図1乃至図7を参照して説明する。
図1は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図1に示すディジタルテレビジョン放送受信装置(以下、ディジタルテレビジョンと称する)11は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけでなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
The embodiment will be described with reference to FIGS. 1 to 7.
FIG. 1 is a block diagram illustrating a signal processing system of a digital television broadcast receiver according to an embodiment.
A digital television broadcast receiving apparatus (hereinafter referred to as digital television) 11 shown in FIG. 1 not only performs video display based on a video signal for normal planar view (two-dimensional) display but also stereoscopic view (three-dimensional). ) Video display based on the video signal for display can also be performed.
図1に示すように、ディジタルテレビジョン11は、アンテナ12で受信したディジタルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
As shown in FIG. 1, a
ディジタルテレビジョン11は、チューナ部14で選局された放送信号を、復調復号部15に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部16に出力する。信号処理部16は、復調復号部15から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
The
ここで、信号処理部16が行なう所定のディジタル信号処理には、通常の平面視(2次元)表示用の映像信号を立体視(3次元)表示用の映像信号及び音声信号に変換する処理、その際に復調復号部15から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のOSD信号生成部19から入力された字幕などのOSD信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
Here, the predetermined digital signal processing performed by the
また、信号処理部16は、ディジタル映像信号を合成処理部17に出力し、ディジタル音声信号を音声処理部18に出力する。
合成処理部17は、信号処理部16から供給されるディジタル映像信号に、OSD(on screen display)信号生成部19で生成される字幕、GUI(Graphical User Interface)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をそのまま重畳して出力している。
Further, the
The synthesizing processing unit 17 converts the digital video signal supplied from the
また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信号を入力映像信号に重畳して出力している。
In addition, when the video signal supplied from the
ディジタルテレビジョン11は、合成処理部17から出力したディジタルの映像信号を、映像処理部20に供給する。映像処理部20は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部21で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン11は、映像処理部20から出力されたアナログ映像信号を、映像表示部21に供給して映像表示に供する。
The
音声処理部18は、入力されたディジタル音声信号を、後段のスピーカ22で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される。
The
ここで、ディジタルテレビジョン11は、上記した各種の受信動作を含むその全ての動作を制御部23によって統括的に制御している。この制御部23は、CPU(central processing nit)23aを内蔵しており、ディジタルテレビジョン11の本体に設置された操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
Here, the
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU23aが実行する制御プログラムを格納したROM(Read Only Memory)と、CPU23aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディスクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digital Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディスク28に対してディジタルデータの記録再生を行なう機能を有している。
The control unit 23 uses the memory unit 23b. The memory unit 23b mainly includes a ROM (Read Only Memory) storing a control program executed by the CPU 23a, a RAM (Random Access Memory) for providing a work area to the CPU 23a, various setting information, control information, and the like. And a non-volatile memory to be stored. Further, a disk drive unit 27 is connected to the control unit 23. The disk drive unit 27 is a unit that allows an
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供給して光ディスク28に記録させるように制御することができる。
The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording /
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27により光ディスク28からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
The control unit 23 causes the disc drive unit 27 to read out digital video signals and audio signals from the
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに記録させるように制御することができる。
An HDD (Hard Disk Drive) 30 is connected to the control unit 23. The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording /
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、HDD30によりハードディスク30aからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
Further, the control unit 23 causes the
さらに、ディジタルテレビジョン11には、入力端子31が接続されている。入力端子31は、ディジタルテレビジョン11の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子31を介して入力されたディジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
Furthermore, an
また、入力端子31を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部27による光ディスク28に対しての記録再生や、HDD30によるハードディスク30aに対しての記録再生に供される。
Also, the digital video signal and digital audio signal input through the
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されているディジタル映像信号及びディジタル音声信号をハードディスク30aに記録したり、ハードディスク30aに記録されているディジタル映像信号及びディジタル音声信号を光ディスク28に記録したりすることも制御している。
The control unit 23 receives the digital video signal and the digital audio signal recorded on the
また、制御部23には、ネットワークインターフェース32が接続されている。このネットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワークサーバ35,36が接続されている。このため、制御部23は、ネットワークインターフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
A
実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部31、平坦判定部32、調整部33、処理部34から成る。この画像処理装置は、信号処理部16あるいは映像処理部20、制御部23に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。
FIG. 3 shows the configuration of the image processing apparatus according to the embodiment. The image processing apparatus includes a
まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。
First, the
次に平坦判定部32は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。
Next, the
その後、調整部33は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。
Thereafter, the
最後に処理部34は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。
Finally, the
なお図2(a)は図3の一部を示し、図2(b)はその変形例であり調整部33bでは注目領域を想定しない処理となる。
再び図6は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図7は、図3の実施に用いられる上記信号処理部16主体の処理の一例を示すフローチャートである。
FIG. 2A shows a part of FIG. 3, and FIG. 2B is a modification thereof, and the
FIG. 6 is a diagram illustrating an example of the frequency histogram of the depth obtained from FIG. 3 in the embodiment and the processing amount obtained therefrom. FIG. 7 is a flowchart showing an example of processing mainly performed by the
図6では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Trは図4における木Trによる奥行きの分布から外れ値を表現している。この外れ値を除いた第2の奥行きの分布を用いるのも好適である。 In FIG. 6, the horizontal axis represents depth, and the vertical axis represents frequency and processing amount. The amount of processing decreases gradually as the depth increases. Tr represents an outlier from the depth distribution by the tree Tr in FIG. It is also preferable to use the second depth distribution excluding this outlier.
図3から得られる図7のフローチャートは次のステップとなる。
ステップS71: 画面各部の奥行き(図 5)を推定する。
ステップS72: 注目領域マップを生成する。
ステップS73: 処理量を定める。
ステップS74: 入力画像の輪郭を強調する。
(他の実施例及び/又は変形例)
(1)入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。
The flowchart of FIG. 7 obtained from FIG. 3 is the next step.
Step S71: Estimate the depth of each part of the screen (FIG. 5).
Step S72: Generate an attention area map.
Step S73: A processing amount is determined.
Step S74: The outline of the input image is emphasized.
(Other embodiments and / or modifications)
(1) You may exclude the area | region where the local dispersion | distribution of the signal in an input image is small from an attention area. This allows natural sharpening without using the depth obtained by inaccurate block matching.
(2)注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。 (2) The region of interest may be limited to the central portion obtained by cutting a certain width from the left and right ends of the input image. As a result, the processing amount is not affected by the left and right obstacles. It is desirable that the width does not exceed 1/6 of the image width, for example. The same processing may be applied to the upper and lower sides.
(3)注目領域を入力画像中における誘目度が大きい領域としてもよい。
(4)注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
(5)顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
(6)処理量には時間方向平滑化をかけてもよい。
(7)処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
(8)上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。
(3) The attention area may be an area having a high degree of attraction in the input image.
(4) The attention area may be an area occupied by an object with little movement in the input image.
(5) If face detection can be used, the maximum processing depth may correspond to the face.
(6) The amount of processing may be smoothed in the time direction.
(7) The processing performed by the processing unit may not be edge enhancement. For example, any processing that can specify the strength of processing, such as saturation enhancement and luminance amplification, may be used.
(8) In the second distribution, the processing amount given to the depth smaller than the minimum value Dmin of the second distribution is Dmin / 2 and 2 * Dmin−, where Dmax is the maximum value of the second distribution. It may be a straight line passing through 0 with the larger value of Dmax.
(9)第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
(10)奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。
(9) In the second distribution, a method for specifying an outlier of the distribution may be, for example, the upper and lower percentages% of the depth amount.
(10) The processing performed by the
(以上の実施形態の概要)
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。
(Overview of the above embodiment)
Applying a contour enhancement filter to the entire image to increase the sharpness of the image will increase the sharpness of the subject in the foreground and the subject in the back, and the result will deviate from the actual image characteristics of blurring the subject that is out of the focus position of the camera As a result, the sense of depth is lost. Therefore, an image processing apparatus has been described in which the sharpness difference is provided between subjects having different depths by changing the strength of contour enhancement according to the depth, and as a result, the depth feeling is increased. Moreover, since the high frequency of the part outside the in-focus position of the camera is likely to be noise, the noise is reduced by reducing sharpening other than the in-focus position.
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
11 ディジタルテレビジョン放送受信装置
15 復調復号部
16 信号処理部
17 合成処理部
18 音声処理部
19 OSD信号生成部
20 映像処理部
21 映像表示部
22 スピーカ
23 制御部
DESCRIPTION OF
Claims (7)
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、
前記処理量に基づいて前記入力画像を処理する処理部とを備え、
前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする画像処理装置。 An input unit that acquires the input image and depth information that becomes smaller as each point of the input image is in front;
An adjustment unit for designating a processing amount that is a processing intensity at each point of the input image from the depth;
A processing unit that processes the input image based on the processing amount,
The image processing apparatus, wherein the processing unit increases a processing amount at each point of the input image as a depth of the input image is closer to a minimum value of depth obtained from the image.
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定し、
前記処理量に基づいて前記入力画像を、この入力画像の各点における処理量をこの入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくするよう処理する画像処理方法。 Obtain depth information that becomes smaller as each point of the input image and the input image is closer to the front,
Specify the amount of processing that is the strength of processing at each point of the input image from the depth,
An image processing method for processing the input image based on the processing amount such that the processing amount at each point of the input image is increased as the depth of the input image is closer to the minimum depth obtained from the image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233423A JP2013093677A (en) | 2011-10-24 | 2011-10-24 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233423A JP2013093677A (en) | 2011-10-24 | 2011-10-24 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013093677A true JP2013093677A (en) | 2013-05-16 |
Family
ID=48616488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011233423A Pending JP2013093677A (en) | 2011-10-24 | 2011-10-24 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013093677A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319469A (en) * | 2005-05-10 | 2006-11-24 | Kazunari Era | Stereoscopic image generation device and program thereof |
JP2007264722A (en) * | 2006-03-27 | 2007-10-11 | Victor Co Of Japan Ltd | Image processor |
-
2011
- 2011-10-24 JP JP2011233423A patent/JP2013093677A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319469A (en) * | 2005-05-10 | 2006-11-24 | Kazunari Era | Stereoscopic image generation device and program thereof |
JP2007264722A (en) * | 2006-03-27 | 2007-10-11 | Victor Co Of Japan Ltd | Image processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9094657B2 (en) | Electronic apparatus and method | |
JP6024110B2 (en) | Image processing apparatus, image processing method, program, terminal device, and image processing system | |
JP5039182B2 (en) | Stereoscopic image output apparatus and backlight control method | |
US8565516B2 (en) | Image processing apparatus, image processing method, and program | |
US20130038611A1 (en) | Image conversion device | |
JP2010041336A (en) | Image processing unit and image processing method | |
JP2010041337A (en) | Image processing unit and image processing method | |
US20140362198A1 (en) | Stereoscopic Video Processor, Stereoscopic Video Processing Method and Stereoscopic Video Processing Program | |
US20120133734A1 (en) | Information processing apparatus, information processing method and program | |
JP4134163B2 (en) | Display device, display control device, display method, display program, and recording medium | |
JP2011216937A (en) | Stereoscopic image display device | |
JP2011015011A (en) | Device and method for adjusting image quality | |
JP2010206265A (en) | Device and method for controlling sound, data structure of stream, and stream generator | |
US20120105437A1 (en) | Image Reproducing Apparatus and Image Reproducing Method | |
KR102523672B1 (en) | Display apparatus, control method thereof and recording media | |
JP2013093677A (en) | Image processing apparatus and image processing method | |
JP2013214787A (en) | Video signal processing apparatus and video signal processing method | |
JP2014022947A (en) | Stereoscopic video transmission apparatus, stereoscopic video transmission method, and stereoscopic video processing apparatus | |
JP2012213070A (en) | Video signal generation device, video signal generation method, and control program | |
JP5238849B2 (en) | Electronic device, electronic device control method, and electronic device control program | |
US20130136336A1 (en) | Image processing apparatus and controlling method for image processing apparatus | |
JP2013055629A (en) | Video output device and video output method | |
JP5349648B1 (en) | Image processing apparatus and image processing method | |
JP4991884B2 (en) | Image processing apparatus and image processing method | |
JP2015039059A (en) | Stereoscopic vision image processor, stereoscopic vision image processing method and stereoscopic vision image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130423 |