JP2013093677A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2013093677A
JP2013093677A JP2011233423A JP2011233423A JP2013093677A JP 2013093677 A JP2013093677 A JP 2013093677A JP 2011233423 A JP2011233423 A JP 2011233423A JP 2011233423 A JP2011233423 A JP 2011233423A JP 2013093677 A JP2013093677 A JP 2013093677A
Authority
JP
Japan
Prior art keywords
processing
image
depth
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011233423A
Other languages
Japanese (ja)
Inventor
Kenzo Isogawa
賢造 五十川
Yoshiharu Momoi
芳晴 桃井
Kazuyasu Owaki
一泰 大脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011233423A priority Critical patent/JP2013093677A/en
Publication of JP2013093677A publication Critical patent/JP2013093677A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus and an image processing method capable of more proper sharpening in image processing using depth information.SOLUTION: The image processing apparatus comprises: an input unit for acquiring an input image and depth information decreasing as the respective points of the input image are located more to the front; an adjustment unit which designates a processing amount that is the strength of processing at the respective points of the input image from the depth; and a processing unit which processes the input image on the basis of the processing amount. The image processing unit increases the processing amount at the respective points of the input image as the depth of the input image is closer to the minimum value of the depth obtained from the image.

Description

本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。   Embodiments described herein relate generally to an image processing apparatus and an image processing method that use depth information.

奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている（例えば、特許文献１参照。）。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。 In image processing using depth information, there is a technique based on the premise that the in-focus position can be known. However, there are various devices for obtaining the in-focus position.
In addition, a technique of having a means for modulating depth information is also disclosed in image processing using depth information (see, for example, Patent Document 1). However, there is a demand for more appropriate sharpening in this image processing, but means for realizing such demand is not known.

特開平１０−２７６４５５号公報JP-A-10-276455

本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。   An embodiment of the present invention aims to provide an image processing apparatus and an image processing method capable of performing more appropriate sharpening in image processing using depth information.

上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。   In order to solve the above-described problem, according to the embodiment, an image processing apparatus acquires an input image and depth information that becomes smaller as each point of the input image is closer to the front, and the input image from the depth. An adjustment unit that specifies a processing amount that is the strength of processing at each point; and a processing unit that processes the input image based on the processing amount, wherein the processing unit determines the processing amount at each point of the input image. The depth of the input image is increased as it approaches the minimum value of the depth obtained from the image.

発明の効果は特には記載しない。   The effect of the invention is not particularly described.

この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。The block block diagram which shows the signal processing system of the digital television broadcast receiver which shows one Embodiment of this invention. 同実施形態の一部を示すブロック構成図。The block block diagram which shows a part of the same embodiment. 同実施形態装置を用いた画像処理システムを示すブロック図。The block diagram which shows the image processing system using the same embodiment apparatus. 同実施形態の左目画像の概念を表す図。The figure showing the concept of the left eye image of the embodiment. 同実施形態に用いられる奥行きの概念を表す図（黒い箇所ほど手前）。The figure showing the concept of the depth used for the embodiment (a black part is nearer). 実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図。FIG. 4 is a diagram illustrating an example of a depth frequency histogram obtained from FIG. 3 in the embodiment and a processing amount obtained therefrom. 図３の実施に用いられる処理の一例を示すフローチャート。The flowchart which shows an example of the process used for implementation of FIG.

実施形態を図１乃至図７を参照して説明する。
図１は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図１に示すディジタルテレビジョン放送受信装置（以下、ディジタルテレビジョンと称する）１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。 The embodiment will be described with reference to FIGS. 1 to 7.
FIG. 1 is a block diagram illustrating a signal processing system of a digital television broadcast receiver according to an embodiment.
A digital television broadcast receiving apparatus (hereinafter referred to as digital television) 11 shown in FIG. 1 not only performs video display based on a video signal for normal planar view (two-dimensional) display but also stereoscopic view (three-dimensional). ) Video display based on the video signal for display can also be performed.

図１に示すように、ディジタルテレビジョン１１は、アンテナ１２で受信したディジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。   As shown in FIG. 1, a digital television 11 selects a broadcast signal of a desired channel by supplying a digital television broadcast signal received by an antenna 12 to a tuner unit 14 via an input terminal 13. It is possible.

ディジタルテレビジョン１１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部１６に出力する。信号処理部１６は、復調復号部１５から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。   The digital television 11 supplies the broadcast signal selected by the tuner unit 14 to the demodulation / decoding unit 15 and restores it to a digital video signal, a digital audio signal, etc., and then outputs it to the signal processing unit 16. The signal processing unit 16 performs predetermined digital signal processing on the digital video signal and audio signal supplied from the demodulation / decoding unit 15.

ここで、信号処理部１６が行なう所定のディジタル信号処理には、通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号及び音声信号に変換する処理、その際に復調復号部１５から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のＯＳＤ信号生成部１９から入力された字幕などのＯＳＤ信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。   Here, the predetermined digital signal processing performed by the signal processing unit 16 includes processing for converting a normal planar (two-dimensional) display video signal into a stereoscopic (three-dimensional) display video signal and audio signal, At this time, a video signal for stereoscopic display is generated based on a digital video signal and a digital audio signal input from the demodulation / decoding unit 15 or an OSD signal such as caption input from the OSD signal generation unit 19 described later. Processing for generating depth information, processing for converting a video signal for stereoscopic display into a video signal for planar display, and the like are also included.

また、信号処理部１６は、ディジタル映像信号を合成処理部１７に出力し、ディジタル音声信号を音声処理部１８に出力する。
合成処理部１７は、信号処理部１６から供給されるディジタル映像信号に、ＯＳＤ（on screen display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。 Further, the signal processing unit 16 outputs a digital video signal to the synthesis processing unit 17 and outputs a digital audio signal to the audio processing unit 18.
The synthesizing processing unit 17 converts the digital video signal supplied from the signal processing unit 16 into video signals for superimposition such as subtitles, GUI (Graphical User Interface), and OSD generated by an OSD (on screen display) signal generation unit 19. An OSD signal is superimposed and output. In this case, if the video signal supplied from the signal processing unit 16 is a video signal for normal planar view display, the synthesis processing unit 17 uses the OSD signal supplied from the OSD signal generation unit 19 as it is. It is superimposed and output.

また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。   In addition, when the video signal supplied from the signal processing unit 16 is a video signal for stereoscopic display, the synthesis processing unit 17 receives the input stereoscopic video from the OSD signal supplied from the OSD signal generation unit 19. After performing the stereoscopic display signal processing corresponding to the display video signal, the OSD signal is superimposed on the input video signal and output.

ディジタルテレビジョン１１は、合成処理部１７から出力したディジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部２１で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン１１は、映像処理部２０から出力されたアナログ映像信号を、映像表示部２１に供給して映像表示に供する。   The digital television 11 supplies the digital video signal output from the synthesis processing unit 17 to the video processing unit 20. The video processing unit 20 converts the input digital video signal into an analog video signal in a format that can be displayed on a flat-type video display unit 21 having, for example, a liquid crystal display panel. The digital television 11 supplies the analog video signal output from the video processing unit 20 to the video display unit 21 for video display.

音声処理部１８は、入力されたディジタル音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。   The audio processing unit 18 converts the input digital audio signal into an analog audio signal in a format that can be reproduced by the speaker 22 at the subsequent stage. The analog audio signal output from the audio processing unit 18 is supplied to the speaker 22 for audio reproduction.

ここで、ディジタルテレビジョン１１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（central processing nit）２３ａを内蔵しており、ディジタルテレビジョン１１の本体に設置された操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。   Here, the digital television 11 comprehensively controls all the operations including the above-described various reception operations by the control unit 23. The control unit 23 incorporates a CPU (central processing nit) 23a, receives operation information from the operation unit 24 installed in the main body of the digital television 11, or is sent from the remote controller 25 and received by the reception unit. In response to the operation information received at 26, each unit is controlled so that the operation content is reflected.

制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してディジタルデータの記録再生を行なう機能を有している。   The control unit 23 uses the memory unit 23b. The memory unit 23b mainly includes a ROM (Read Only Memory) storing a control program executed by the CPU 23a, a RAM (Random Access Memory) for providing a work area to the CPU 23a, various setting information, control information, and the like. And a non-volatile memory to be stored. Further, a disk drive unit 27 is connected to the control unit 23. The disk drive unit 27 is a unit that allows an optical disk 28 such as a DVD (Digital Versatile Disk) to be detachable, and has a function of recording / reproducing digital data on the mounted optical disk 28.

制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。   The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 based on the operation of the operation unit 24 or the remote controller 25 by the viewer, and puts it into a predetermined recording format. After the conversion, it can be controlled to be supplied to the disk drive unit 27 and recorded on the optical disk 28.

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。   The control unit 23 causes the disc drive unit 27 to read out digital video signals and audio signals from the optical disc 28 based on the operation of the operation unit 24 and the remote controller 25 by the viewer, and the recording / playback processing unit 29 After decoding, the signal is supplied to the signal processing unit 16 so that it can be controlled to be used for the video display and the audio reproduction described above.

制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。   An HDD (Hard Disk Drive) 30 is connected to the control unit 23. The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 based on the operation of the operation unit 24 or the remote controller 25 by the viewer, and puts it into a predetermined recording format. After the conversion, it can be controlled to be supplied to the HDD 30 and recorded on the hard disk 30a.

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。   Further, the control unit 23 causes the HDD 30 to read out digital video signals and audio signals from the hard disk 30 a based on the operation of the operation unit 24 and the remote controller 25 by the viewer, and decodes them by the recording / playback processing unit 29. By supplying the signal to the signal processing unit 16, it can be controlled to be used for the video display and the audio reproduction described above.

さらに、ディジタルテレビジョン１１には、入力端子３１が接続されている。入力端子３１は、ディジタルテレビジョン１１の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子３１を介して入力されたディジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。   Furthermore, an input terminal 31 is connected to the digital television 11. The input terminal 31 is for directly inputting digital video signals and audio signals from the outside of the digital television 11. The digital video signal and audio signal input through the input terminal 31 are supplied to the signal processing unit 16 through the recording / playback processing unit 29 based on the control of the control unit 23, and thereafter the above-described processing. For video display and audio playback.

また、入力端子３１を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。   Also, the digital video signal and digital audio signal input through the input terminal 31 are sent to the optical disk 28 by the disk drive unit 27 after passing through the recording / playback processing unit 29 based on the control of the control unit 23. It is used for recording / reproduction and recording / reproduction for the hard disk 30 a by the HDD 30.

なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているディジタル映像信号及びディジタル音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているディジタル映像信号及びディジタル音声信号を光ディスク２８に記録したりすることも制御している。   The control unit 23 receives the digital video signal and the digital audio signal recorded on the optical disk 28 between the disk drive unit 27 and the HDD 30 based on the operation of the operation unit 24 and the remote controller 25 by the viewer. It also controls recording on the optical disk 28 and recording of the digital video signal and digital audio signal recorded on the hard disk 30a.

また、制御部２３には、ネットワークインターフェース３２が接続されている。このネットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインターフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。   A network interface 32 is connected to the control unit 23. The network interface 32 is connected to an external network 34 via an input / output terminal 33. The network 34 is connected to a plurality (two in the illustrated case) of network servers 35 and 36 for providing various services using the communication function via the network 34. Therefore, the control unit 23 accesses the desired network servers 35 and 36 via the network interface 32, the input / output terminal 33 and the network 34 to perform information communication, thereby using the service provided there. Be able to.

実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部３１、平坦判定部３２、調整部３３、処理部３４から成る。この画像処理装置は、信号処理部１６あるいは映像処理部２０、制御部２３に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。   FIG. 3 shows the configuration of the image processing apparatus according to the embodiment. The image processing apparatus includes a depth generation unit 31, a flatness determination unit 32, an adjustment unit 33, and a processing unit 34. This image processing apparatus is incorporated in the signal processing unit 16 or the video processing unit 20 and the control unit 23. The image processing apparatus may be implemented as a functional module such as software.

まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。   First, the depth generation unit 31 estimates the depth (FIG. 5) of each part of the screen by stereo matching using the right-eye image and the left-eye image (FIG. 5) obtained from the multi-tone composite unit 15 or the recording / playback processing unit 29. The depth is outputted so that the depth becomes smaller as the input image and each point of the input image are closer to each other.

次に平坦判定部３２は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。   Next, the flatness determination unit 32 generates a region-of-interest map in which the portion where the local variance of the signal of the left-eye image is smaller than the threshold is 0 and the other is 1. As a result, it is possible to perform processing that does not use the stereo matching result of the flat portion of the image that is likely to fail.

その後、調整部３３は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。   Thereafter, the adjustment unit 33 obtains the left-eye image and the depth at each point of the image, and increases as it approaches the minimum depth obtained from the region in which the attention area map is 1, and decreases as it approaches the maximum depth. Determine the amount. The relationship between the appearance frequency histogram of the depth and the processing amount is given by, for example, a straight line (FIG. 6) that takes the maximum value determined by the user at the minimum depth value and passes through 0 at the maximum depth value. If the main subject is an image in the center of the screen and there is no obstacle in front of the subject, the in-focus position and the minimum value of the depth in the center of the image are almost the same.

最後に処理部３４は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。   Finally, the processing unit 34 emphasizes the contour of the input image while changing the intensity according to the processing amount given by the adjustment unit. As a result, the in-focus position becomes sharper, while the other parts have reduced side effects of noise enhancement due to edge enhancement, and the image quality is improved.

なお図２（ａ）は図３の一部を示し、図２（ｂ）はその変形例であり調整部３３ｂでは注目領域を想定しない処理となる。
再び図６は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図７は、図３の実施に用いられる上記信号処理部１６主体の処理の一例を示すフローチャートである。 FIG. 2A shows a part of FIG. 3, and FIG. 2B is a modification thereof, and the adjustment unit 33b is a process that does not assume a region of interest.
FIG. 6 is a diagram illustrating an example of the frequency histogram of the depth obtained from FIG. 3 in the embodiment and the processing amount obtained therefrom. FIG. 7 is a flowchart showing an example of processing mainly performed by the signal processing unit 16 used in the implementation of FIG.

図６では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Ｔｒは図４における木Ｔｒによる奥行きの分布から外れ値を表現している。この外れ値を除いた第２の奥行きの分布を用いるのも好適である。   In FIG. 6, the horizontal axis represents depth, and the vertical axis represents frequency and processing amount. The amount of processing decreases gradually as the depth increases. Tr represents an outlier from the depth distribution by the tree Tr in FIG. It is also preferable to use the second depth distribution excluding this outlier.

図3から得られる図７のフローチャートは次のステップとなる。
ステップＳ７１： 画面各部の奥行き(図 5)を推定する。
ステップＳ７２： 注目領域マップを生成する。
ステップＳ７３： 処理量を定める。
ステップＳ７４： 入力画像の輪郭を強調する。
（他の実施例及び／又は変形例）
（１）入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。 The flowchart of FIG. 7 obtained from FIG. 3 is the next step.
Step S71: Estimate the depth of each part of the screen (FIG. 5).
Step S72: Generate an attention area map.
Step S73: A processing amount is determined.
Step S74: The outline of the input image is emphasized.
(Other embodiments and / or modifications)
(1) You may exclude the area | region where the local dispersion | distribution of the signal in an input image is small from an attention area. This allows natural sharpening without using the depth obtained by inaccurate block matching.

（２）注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。 (2) The region of interest may be limited to the central portion obtained by cutting a certain width from the left and right ends of the input image. As a result, the processing amount is not affected by the left and right obstacles. It is desirable that the width does not exceed 1/6 of the image width, for example. The same processing may be applied to the upper and lower sides.

（３）注目領域を入力画像中における誘目度が大きい領域としてもよい。
（４）注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
（５）顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
（６）処理量には時間方向平滑化をかけてもよい。
（７）処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
（８）上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。 (3) The attention area may be an area having a high degree of attraction in the input image.
(4) The attention area may be an area occupied by an object with little movement in the input image.
(5) If face detection can be used, the maximum processing depth may correspond to the face.
(6) The amount of processing may be smoothed in the time direction.
(7) The processing performed by the processing unit may not be edge enhancement. For example, any processing that can specify the strength of processing, such as saturation enhancement and luminance amplification, may be used.
(8) In the second distribution, the processing amount given to the depth smaller than the minimum value Dmin of the second distribution is Dmin / 2 and 2 * Dmin−, where Dmax is the maximum value of the second distribution. It may be a straight line passing through 0 with the larger value of Dmax.

（９）第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
（１０）奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。 (9) In the second distribution, a method for specifying an outlier of the distribution may be, for example, the upper and lower percentages% of the depth amount.
(10) The processing performed by the depth generation unit 31 may not be stereo matching. For example, a technique for estimating the depth from a single frame image or a moving image captured by a monocular camera instead of a stereo image may be used. Further, when using a technique for estimating the depth from the single frame image or the moving image captured by the monocular camera, the depth generation unit 31 obtains one image from the multi-tone composite unit 15 or the recording / playback processing unit 29. Just get it.

（以上の実施形態の概要）
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。 (Overview of the above embodiment)
Applying a contour enhancement filter to the entire image to increase the sharpness of the image will increase the sharpness of the subject in the foreground and the subject in the back, and the result will deviate from the actual image characteristics of blurring the subject that is out of the focus position of the camera As a result, the sense of depth is lost. Therefore, an image processing apparatus has been described in which the sharpness difference is provided between subjects having different depths by changing the strength of contour enhancement according to the depth, and as a result, the depth feeling is increased. Moreover, since the high frequency of the part outside the in-focus position of the camera is likely to be noise, the noise is reduced by reducing sharpening other than the in-focus position.

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。 In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.

１１ ディジタルテレビジョン放送受信装置
１５ 復調復号部
１６ 信号処理部
１７ 合成処理部
１８ 音声処理部
１９ ＯＳＤ信号生成部
２０ 映像処理部
２１ 映像表示部
２２ スピーカ
２３ 制御部 DESCRIPTION OF SYMBOLS 11 Digital television broadcast receiver 15 Demodulation decoding part 16 Signal processing part 17 Synthesis | combination processing part 18 Audio | voice processing part 19 OSD signal generation part 20 Video processing part 21 Video display part 22 Speaker 23 Control part

本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。   Embodiments described herein relate generally to an image processing apparatus and an image processing method that use depth information.

奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている（例えば、特許文献１参照。）。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。 In image processing using depth information, there is a technique based on the premise that the in-focus position can be known. However, there are various devices for obtaining the in-focus position.
In addition, a technique of having a means for modulating depth information is also disclosed in image processing using depth information (see, for example, Patent Document 1). However, there is a demand for more appropriate sharpening in this image processing, but means for realizing such demand is not known.

特開平１０−２７６４５５号公報JP-A-10-276455

本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。   An embodiment of the present invention aims to provide an image processing apparatus and an image processing method capable of performing more appropriate sharpening in image processing using depth information.

上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。   In order to solve the above-described problem, according to the embodiment, an image processing apparatus acquires an input image and depth information that becomes smaller as each point of the input image is closer to the front, and the input image from the depth. An adjustment unit that specifies a processing amount that is the strength of processing at each point; and a processing unit that processes the input image based on the processing amount, wherein the processing unit determines the processing amount at each point of the input image. The depth of the input image is increased as it approaches the minimum value of the depth obtained from the image.

この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。The block block diagram which shows the signal processing system of the digital television broadcast receiver which shows one Embodiment of this invention. 同実施形態の一部を示すブロック構成図。The block block diagram which shows a part of the same embodiment. 同実施形態装置を用いた画像処理システムを示すブロック図。The block diagram which shows the image processing system using the same embodiment apparatus. 同実施形態の左目画像の概念を表す図。The figure showing the concept of the left eye image of the embodiment. 同実施形態に用いられる奥行きの概念を表す図（黒い箇所ほど手前）。The figure showing the concept of the depth used for the embodiment (a black part is nearer). 実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図。FIG. 4 is a diagram illustrating an example of a depth frequency histogram obtained from FIG. 3 in the embodiment and a processing amount obtained therefrom. 図３の実施に用いられる処理の一例を示すフローチャート。The flowchart which shows an example of the process used for implementation of FIG.

実施形態を図１乃至図７を参照して説明する。
図１は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図１に示すディジタルテレビジョン放送受信装置（以下、ディジタルテレビジョンと称する）１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。 The embodiment will be described with reference to FIGS. 1 to 7.
FIG. 1 is a block diagram illustrating a signal processing system of a digital television broadcast receiver according to an embodiment.
A digital television broadcast receiving apparatus (hereinafter referred to as digital television) 11 shown in FIG. 1 not only performs video display based on a video signal for normal planar view (two-dimensional) display but also stereoscopic view (three-dimensional). ) Video display based on the video signal for display can also be performed.

図１に示すように、ディジタルテレビジョン１１は、アンテナ１２で受信したディジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。   As shown in FIG. 1, a digital television 11 selects a broadcast signal of a desired channel by supplying a digital television broadcast signal received by an antenna 12 to a tuner unit 14 via an input terminal 13. It is possible.

ディジタルテレビジョン１１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部１６に出力する。信号処理部１６は、復調復号部１５から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。   The digital television 11 supplies the broadcast signal selected by the tuner unit 14 to the demodulation / decoding unit 15 and restores it to a digital video signal, a digital audio signal, etc., and then outputs it to the signal processing unit 16. The signal processing unit 16 performs predetermined digital signal processing on the digital video signal and audio signal supplied from the demodulation / decoding unit 15.

ここで、信号処理部１６が行なう所定のディジタル信号処理には、通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号及び音声信号に変換する処理、その際に復調復号部１５から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のＯＳＤ信号生成部１９から入力された字幕などのＯＳＤ信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。   Here, the predetermined digital signal processing performed by the signal processing unit 16 includes processing for converting a normal planar (two-dimensional) display video signal into a stereoscopic (three-dimensional) display video signal and audio signal, At this time, a video signal for stereoscopic display is generated based on a digital video signal and a digital audio signal input from the demodulation / decoding unit 15 or an OSD signal such as caption input from the OSD signal generation unit 19 described later. Processing for generating depth information, processing for converting a video signal for stereoscopic display into a video signal for planar display, and the like are also included.

また、信号処理部１６は、ディジタル映像信号を合成処理部１７に出力し、ディジタル音声信号を音声処理部１８に出力する。
合成処理部１７は、信号処理部１６から供給されるディジタル映像信号に、ＯＳＤ（on screen display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。 Further, the signal processing unit 16 outputs a digital video signal to the synthesis processing unit 17 and outputs a digital audio signal to the audio processing unit 18.
The synthesizing processing unit 17 converts the digital video signal supplied from the signal processing unit 16 into video signals for superimposition such as subtitles, GUI (Graphical User Interface), and OSD generated by an OSD (on screen display) signal generation unit 19. An OSD signal is superimposed and output. In this case, if the video signal supplied from the signal processing unit 16 is a video signal for normal planar view display, the synthesis processing unit 17 uses the OSD signal supplied from the OSD signal generation unit 19 as it is. It is superimposed and output.

また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。   In addition, when the video signal supplied from the signal processing unit 16 is a video signal for stereoscopic display, the synthesis processing unit 17 receives the input stereoscopic video from the OSD signal supplied from the OSD signal generation unit 19. After performing the stereoscopic display signal processing corresponding to the display video signal, the OSD signal is superimposed on the input video signal and output.

ディジタルテレビジョン１１は、合成処理部１７から出力したディジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部２１で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン１１は、映像処理部２０から出力されたアナログ映像信号を、映像表示部２１に供給して映像表示に供する。   The digital television 11 supplies the digital video signal output from the synthesis processing unit 17 to the video processing unit 20. The video processing unit 20 converts the input digital video signal into an analog video signal in a format that can be displayed on a flat-type video display unit 21 having, for example, a liquid crystal display panel. The digital television 11 supplies the analog video signal output from the video processing unit 20 to the video display unit 21 for video display.

音声処理部１８は、入力されたディジタル音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。   The audio processing unit 18 converts the input digital audio signal into an analog audio signal in a format that can be reproduced by the speaker 22 at the subsequent stage. The analog audio signal output from the audio processing unit 18 is supplied to the speaker 22 for audio reproduction.

ここで、ディジタルテレビジョン１１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（central processing nit）２３ａを内蔵しており、ディジタルテレビジョン１１の本体に設置された操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。   Here, the digital television 11 comprehensively controls all the operations including the above-described various reception operations by the control unit 23. The control unit 23 incorporates a CPU (central processing nit) 23a, receives operation information from the operation unit 24 installed in the main body of the digital television 11, or is sent from the remote controller 25 and received by the reception unit. In response to the operation information received at 26, each unit is controlled so that the operation content is reflected.

制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してディジタルデータの記録再生を行なう機能を有している。   The control unit 23 uses the memory unit 23b. The memory unit 23b mainly includes a ROM (Read Only Memory) storing a control program executed by the CPU 23a, a RAM (Random Access Memory) for providing a work area to the CPU 23a, various setting information, control information, and the like. And a non-volatile memory to be stored. Further, a disk drive unit 27 is connected to the control unit 23. The disk drive unit 27 is a unit that allows an optical disk 28 such as a DVD (Digital Versatile Disk) to be detachable, and has a function of recording / reproducing digital data on the mounted optical disk 28.

制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。   The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 based on the operation of the operation unit 24 or the remote controller 25 by the viewer, and puts it into a predetermined recording format. After the conversion, it can be controlled to be supplied to the disk drive unit 27 and recorded on the optical disk 28.

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。   The control unit 23 causes the disc drive unit 27 to read out digital video signals and audio signals from the optical disc 28 based on the operation of the operation unit 24 and the remote controller 25 by the viewer, and the recording / playback processing unit 29 After decoding, the signal is supplied to the signal processing unit 16 so that it can be controlled to be used for the video display and the audio reproduction described above.

制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。   An HDD (Hard Disk Drive) 30 is connected to the control unit 23. The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 based on the operation of the operation unit 24 or the remote controller 25 by the viewer, and puts it into a predetermined recording format. After the conversion, it can be controlled to be supplied to the HDD 30 and recorded on the hard disk 30a.

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。   Further, the control unit 23 causes the HDD 30 to read out digital video signals and audio signals from the hard disk 30 a based on the operation of the operation unit 24 and the remote controller 25 by the viewer, and decodes them by the recording / playback processing unit 29. By supplying the signal to the signal processing unit 16, it can be controlled to be used for the video display and the audio reproduction described above.

さらに、ディジタルテレビジョン１１には、入力端子３１が接続されている。入力端子３１は、ディジタルテレビジョン１１の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子３１を介して入力されたディジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。   Furthermore, an input terminal 31 is connected to the digital television 11. The input terminal 31 is for directly inputting digital video signals and audio signals from the outside of the digital television 11. The digital video signal and audio signal input through the input terminal 31 are supplied to the signal processing unit 16 through the recording / playback processing unit 29 based on the control of the control unit 23, and thereafter the above-described processing. For video display and audio playback.

また、入力端子３１を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。   Also, the digital video signal and digital audio signal input through the input terminal 31 are sent to the optical disk 28 by the disk drive unit 27 after passing through the recording / playback processing unit 29 based on the control of the control unit 23. It is used for recording / reproduction and recording / reproduction for the hard disk 30 a by the HDD 30.

なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているディジタル映像信号及びディジタル音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているディジタル映像信号及びディジタル音声信号を光ディスク２８に記録したりすることも制御している。   The control unit 23 receives the digital video signal and the digital audio signal recorded on the optical disk 28 between the disk drive unit 27 and the HDD 30 based on the operation of the operation unit 24 and the remote controller 25 by the viewer. It also controls recording on the optical disk 28 and recording of the digital video signal and digital audio signal recorded on the hard disk 30a.

また、制御部２３には、ネットワークインターフェース３２が接続されている。このネットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインターフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。   A network interface 32 is connected to the control unit 23. The network interface 32 is connected to an external network 34 via an input / output terminal 33. The network 34 is connected to a plurality (two in the illustrated case) of network servers 35 and 36 for providing various services using the communication function via the network 34. Therefore, the control unit 23 accesses the desired network servers 35 and 36 via the network interface 32, the input / output terminal 33 and the network 34 to perform information communication, thereby using the service provided there. Be able to.

実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部３１、平坦判定部３２、調整部３３、処理部３４から成る。この画像処理装置は、信号処理部１６あるいは映像処理部２０、制御部２３に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。   FIG. 3 shows the configuration of the image processing apparatus according to the embodiment. The image processing apparatus includes a depth generation unit 31, a flatness determination unit 32, an adjustment unit 33, and a processing unit 34. This image processing apparatus is incorporated in the signal processing unit 16 or the video processing unit 20 and the control unit 23. The image processing apparatus may be implemented as a functional module such as software.

まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。   First, the depth generation unit 31 estimates the depth (FIG. 5) of each part of the screen by stereo matching using the right-eye image and the left-eye image (FIG. 5) obtained from the multi-tone composite unit 15 or the recording / playback processing unit 29. The depth is outputted so that the depth becomes smaller as the input image and each point of the input image are closer to each other.

次に平坦判定部３２は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。   Next, the flatness determination unit 32 generates a region-of-interest map in which the portion where the local variance of the signal of the left-eye image is smaller than the threshold is 0 and the other is 1. As a result, it is possible to perform processing that does not use the stereo matching result of the flat portion of the image that is likely to fail.

その後、調整部３３は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。   Thereafter, the adjustment unit 33 obtains the left-eye image and the depth at each point of the image, and increases as it approaches the minimum depth obtained from the region in which the attention area map is 1, and decreases as it approaches the maximum depth. Determine the amount. The relationship between the appearance frequency histogram of the depth and the processing amount is given by, for example, a straight line (FIG. 6) that takes the maximum value determined by the user at the minimum depth value and passes through 0 at the maximum depth value. If the main subject is an image in the center of the screen and there is no obstacle in front of the subject, the in-focus position and the minimum value of the depth in the center of the image are almost the same.

最後に処理部３４は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。   Finally, the processing unit 34 emphasizes the contour of the input image while changing the intensity according to the processing amount given by the adjustment unit. As a result, the in-focus position becomes sharper, while the other parts have reduced side effects of noise enhancement due to edge enhancement, and the image quality is improved.

なお図２（ａ）は図３の一部を示し、図２（ｂ）はその変形例であり調整部３３ｂでは注目領域を想定しない処理となる。
再び図６は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図７は、図３の実施に用いられる上記信号処理部１６主体の処理の一例を示すフローチャートである。 FIG. 2A shows a part of FIG. 3, and FIG. 2B is a modification thereof, and the adjustment unit 33b is a process that does not assume a region of interest.
FIG. 6 is a diagram illustrating an example of the frequency histogram of the depth obtained from FIG. 3 in the embodiment and the processing amount obtained therefrom. FIG. 7 is a flowchart showing an example of processing mainly performed by the signal processing unit 16 used in the implementation of FIG.

図６では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Ｔｒは図４における木Ｔｒによる奥行きの分布から外れ値を表現している。この外れ値を除いた第２の奥行きの分布を用いるのも好適である。   In FIG. 6, the horizontal axis represents depth, and the vertical axis represents frequency and processing amount. The amount of processing decreases gradually as the depth increases. Tr represents an outlier from the depth distribution by the tree Tr in FIG. It is also preferable to use the second depth distribution excluding this outlier.

図3から得られる図７のフローチャートは次のステップとなる。
ステップＳ７１： 画面各部の奥行き(図 5)を推定する。
ステップＳ７２： 注目領域マップを生成する。
ステップＳ７３： 処理量を定める。
ステップＳ７４： 入力画像の輪郭を強調する。
（他の実施例及び／又は変形例）
（１）入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。 The flowchart of FIG. 7 obtained from FIG. 3 is the next step.
Step S71: Estimate the depth of each part of the screen (FIG. 5).
Step S72: Generate an attention area map.
Step S73: A processing amount is determined.
Step S74: The outline of the input image is emphasized.
(Other embodiments and / or modifications)
(1) You may exclude the area | region where the local dispersion | distribution of the signal in an input image is small from an attention area. This allows natural sharpening without using the depth obtained by inaccurate block matching.

（２）注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。 (2) The region of interest may be limited to the central portion obtained by cutting a certain width from the left and right ends of the input image. As a result, the processing amount is not affected by the left and right obstacles. It is desirable that the width does not exceed 1/6 of the image width, for example. The same processing may be applied to the upper and lower sides.

（３）注目領域を入力画像中における誘目度が大きい領域としてもよい。
（４）注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
（５）顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
（６）処理量には時間方向平滑化をかけてもよい。
（７）処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
（８）上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。 (3) The attention area may be an area having a high degree of attraction in the input image.
(4) The attention area may be an area occupied by an object with little movement in the input image.
(5) If face detection can be used, the maximum processing depth may correspond to the face.
(6) The amount of processing may be smoothed in the time direction.
(7) The processing performed by the processing unit may not be edge enhancement. For example, any processing that can specify the strength of processing, such as saturation enhancement and luminance amplification, may be used.
(8) In the second distribution, the processing amount given to the depth smaller than the minimum value Dmin of the second distribution is Dmin / 2 and 2 * Dmin−, where Dmax is the maximum value of the second distribution. It may be a straight line passing through 0 with the larger value of Dmax.

（９）第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
（１０）奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。 (9) In the second distribution, a method for specifying an outlier of the distribution may be, for example, the upper and lower percentages% of the depth amount.
(10) The processing performed by the depth generation unit 31 may not be stereo matching. For example, a technique for estimating the depth from a single frame image or a moving image captured by a monocular camera instead of a stereo image may be used. Further, when using a technique for estimating the depth from the single frame image or the moving image captured by the monocular camera, the depth generation unit 31 obtains one image from the multi-tone composite unit 15 or the recording / playback processing unit 29. Just get it.

（以上の実施形態の概要）
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。 (Overview of the above embodiment)
Applying a contour enhancement filter to the entire image to increase the sharpness of the image will increase the sharpness of the subject in the foreground and the subject in the back, and the result will deviate from the actual image characteristics of blurring the subject that is out of the focus position of the camera As a result, the sense of depth is lost. Therefore, an image processing apparatus has been described in which the sharpness difference is provided between subjects having different depths by changing the strength of contour enhancement according to the depth, and as a result, the depth feeling is increased. Moreover, since the high frequency of the part outside the in-focus position of the camera is likely to be noise, the noise is reduced by reducing sharpening other than the in-focus position.

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。 In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.

１１ ディジタルテレビジョン放送受信装置
１５ 復調復号部
１６ 信号処理部
１７ 合成処理部
１８ 音声処理部
１９ ＯＳＤ信号生成部
２０ 映像処理部
２１ 映像表示部
２２ スピーカ
２３ 制御部 DESCRIPTION OF SYMBOLS 11 Digital television broadcast receiver 15 Demodulation decoding part 16 Signal processing part 17 Synthesis | combination processing part 18 Audio | voice processing part 19 OSD signal generation part 20 Video processing part 21 Video display part 22 Speaker 23 Control part

Claims (7)

入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、
前記処理量に基づいて前記入力画像を処理する処理部とを備え、
前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする画像処理装置。 An input unit that acquires the input image and depth information that becomes smaller as each point of the input image is in front;
An adjustment unit for designating a processing amount that is a processing intensity at each point of the input image from the depth;
A processing unit that processes the input image based on the processing amount,
The image processing apparatus, wherein the processing unit increases a processing amount at each point of the input image as a depth of the input image is closer to a minimum value of depth obtained from the image. 前記最小値は更に、前記画像の一部である注目領域内における奥行きの最小値である請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the minimum value is a minimum value of a depth in a region of interest that is a part of the image. 前記注目領域は、前記入力画像においてエッジ強度が閾値以上の領域である請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the region of interest is a region having an edge strength of a threshold value or more in the input image. 前記最小値は更に、前記注目領域から得られた前記奥行きの分布から外れ値を除いた第２の奥行きの分布の最小値である請求項２に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the minimum value is a minimum value of a second depth distribution obtained by removing an outlier from the depth distribution obtained from the region of interest. 前記入力画像の各点の奥行きが、前記注目領域における奥行きの最大値に近いほど、前記処理量を小さくする請求項２または4に記載の画像処理装置。   5. The image processing apparatus according to claim 2, wherein the processing amount is decreased as the depth of each point of the input image is closer to the maximum depth value in the region of interest. 前記処理部は画像中の高周波成分を強調する請求項１乃至５に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the processing unit emphasizes a high-frequency component in the image. 入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得し、
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定し、
前記処理量に基づいて前記入力画像を、この入力画像の各点における処理量をこの入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくするよう処理する画像処理方法。 Obtain depth information that becomes smaller as each point of the input image and the input image is closer to the front,
Specify the amount of processing that is the strength of processing at each point of the input image from the depth,
An image processing method for processing the input image based on the processing amount such that the processing amount at each point of the input image is increased as the depth of the input image is closer to the minimum depth obtained from the image.
JP2011233423A 2011-10-24 2011-10-24 Image processing apparatus and image processing method Pending JP2013093677A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011233423A JP2013093677A (en) 2011-10-24 2011-10-24 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011233423A JP2013093677A (en) 2011-10-24 2011-10-24 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
JP2013093677A true JP2013093677A (en) 2013-05-16

Family

ID=48616488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011233423A Pending JP2013093677A (en) 2011-10-24 2011-10-24 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP2013093677A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319469A (en) * 2005-05-10 2006-11-24 Kazunari Era Stereoscopic image generation device and program thereof
JP2007264722A (en) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd Image processor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319469A (en) * 2005-05-10 2006-11-24 Kazunari Era Stereoscopic image generation device and program thereof
JP2007264722A (en) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd Image processor

Similar Documents

Publication Publication Date Title
US9094657B2 (en) Electronic apparatus and method
JP6024110B2 (en) Image processing apparatus, image processing method, program, terminal device, and image processing system
JP5039182B2 (en) Stereoscopic image output apparatus and backlight control method
JP4444354B2 (en) Image processing apparatus and image processing method
US20130038611A1 (en) Image conversion device
JP2010041336A (en) Image processing unit and image processing method
US20110194756A1 (en) Image processing apparatus, image processing method, and program
JP5851625B2 (en) Stereoscopic video processing apparatus, stereoscopic video processing method, and stereoscopic video processing program
JP2012119738A (en) Information processing apparatus, information processing method and program
JP4134163B2 (en) Display device, display control device, display method, display program, and recording medium
JP2011216937A (en) Stereoscopic image display device
JP2011015011A (en) Device and method for adjusting image quality
JP2010206265A (en) Device and method for controlling sound, data structure of stream, and stream generator
JP5066244B2 (en) Video playback apparatus and video playback method
EP3687184A1 (en) Display device, control method therefor and recording medium
JP2013093677A (en) Image processing apparatus and image processing method
JP2014022947A (en) Stereoscopic video transmission apparatus, stereoscopic video transmission method, and stereoscopic video processing apparatus
JP2012213070A (en) Video signal generation device, video signal generation method, and control program
JP5238849B2 (en) Electronic device, electronic device control method, and electronic device control program
JP2013055629A (en) Video output device and video output method
JP5349648B1 (en) Image processing apparatus and image processing method
JP4991884B2 (en) Image processing apparatus and image processing method
JP2015039059A (en) Stereoscopic vision image processor, stereoscopic vision image processing method and stereoscopic vision image processing program
JP2013214787A (en) Video signal processing apparatus and video signal processing method
JP2014093694A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130423