JP2013131160A - Image processing device, imaging device, display device, image processing method, and image processing program - Google Patents
Image processing device, imaging device, display device, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2013131160A JP2013131160A JP2011281945A JP2011281945A JP2013131160A JP 2013131160 A JP2013131160 A JP 2013131160A JP 2011281945 A JP2011281945 A JP 2011281945A JP 2011281945 A JP2011281945 A JP 2011281945A JP 2013131160 A JP2013131160 A JP 2013131160A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- vanishing point
- intensity
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 366
- 238000003384 imaging method Methods 0.000 title claims description 28
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 15
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
に関する。
The present invention relates to an image processing device, an imaging device, a display device, an image processing method, and an image processing program.
静止画又は動画をカメラで撮影したり、モニタに表示したりする際に、静止画又は動画の先鋭感又は鮮明感を高めるために、様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理、鮮明感を増加させる彩度強調処理、又は奥行きデータを使用して奥行き感を調整する画像処理が知られている。 Various image processing techniques have been developed in order to enhance the sharpness or sharpness of a still image or moving image when the still image or moving image is shot with a camera or displayed on a monitor. For example, contour enhancement processing that increases sharpness, saturation enhancement processing that increases sharpness, or image processing that adjusts the depth feeling using depth data is known.
特許文献１において、画像処理装置が奥行きデータと奥行き程度により、奥行き感の補正ゲインを制御することにより、奥行き感の程度を調整できることが開示されている。奥行きデータの取得方式としては、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、例えば、対象物に照射した赤外線の反射光から、対象物までの距離を算出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）がある。パッシブ方式としては、例えば、ステレオカメラで撮像されたステレオ画像でマッチングをとることにより視差を算出する方式がある。 Patent Document 1 discloses that the degree of depth can be adjusted by the image processing apparatus controlling the correction gain of the sense of depth based on the depth data and the depth. Depth data acquisition methods include an active method and a passive method. As an active method, for example, there is TOF (Time Of Flight) for calculating a distance to an object from reflected infrared light irradiated to the object. As a passive method, for example, there is a method of calculating parallax by matching a stereo image captured by a stereo camera.
しかしながら、特許文献１では、アクティブ方式又はパッシブ方式を利用して奥行きデータを取得した場合、遠景における奥行きの精度および分解能が低下してしまう問題がある。例えば、アクティブ方式では、赤外線の照射強度に依存した精度および分解能となるので、赤外線の反射光が検出できない遠景では距離が全て無限遠となってしまう。すなわち、赤外線の反射光が検出できない遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。 However, in Patent Document 1, when depth data is acquired using an active method or a passive method, there is a problem that the accuracy and resolution of depth in a distant view are degraded. For example, in the active method, the accuracy and resolution depend on the irradiation intensity of infrared rays, so that the distance is all infinite in a distant view where infrared reflected light cannot be detected. That is, the depth resolution is lost in a distant view where infrared reflected light cannot be detected, and the depth cannot be represented accurately.
一方、パッシブ方式では、平行に配置された２つのカメラから視差を奥行きデータの一例として算出するとき、視差と距離との関係は反比例であり、遠景の視差は全て０となってしまう。すなわち、遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。その結果、従来の画像処理装置は、そのような遠景において奥行きに応じた画像処理を施すことができず、ユーザは十分に奥行きを感じることができなかった。 On the other hand, in the passive method, when the parallax is calculated as an example of depth data from two cameras arranged in parallel, the relationship between the parallax and the distance is inversely proportional, and the disparity of the distant view is all zero. That is, the depth resolution is lost in a distant view, and the depth cannot be represented accurately. As a result, the conventional image processing apparatus cannot perform image processing according to the depth in such a distant view, and the user cannot feel the depth sufficiently.
そこで本発明は、上記問題に鑑みてなされたものであり、ユーザに奥行き感を感じさせることを可能とする画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラムを提供することを課題とする。 Therefore, the present invention has been made in view of the above problems, and provides an image processing device, an imaging device, a display device, an image processing method, and an image processing program that allow a user to feel a sense of depth. Let it be an issue.
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は画像情報から消失点の位置を算出する消失点算出部と、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に少なくとも基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理部と、を備えることを特徴とする画像処理装置である。 (1) The present invention has been made in view of the above circumstances, and one aspect of the present invention is a vanishing point calculation unit that calculates the position of a vanishing point from image information, a pixel included in the image information, and an image processing unit. An image processing intensity determination unit that determines an image processing intensity at the target pixel based on at least a distance between a target pixel that is a target and the position of the vanishing point calculated by the vanishing point calculation unit, and the image processing intensity determination unit An image processing apparatus comprising: an image processing unit that performs image processing on image information in the target pixel according to the determined image processing intensity.
（２）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記対象画素の奥行き情報及び前記対象画素と前記消失点との距離に基づいて、前記対象画素における画像処理強度を決定することを特徴とする。 (2) In the image processing device described above, according to one aspect of the present invention, the image processing intensity determination unit is configured to determine the target based on depth information of the target pixel and a distance between the target pixel and the vanishing point. It is characterized in that the image processing intensity in the pixel is determined.
（３）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記奥行き情報が奥を示すほど前記画像処理強度を大きくし、前記対象画素と前記消失点との距離が小さくなるほど前記画像処理強度を大きくすることを特徴とする。 (3) In the image processing apparatus described above, according to one aspect of the present invention, the image processing intensity determination unit increases the image processing intensity as the depth information indicates the depth, and the target pixel and the vanishing point. The image processing intensity is increased as the distance between and becomes smaller.
（４）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度決定部は、前記奥行き情報の値が予め決められた特定の範囲にある場合、対象画素と消失点との距離に基づいて前記画像処理強度を決定することを特徴とする。 (4) In the image processing apparatus described above, according to one aspect of the present invention, the image processing intensity determination unit may determine whether the depth information value is within a predetermined range, the target pixel, the vanishing point, The image processing intensity is determined based on the distance.
（５）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理強度は、前記対象画素と前記消失点との垂直方向の距離に応じて画像処理強度を変化させることを特徴とする。 (5) In the image processing device described above, one aspect of the present invention is characterized in that the image processing intensity changes the image processing intensity according to a vertical distance between the target pixel and the vanishing point. And
（６）上記に記載の画像処理装置において、本発明の一態様は、前記画像情報と、前前記画像情報とは視点の異なる画像とに基づき、前記画像情報の各画素に対応する視差を算出し、算出した該視差に基づいて前記奥行き情報を決定する視差算出部を備えることを特徴とする。 (6) In the image processing apparatus described above, according to one aspect of the present invention, the parallax corresponding to each pixel of the image information is calculated based on the image information and an image having a different viewpoint from the previous image information. And a disparity calculating unit that determines the depth information based on the calculated disparity.
（７）上記に記載の画像処理装置において、本発明の一態様は、前記画像情報の各画素に対応する前記奥行き値を、前記画像情報に基づき推定する奥行き情報算出部を備えることを特徴とする。 (7) In the image processing apparatus described above, one aspect of the present invention includes a depth information calculation unit that estimates the depth value corresponding to each pixel of the image information based on the image information. To do.
（８）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理部で処理する画像処理が、輪郭強調またはコントラスト補正または彩度補正であることを特徴とする。 (8) In the image processing apparatus described above, according to one aspect of the present invention, the image processing processed by the image processing unit is contour enhancement, contrast correction, or saturation correction.
（９）本発明の一態様は、被写体を撮像して画像情報を生成する撮像部と、
前記撮像部が生成した画像情報に対して画像処理を行う上記に記載の画像処理装置と、を備えることを特徴とする撮像装置である。
(9) According to one aspect of the present invention, an imaging unit that images a subject and generates image information;
An image processing apparatus comprising: the image processing apparatus described above that performs image processing on image information generated by the image capturing unit.
（１０）本発明の一態様は上記に記載の画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部と、を備えることを特徴とする表示装置である。 (10) One aspect of the present invention is a display device including the above-described image processing device and an image display unit that displays an image processed by the image processing device.
（１１）本発明の一態様は、消失点算出部が、画像情報から消失点の位置を算出する手順と、画像処理強度決定部が、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する手順と、画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う手順と、を有することを特徴とする画像処理方法である。 (11) According to one aspect of the present invention, the vanishing point calculation unit calculates the position of the vanishing point from the image information, and the image processing intensity determination unit is a pixel included in the image information and is an object of image processing A procedure for determining image processing intensity at the target pixel based on a distance between the target pixel to be calculated and the position of the vanishing point calculated by the vanishing point calculating unit, and the image processing intensity determining unit determines the image processing intensity And a procedure for performing image processing on the image information in the target pixel in accordance with the image processing intensity.
（１２）本発明の一態様は、コンピュータに、画像情報から消失点の位置を算出する消失点算出ステップと、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出ステップにより算出された消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定ステップと、前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理ステップと、を実行させるための画像処理プログラムである。 (12) According to one aspect of the present invention, there is provided a computer with a vanishing point calculating step of calculating a vanishing point position from image information, a pixel included in the image information and a target pixel to be subjected to image processing, and the disappearance In accordance with the image processing intensity determination step for determining the image processing intensity at the target pixel based on the distance from the vanishing point position calculated by the point calculation step, and the image processing intensity determined by the image processing intensity determination step And an image processing step for executing an image processing step for performing image processing on image information in the target pixel.
本発明によれば、ユーザに奥行き感を感じさせることができる。 According to the present invention, the user can feel a sense of depth.
［第１の実施形態］
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。図１は、第１の実施形態における画像処理装置１００の概略ブロック図である。画像処理装置１００は、画像処理強度決定部１０１と、画像処理部１０２と、消失点算出部１０３とを備える。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that expressions in the drawings are exaggerated for easy understanding, and may be different from actual ones. FIG. 1 is a schematic block diagram of an image processing apparatus 100 according to the first embodiment. The image processing apparatus 100 includes an image processing intensity determination unit 101, an image processing unit 102, and a vanishing point calculation unit 103.
画像処理装置１００には、入力画像である画像情報Ｇｉと、画像情報Ｇｉに対応した奥行き情報Ｄが入力される。画像処理装置１００は、奥行き情報Ｄに基づき、画像情報Ｇｉに対して画像処理を行い、処理結果を出力画像情報Ｇｏとして出力する。ここで、画像情報Ｇｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。 The image processing apparatus 100 receives image information Gi that is an input image and depth information D corresponding to the image information Gi. The image processing apparatus 100 performs image processing on the image information Gi based on the depth information D, and outputs the processing result as output image information Go. Here, the image information Gi may be data or a signal representing a moving image such as a video signal, or may be data or a signal representing a still image such as a JPEG (Joint Picture Experts Group) file.
消失点算出部１０３は、入力された画像情報Ｇｉから消失点の位置を算出する。ここで、消失点とは、遠近法において実際のものでは平行線になっているものを平行でなく描く際に、その線が交わる点である。消失点算出部１０３は、算出した消失点の座標（以下、消失点座標と称す）を画像処理強度決定部１０１へ出力する。 The vanishing point calculation unit 103 calculates the position of the vanishing point from the input image information Gi. Here, the vanishing point is a point where lines intersect when drawing what is actually a parallel line in perspective, but not parallel. The vanishing point calculation unit 103 outputs the calculated vanishing point coordinates (hereinafter referred to as vanishing point coordinates) to the image processing intensity determination unit 101.
画像処理強度決定部１０１は、画像処理の対象となる対象画素と消失点算出部１０３が算出した消失点の位置との距離に少なくとも基づいて、上記対象画素における画像処理の強度（以下、画像処理強度と称する）Ｓを決定する。ここで、画像処理強度Ｓは数字（例えば、０から１までの数）である。例えば、画像処理強度決定部１０１は、外部から入力された奥行き情報Ｄ及び対象画素と消失点算出部１０３から入力された消失点座標との距離とに基づいて、対象画素における画像処理強度Ｓを決定する。そして、画像処理強度決定部１０１は、決定した画像処理強度Ｓを画像処理部１０２に出力する。 The image processing intensity determination unit 101 determines the image processing intensity (hereinafter referred to as image processing) on the target pixel based on at least the distance between the target pixel to be image processed and the vanishing point position calculated by the vanishing point calculation unit 103. S) (referred to as intensity). Here, the image processing intensity S is a number (for example, a number from 0 to 1). For example, the image processing intensity determination unit 101 determines the image processing intensity S in the target pixel based on the depth information D input from the outside and the distance between the target pixel and the vanishing point coordinate input from the vanishing point calculation unit 103. decide. Then, the image processing intensity determination unit 101 outputs the determined image processing intensity S to the image processing unit 102.
画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓにしたがって、上記画像情報に対して画像処理を行う。具体的には、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓによって奥行き感を向上させる画像処理を行う。ここで、画像処理は、例えば、輪郭強調、コントラスト補正又は彩度補正が好適である。
そして、画像処理部１０２は、画像処理後の画像を出力画像情報Ｇｏとして自装置の外部へ出力する。
なお、画像処理強度決定部１０１、画像処理部１０２及び消失点算出部１０３各ブロックはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア、又は画像処理装置１００に内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。
The image processing unit 102 performs image processing on the image information in accordance with the image processing intensity S determined by the image processing intensity determining unit 101. Specifically, the image processing unit 102 performs image processing for improving the sense of depth by the image processing intensity S determined by the image processing intensity determining unit 101. Here, the image processing is preferably, for example, contour enhancement, contrast correction, or saturation correction.
Then, the image processing unit 102 outputs the image after the image processing to the outside of the own apparatus as output image information Go.
Note that each block of the image processing intensity determination unit 101, the image processing unit 102, and the vanishing point calculation unit 103 is hardware such as an FPGA (Field-Programmable Gate Array) or a microcomputer (not shown) included in the image processing apparatus 100. You may comprise by the software processed by.
＜消失点算出処理の詳細＞
続いて、図２を用いて、消失点算出部１０３の処理について説明する。図２は、消失点の算出の例を示す撮像画像の模式図である。ここで、撮像画像は、画像情報Ｇｉが示す画像の一例である。同図の撮像画像の模式図において、被写体Ａ、Ｂ、Ｃ及びＤが表されている。同図において、被写体Ａの下側の輪郭を伸ばした直線と、被写体Ａの上側の輪郭を伸ばした直線とが交わる点が消失点Ｖである。
<Details of vanishing point calculation process>
Then, the process of the vanishing point calculation part 103 is demonstrated using FIG. FIG. 2 is a schematic diagram of a captured image showing an example of vanishing point calculation. Here, the captured image is an example of an image indicated by the image information Gi. In the schematic diagram of the picked-up image in the same figure, subjects A, B, C, and D are represented. In the figure, the vanishing point V is a point where a straight line extending the lower contour of the subject A and a straight line extending the upper contour of the subject A intersect.
消失点算出部１０３は、画像情報Ｇｉから画像情報Ｇｉの消失点を算出する。例えば、消失点算出部１０３は、図２に示すように、入力される画像情報Ｇｉから公知のハフ変換を利用して直線を検出する。図２の例において、消失点算出部１０３は被写体Ａの下側及び上側の輪郭から直線を算出する。そして、消失点算出部１０３は、検出した二つの直線が交わる点を消失点として算出する。 The vanishing point calculation unit 103 calculates the vanishing point of the image information Gi from the image information Gi. For example, as shown in FIG. 2, the vanishing point calculation unit 103 detects a straight line from the input image information Gi using a known Hough transform. In the example of FIG. 2, the vanishing point calculation unit 103 calculates a straight line from the lower and upper contours of the subject A. Then, the vanishing point calculation unit 103 calculates a point where the two detected straight lines intersect as a vanishing point.
更に、消失点算出部１０３は、消失点の算出に奥行き情報Ｄを利用するようにしてもよい。例えば、消失点算出部１０３は、ハフ変換により検出した直線から消失点を算出したときに、複数の消失点が算出された場合、奥行き情報Ｄを利用して最も遠いことを示す奥行き情報を有している点を消失点にする。これにより、消失点算出部１０３は、誤算出を低減することができる。 Further, the vanishing point calculation unit 103 may use the depth information D for calculating the vanishing point. For example, when the vanishing point calculation unit 103 calculates the vanishing point from the straight line detected by the Hough transform, and has calculated a plurality of vanishing points, the vanishing point calculation unit 103 has depth information indicating that it is farthest using the depth information D. The point that has been turned into a vanishing point. Thereby, the vanishing point calculation unit 103 can reduce erroneous calculation.
＜画像処理強度決定の詳細＞
ここで、本実施形態における奥行き情報Ｄは、一例として、奥行き情報Ｄの値が大きくなると画像情報Ｇｉ内の被写体までの距離が大きい。すなわち、８ビットの奥行き情報Ｄが入力される場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。
<Details of image processing intensity determination>
Here, as an example, the depth information D in the present embodiment increases the distance to the subject in the image information Gi when the value of the depth information D increases. That is, when the 8-bit depth information D is input, the gradation value 0 is the subject in the foreground and the gradation value 255 is the subject in the distance.
図３は、画像処理強度Ｓと奥行き情報Ｄの値との関係の一例を示した図である。同図において、縦軸は画像処理強度Ｓで、横軸は奥行き情報Ｄである。同図において奥行き情報Ｄの値が０のとき画像処理強度Ｓがα１であり、奥行き情報Ｄの値がＤ１のとき画像処理強度Ｓがα２である。同図の例において、奥行き情報Ｄの値と画像処理強度Ｓとは、線形の関係にあり、奥行き情報Ｄの値が大きくなるに連れて画像処理強度Ｓが大きくなる関係にある。被写体の連続性を考慮すると、画像処理強度Ｓは、奥行き情報Ｄの値に対して単調増加の関係が好適である。 FIG. 3 is a diagram illustrating an example of the relationship between the image processing intensity S and the value of the depth information D. In the figure, the vertical axis represents image processing intensity S, and the horizontal axis represents depth information D. In the figure, when the depth information D value is 0, the image processing strength S is α1, and when the depth information D value is D1, the image processing strength S is α2. In the example shown in the figure, the value of the depth information D and the image processing intensity S are in a linear relationship, and the image processing intensity S increases as the value of the depth information D increases. Considering the continuity of the subject, the image processing intensity S preferably has a monotonically increasing relationship with the value of the depth information D.
なお、同図では、奥行き情報Ｄが最大値であるときに、画像処理強度Ｓが最も大きくなるようにし、奥行き情報Ｄが最小値であるときに、画像処理強度Ｓが最も小さくなるようにしているが、これに限らず、入力される情報により適宜設定してもよい。例えば、画像処理強度決定部１０１は、入力された１つの画像に対する奥行き情報Ｄの値の範囲が２０から１００であった場合には、奥行き情報Ｄの値が２０のときに画像処理強度Ｓが最大となり、奥行き情報Ｄの値が１００のときに画像処理強度Ｓが最小となるように設定してもよい。これにより、画像処理強度決定部１０１は、画像情報Ｇｉに適した値を画像処理強度Ｓに割り当てることができる。 In the figure, the image processing intensity S is maximized when the depth information D is the maximum value, and the image processing intensity S is minimized when the depth information D is the minimum value. However, the present invention is not limited to this, and may be set as appropriate according to input information. For example, when the depth information D value range for one input image is 20 to 100, the image processing strength determination unit 101 sets the image processing strength S when the depth information D value is 20. The image processing intensity S may be set to be minimum when the depth information D value is 100. Thereby, the image processing intensity determination unit 101 can assign a value suitable for the image information Gi to the image processing intensity S.
なお、同図では、画像処理強度Ｓが奥行き情報Ｄの値に応じて、線形に増加する例を示したが、これに限らず、線形でなくてもよく、奥行き情報Ｄの値が増加するに連れて画像処理強度Ｓが増加する傾向にあればよい。 In the figure, an example in which the image processing intensity S increases linearly according to the value of the depth information D is shown. However, the present invention is not limited to this, and the value of the depth information D increases. As long as the image processing intensity S tends to increase as the time increases, it is sufficient.
図４は、画像処理強度Ｓと、消失点と画像処理を行う対象画素との間の距離との関係の一例を示した図である。同図において、縦軸が画像処理強度Ｓで、横軸が消失点と画像処理を行う対象画素との間の距離（以下、消失点からの距離ともいう）である。同図において消失点からの距離が０のとき画像処理強度Ｓがβ２であり、消失点からの距離がＬ１のとき画像処理強度Ｓがβ１である。同図の例において、画像処理強度Ｓと消失点からの距離とは線形の関係にあり、画像処理強度Ｓは、消失点からの距離が小さいほど大きくなる特性を有している。また、消失点からの距離は、対象画素が消失点である場合が最も小さくなる。ここで、被写体の連続性を考慮すると、画像処理強度Ｓは消失点からの距離に対して単調減少の関係が好適である。 FIG. 4 is a diagram illustrating an example of the relationship between the image processing intensity S and the distance between the vanishing point and the target pixel on which image processing is performed. In the figure, the vertical axis is the image processing intensity S, and the horizontal axis is the distance between the vanishing point and the target pixel for image processing (hereinafter also referred to as the distance from the vanishing point). In the figure, when the distance from the vanishing point is 0, the image processing intensity S is β2, and when the distance from the vanishing point is L1, the image processing intensity S is β1. In the example of the figure, the image processing intensity S and the distance from the vanishing point are in a linear relationship, and the image processing intensity S has a characteristic that increases as the distance from the vanishing point decreases. Further, the distance from the vanishing point is the smallest when the target pixel is the vanishing point. Here, considering the continuity of the subject, the image processing intensity S preferably has a monotonically decreasing relationship with the distance from the vanishing point.
なお、消失点と対象画素との距離は画素間距離でも市街地距離でもよい。例えば、消失点の座標が（１００、１００）で対象画素の座標が（２００、２００）であり、画像処理強度決定部１０１が市街地距離で消失点からの距離を算出する場合、消失点からの距離は２００である。一方、その例において、画素間距離は、√２×１００である。 The distance between the vanishing point and the target pixel may be a distance between pixels or a city distance. For example, when the coordinates of the vanishing point are (100, 100), the coordinates of the target pixel are (200, 200), and the image processing intensity determination unit 101 calculates the distance from the vanishing point as the city area distance, The distance is 200. On the other hand, in the example, the inter-pixel distance is √2 × 100.
また、同図では、画像処理強度Ｓが消失点からの距離に応じて、線形に単調減少する例を示したが、これに限らず、非線形の関係であっても良い。すなわち、消失点からの距離が大きくなるに連れて画像処理強度Ｓが減少する傾向にあればよい。 Moreover, although the example in which the image processing intensity S decreases linearly and monotonously according to the distance from the vanishing point is shown in the same figure, it is not limited to this, and a non-linear relationship may be used. That is, the image processing intensity S should be in a tendency to decrease as the distance from the vanishing point increases.
一例として、画像処理強度決定部１０１は、図３および図４の特性に基づいて、画像処理強度Ｓを決定する。 As an example, the image processing intensity determination unit 101 determines the image processing intensity S based on the characteristics shown in FIGS.
図５は、画像処理強度決定部１０１の構成を示す概略ブロック図である。画像処理強度決定部１０１は、判定部１１１と、距離算出部１１２と、強度算出部１１３とを備える。
判定部１１１は、外部から入力された奥行き情報Ｄを受け取る。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値を超えるか否か判定する。ここで、奥行き情報Ｄの値が予め決められた閾値を超える場合、奥行き情報Ｄの値が飽和していることを意味する。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値を超える場合、その判定結果を距離算出部１１２に出力する。判定部１１１は、対象画素における奥行き情報Ｄの値が予め決められた閾値以下である場合、判定結果を奥行き情報Ｄとともに強度算出部１１３に出力する。
例えば、入力される奥行き情報Ｄが８ビットであった場合、閾値が２５４のときは奥行き情報Ｄが２５５のとき飽和していると判断し、閾値が２５３のときは奥行き情報Ｄが２５５および２５４のとき飽和していると判断する。
FIG. 5 is a schematic block diagram illustrating the configuration of the image processing intensity determination unit 101. The image processing intensity determination unit 101 includes a determination unit 111, a distance calculation unit 112, and an intensity calculation unit 113.
The determination unit 111 receives depth information D input from the outside. The determination unit 111 determines whether the value of the depth information D in the target pixel exceeds a predetermined threshold value. Here, when the value of the depth information D exceeds a predetermined threshold value, it means that the value of the depth information D is saturated. When the value of the depth information D in the target pixel exceeds a predetermined threshold, the determination unit 111 outputs the determination result to the distance calculation unit 112. When the value of the depth information D in the target pixel is equal to or less than a predetermined threshold, the determination unit 111 outputs the determination result together with the depth information D to the intensity calculation unit 113.
For example, when the input depth information D is 8 bits, when the threshold value is 254, it is determined that the depth information D is saturated when the threshold value is 255, and when the threshold value is 253, the depth information D is 255 and 254. It is determined that it is saturated.
距離算出部１１２は、判定部１１１から入力された判定結果が対象画素における奥行き情報Ｄの値が予め決められた閾値を超えることを示す場合、画像処理を行う対象画素と消失点との距離を算出する。距離算出部１１２は、算出した距離を強度算出部１１３に出力する。 When the determination result input from the determination unit 111 indicates that the value of the depth information D in the target pixel exceeds a predetermined threshold, the distance calculation unit 112 calculates the distance between the target pixel on which image processing is performed and the vanishing point. calculate. The distance calculation unit 112 outputs the calculated distance to the intensity calculation unit 113.
強度算出部１１３は、距離算出部１１２から入力された距離に基づいて、画像処理強度Ｓを決定する。具体的には、強度算出部１１３は、対象画素における奥行き情報Ｄの値が飽和している場合、対象画素と消失点との距離が大きくなるほど、画像処理強度を小さくする。強度算出部１１３は、例えば、距離算出部１１２から入力された距離を図４の特性に適用することにより、画像処理強度Ｓを算出する。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値より大きい場合、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓを大きくする。
The intensity calculation unit 113 determines the image processing intensity S based on the distance input from the distance calculation unit 112. Specifically, when the value of the depth information D in the target pixel is saturated, the intensity calculation unit 113 decreases the image processing intensity as the distance between the target pixel and the vanishing point increases. For example, the intensity calculation unit 113 calculates the image processing intensity S by applying the distance input from the distance calculation unit 112 to the characteristics of FIG.
That is, when the value of the depth information D is greater than a predetermined threshold, the image processing intensity determination unit 101 increases the image processing intensity S as the distance between the target pixel and the vanishing point decreases.
例えば、画像情報Ｇｉ内に奥行き情報Ｄの最大値を有する領域が存在する場合、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。そこで、画像処理強度決定部１０１は、図４の特性を使用して、例えば、奥行き情報Ｄの値が最大値のときに、消失点からの距離に応じた画像処理強度Ｓに決定する。これは、消失点が最も遠景であると推定されるためであり、消失点に近い程、遠景であると推定されるからである。 For example, when a region having the maximum value of the depth information D exists in the image information Gi, the positional relationship in the depth direction of a plurality of distant subjects in the region cannot be determined. Therefore, the image processing intensity determination unit 101 determines the image processing intensity S according to the distance from the vanishing point, for example, when the value of the depth information D is the maximum value, using the characteristics of FIG. This is because the vanishing point is estimated to be the most distant view, and the closer to the vanishing point, the more distant view is estimated.
一方、強度算出部１１３は、判定部１１１から入力された判定結果が対象画素における奥行き情報Ｄの値が予め決められた閾値以下であることを示す場合、奥行き情報Ｄの値に基づいて、画像処理強度Ｓを決定する。具体的には、強度算出部１１３は、例えば、判定部１１１から入力された奥行き情報Ｄを図３の特性に適用することにより、画像処理強度Ｓを算出する。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以下の場合、奥行き情報Ｄの値が大きくなるほど画像処理強度Ｓを大きくする。
On the other hand, when the determination result input from the determination unit 111 indicates that the value of the depth information D in the target pixel is equal to or less than a predetermined threshold, the intensity calculation unit 113 performs image processing based on the value of the depth information D. The processing intensity S is determined. Specifically, the intensity calculation unit 113 calculates the image processing intensity S, for example, by applying the depth information D input from the determination unit 111 to the characteristics of FIG.
That is, when the value of the depth information D is equal to or less than a predetermined threshold, the image processing strength determination unit 101 increases the image processing strength S as the depth information D increases.
そして、強度算出部１１３は、フレーム内の全ての画素について画像処理強度Ｓを算出したか否か判定する。フレーム内の全ての画素について画像処理強度Ｓを算出していない場合、強度算出部１１３は、対象画素の次の画素（例えば、隣の画素）を新たな対象画素にするよう要求する要求信号を判定部１１１に出力する。これにより、判定部１１１は、この要求信号を受け取ると、新たな対象画素に対応する奥行き情報Ｄが予め決められた閾値を超えるか否か判定する。一方、フレーム内の全ての画素について画像処理強度Ｓを算出した場合、強度算出部１１３は、各画素における画像処理強度Ｓを画像処理部１０２に出力する。 Then, the intensity calculation unit 113 determines whether or not the image processing intensity S has been calculated for all pixels in the frame. When the image processing intensity S is not calculated for all the pixels in the frame, the intensity calculating unit 113 outputs a request signal for requesting that the next pixel of the target pixel (for example, the adjacent pixel) be a new target pixel. The data is output to the determination unit 111. Thereby, the determination part 111 will determine whether the depth information D corresponding to a new object pixel exceeds a predetermined threshold, if this request signal is received. On the other hand, when the image processing intensity S is calculated for all the pixels in the frame, the intensity calculating unit 113 outputs the image processing intensity S for each pixel to the image processing unit 102.
以下に、画像処理強度決定部１０１の処理の一例を説明する。画像処理強度決定部１０１は、図３における定数α１及び定数α２、図４における定数β１及び定数β２を予め保持する。そして、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以下の場合、以下の処理を行う。画像処理強度決定部１０１は、奥行き情報Ｄの最大値において画像処理強度Ｓが定数α２となるようにし、奥行き情報Ｄの最小値において画像処理強度Ｓが定数α１となるようにする。 Hereinafter, an example of processing of the image processing intensity determination unit 101 will be described. The image processing intensity determining unit 101 holds in advance the constant α1 and the constant α2 in FIG. 3, and the constant β1 and the constant β2 in FIG. The image processing intensity determination unit 101 performs the following process when the value of the depth information D is equal to or less than a predetermined threshold. The image processing intensity determination unit 101 sets the image processing intensity S to a constant α2 at the maximum value of the depth information D, and sets the image processing intensity S to a constant α1 at the minimum value of the depth information D.
これにより、画像処理強度決定部１０１は、奥行き情報Ｄの最大値において画像処理強度Ｓが最大とし、奥行き情報Ｄの最小値において画像処理強度Ｓが最小とすることができる。画像処理強度決定部１０１は、奥行き情報Ｄの値がその間のときは、定数α１と定数α２を線形的に補間することで画像処理強度Ｓを算出する。 As a result, the image processing intensity determination unit 101 can maximize the image processing intensity S at the maximum value of the depth information D and minimize the image processing intensity S at the minimum value of the depth information D. When the value of the depth information D is between them, the image processing intensity determination unit 101 calculates the image processing intensity S by linearly interpolating the constant α1 and the constant α2.
一方、画像処理強度決定部１０１は、奥行き情報Ｄの値が予め決められた閾値以上の場合、以下の処理を行う。画像処理強度決定部１０１は、画像処理強度Ｓが最大となる消失点からの距離の最小値において画像処理強度Ｓが定数β２となるようにし、画像処理強度Ｓが最小となる消失点からの距離の最大値において画像処理強度Ｓが定数β１となるようにする。画像処理強度決定部１０１は、消失点からの距離がその間のときは、定数β１と定数β２を線形的に補間することで画像処理強度Ｓを算出する。 On the other hand, when the value of the depth information D is equal to or greater than a predetermined threshold, the image processing intensity determination unit 101 performs the following processing. The image processing intensity determination unit 101 causes the image processing intensity S to be a constant β2 at the minimum distance from the vanishing point where the image processing intensity S is maximum, and the distance from the vanishing point where the image processing intensity S is minimum. Is set so that the image processing intensity S becomes a constant β1. When the distance from the vanishing point is between them, the image processing intensity determination unit 101 calculates the image processing intensity S by linearly interpolating the constant β1 and the constant β2.
なお、例えば、画像処理強度決定部１０１は、βを消失点からの距離に応じて決まる変数だとすると、画像処理強度Ｓをα２×βまたはα２＋βと算出してもよい。このとき、最も画像処理強度Ｓが大きくなるときはα２×β２またはα２＋β２となる。 For example, the image processing intensity determination unit 101 may calculate the image processing intensity S as α2 × β or α2 + β, where β is a variable determined according to the distance from the vanishing point. At this time, when the image processing intensity S is maximized, α2 × β2 or α2 + β2.
以上により、奥行き情報Ｄの値が飽和してしまっているような大きな値のときであっても、画像処理強度決定部１０１は、容易に消失点からの距離を考慮した画素処理強度を算出することができる。
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくし、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓを大きくしてもよい。
As described above, even when the value of the depth information D is a large value that is saturated, the image processing intensity determination unit 101 easily calculates the pixel processing intensity in consideration of the distance from the vanishing point. be able to.
That is, the image processing intensity determination unit 101 may increase the image processing intensity S as the depth information D indicates the depth, and increase the image processing intensity S as the distance between the target pixel and the vanishing point decreases.
なお、画像処理装置１００は、図３および図４から画像処理強度Ｓを算出する場合、奥行き情報Ｄの値及び消失点からの距離に関連付けられた画像処理強度ＳのＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を保持するようにしてもよい。その場合、画像処理強度決定部１０１を、そのＬＵＴを参照して、奥行き情報Ｄの値及び消失点からの距離に対応する画像処理強度Ｓを読み出してもよい。
また、図５では閾値による判定を行ってから消失点からの距離算出をする方法を説明した。これは飽和している画素と判定したときのみ距離を算出するため、処理量を削減でき、ソフトウェアでの処理にてきしている。ハードウェアでの処理の場合には、全画素に対して消失点からの距離を算出し、奥行き情報によって選択するようにすることで実現できる。
When the image processing apparatus 100 calculates the image processing intensity S from FIG. 3 and FIG. 4, the image processing apparatus 100 calculates the LUT (Look Up Table) of the image processing intensity S associated with the value of the depth information D and the distance from the vanishing point. You may make it hold | maintain. In that case, the image processing intensity determination unit 101 may read the image processing intensity S corresponding to the value of the depth information D and the distance from the vanishing point with reference to the LUT.
Further, FIG. 5 illustrates the method of calculating the distance from the vanishing point after performing the determination based on the threshold value. Since the distance is calculated only when it is determined that the pixel is saturated, the amount of processing can be reduced, and processing has been performed by software. In the case of processing by hardware, it can be realized by calculating the distance from the vanishing point for all the pixels and selecting by the depth information.
図２と図６を用いて、画像処理強度決定部１０１の処理について説明する。図６は、図２の画像情報の各画素における奥行き情報Ｄの値を表した図である。同図において、奥行き情報Ｄの値が大きいほど、すなわち被写体が奥に位置するほど画素の色が黒くなっており、奥行き情報Ｄの値が小さいほど、すなわち被写体が手前にあるほど画素の色が白くなっている。 The processing of the image processing intensity determination unit 101 will be described with reference to FIGS. FIG. 6 is a diagram showing the value of the depth information D in each pixel of the image information in FIG. In the figure, the larger the value of the depth information D, that is, the darker the pixel color is as the subject is located in the back, and the smaller the value of the depth information D, ie, the closer the subject is to the front, It is white.
例えば、図２における遠景にある被写体Ｃおよび被写体Ｄでは、図６に示すように、異なる位置にあっても奥行き情報Ｄの値が同じとなってしまう。そのため、消失点に近い被写体Ｄが被写体Ｃよりも遠方にあるにも関わらず、奥行き情報Ｄの値だけに基づいて画像処理強度Ｓが決定される場合には、被写体Ｃと被写体Ｄに対する画像処理強度Ｓが同じになってしまう。 For example, the subject C and the subject D in the distant view in FIG. 2 have the same depth information D value even at different positions as shown in FIG. For this reason, when the image processing intensity S is determined based only on the value of the depth information D even though the subject D close to the vanishing point is farther than the subject C, image processing on the subject C and the subject D is performed. The strength S will be the same.
図２の例では、被写体Ｄ、Ｃ、Ａの順で、消失点からの距離が遠くなっているので、画像処理強度決定部１０１は、例えば、被写体Ｄ、Ｃ、Ａの順で、画像処理強度を小さくする。これにより、画像処理強度決定部１０１は、被写体Ｄの画像処理強度Ｓを被写体Ｃの画像処理強度Ｓよりも大きくすることができる。すなわち、画像処理強度決定部１０１は、奥行き情報Ｄが飽和した領域であっても、画像処理を行う対象画素と消失点との距離に基づいて、画像処理強度Ｓを変化させるので、被写体までの距離に応じた画像処理強度Ｓを設定することができる。 In the example of FIG. 2, since the distance from the vanishing point is longer in the order of subjects D, C, and A, the image processing intensity determination unit 101 performs image processing in the order of subjects D, C, and A, for example. Reduce strength. Accordingly, the image processing intensity determination unit 101 can make the image processing intensity S of the subject D larger than the image processing intensity S of the subject C. That is, the image processing intensity determination unit 101 changes the image processing intensity S based on the distance between the target pixel to be subjected to image processing and the vanishing point even in the region where the depth information D is saturated. An image processing intensity S corresponding to the distance can be set.
すなわち、画像処理強度決定部１０１は、奥行き情報Ｄだけでなく、対象画素と消失点との距離に応じた画像処理強度Ｓにすることで、奥行き情報Ｄが飽和してしまっている被写体に対しても、奥行き感が生じるように画像処理ができるようになるため、奥行き感を向上させた画像を生成することができる。 In other words, the image processing intensity determination unit 101 uses not only the depth information D but also the image processing intensity S corresponding to the distance between the target pixel and the vanishing point, so that the depth information D is saturated. However, since image processing can be performed so as to produce a sense of depth, an image with an improved sense of depth can be generated.
上述した例では、画像処理強度決定部１０１は、奥行き情報Ｄが飽和してしまっているときに、対象画素と消失点との距離に応じた画像処理強度Ｓを決定したが、奥行き情報Ｄの値が予め決められた特定の範囲にある場合（例えば、予め決められた閾値より大きい場合）に、対象画素と消失点との距離に応じた画像処理強度Ｓを決定してもよい。これにより、画像処理強度決定部１０１は、上述した効果を同様の効果を得ることができる。 In the example described above, the image processing intensity determination unit 101 determines the image processing intensity S according to the distance between the target pixel and the vanishing point when the depth information D has been saturated. When the value is in a predetermined range (for example, larger than a predetermined threshold), the image processing intensity S according to the distance between the target pixel and the vanishing point may be determined. Thereby, the image processing intensity determination part 101 can acquire the effect similar to the effect mentioned above.
例えば、奥行き情報Ｄの値が、予め決められた特定の範囲にある場合に、その奥行き情報Ｄをとる画素が、遠景に該当する場合を想定する。その場合、画像処理強度決定部１０１は、奥行き情報Ｄの値が特定の範囲にある画素に対して、対象画素と消失点との距離に応じた画像処理強度Ｓを決定する。これにより、画像処理強度決定部１０１は、遠景の画像領域に対して、対象画素と消失点との距離に応じた画像処理強度Ｓを決定することができるので、遠景の奥行き感を向上させた画像を生成することができる。 For example, when the value of the depth information D is in a predetermined range, it is assumed that the pixel that takes the depth information D corresponds to a distant view. In that case, the image processing intensity determination unit 101 determines the image processing intensity S corresponding to the distance between the target pixel and the vanishing point for the pixels whose depth information D is in a specific range. As a result, the image processing intensity determination unit 101 can determine the image processing intensity S according to the distance between the target pixel and the vanishing point for the image area of the distant view, thereby improving the sense of depth of the distant view. An image can be generated.
図２のようなシーンを撮影した場合、主要な被写体は近景に配置される被写体Ｂであり、背景が遠景に配置される被写体Ｃおよび被写体Ｄである。遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、画像処理部１０２における処理は、被写体までの距離が大きくなるほど輪郭強調の強度を大きくする処理が好適である。また、近景である被写体Ｂは鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。 When a scene as shown in FIG. 2 is photographed, the main subject is the subject B arranged in the foreground, and the background is the subject C and subject D arranged in the background. Since the contour of a distant subject becomes unclear due to light scattering or the like, it is preferable that the processing in the image processing unit 102 increases the strength of contour enhancement as the distance to the subject increases. In addition, since the subject B which is a close-up view is captured clearly, increasing the edge emphasis intensity causes noticeable noise and deteriorates the image quality.
そこで、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、画像情報Ｇｉの輪郭を強調する。具体的には、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉの輪郭を強調するように輪郭強調処理を行う。ここで、輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ０、周辺画素の画素値がＰ１、Ｐ２、Ｐ３、Ｐ４である４近傍を考慮する場合、画像処理後の画素値Ｐは、Ｐ＝Ｐ０＋（Ｐ０×４−Ｐ１−Ｐ２‐Ｐ３‐Ｐ４）×α（またはβ）として算出することができる。ここで、αおよびβは奥行き情報および消失点からの距離により算出されるパラメータである。 Therefore, the image processing unit 102 emphasizes the contour of the image information Gi based on the image processing intensity S determined by the image processing intensity determining unit 101. Specifically, the image processing unit 102 performs the contour emphasis process so that the contour of the image information Gi is enhanced as the image processing strength S is increased. Here, the outline emphasis process is a process of converting the brightness value so that, for example, the difference in brightness value between adjacent pixels becomes larger. At this time, as the difference in brightness value is larger, the contour is more strongly emphasized. These can be realized by a spatial filter in consideration of neighboring pixels in the vicinity of 4 or 8 neighborhoods. For example, in the case of considering four neighborhoods in which the pixel value of the target pixel is P0 and the pixel values of peripheral pixels are P1, P2, P3, and P4, the pixel value P after image processing is P = P0 + (P0 × 4-P1) -P2-P3-P4) × α (or β). Here, α and β are parameters calculated from the depth information and the distance from the vanishing point.
これにより、画像処理部１０２は、鮮明な画像を生成することができる。画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。 Accordingly, the image processing unit 102 can generate a clear image. The image processing apparatus 100 can improve the sense of depth of the image by making the distant view of the image clear and making it easier for the user who viewed the image to feel a sense of distance from the near view. As a result, the image processing apparatus 100 can make the user feel a sense of depth.
さらに、遠景では、光の散乱などによりコントラストも低下してしまう。そこで、画像処理部１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をする処理が好適である。近景である被写体Ｃは十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。
そこで、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。
Furthermore, in a distant view, the contrast also decreases due to light scattering. Accordingly, the processing in the image processing unit 102 is preferably processing for performing contrast correction that enhances contrast using a tone curve or the like. The subject C in the foreground is photographed with sufficient contrast and sufficient gradation, and the transient contrast correction causes a decrease in the number of gradations, resulting in degradation of image quality.
Therefore, the image processing unit 102 may perform contrast correction processing so that the contrast of the image information Gi increases as the image processing strength S increases. Here, the contrast correction process is, for example, a process of correcting the brightness value to be larger if the brightness value is large, and correcting to decrease the brightness value if the brightness value is small. is there. At this time, the larger the correction amount, the stronger the contrast correction process. These can be realized by an LUT that defines a corrected value for an input value.
これにより、画像処理部１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。 As a result, the image processing unit 102 can generate an image with improved contrast. As a result, the image processing apparatus 100 can improve the sense of depth of the image by clarifying the distant view of the image so that the user who viewed the image can easily feel the sense of distance from the near view. As a result, the image processing apparatus 100 can make the user feel a sense of depth.
また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、画像処理部１０２は、彩度補正を画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、画像情報Ｇｉに対して彩度補正を行ってもよい。具体的には、画像処理部１０２は、画像処理強度Ｓが大きいほど、彩度を大きくするよう彩度補正処理してもよい。ここで、彩度補正処理は、ＨＳＶ空間での彩度を乗算または加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部１０２は、奥行き情報Ｄと消失点からの距離とに基づいて彩度を変化させることができる。その結果、画像処理部１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。 Also, it is preferred that the image has higher saturation due to the memory color and vividness, and it feels like the real thing. However, the skin of a person needs to be a skin color, and transient saturation enhancement causes a sense of discomfort, resulting in image quality degradation. Therefore, the image processing unit 102 may perform saturation correction on the image information Gi based on the image processing intensity S determined by the image processing intensity determination unit 101 for saturation correction. Specifically, the image processing unit 102 may perform saturation correction processing so that the saturation is increased as the image processing intensity S is increased. Here, the saturation correction processing can be realized by multiplying or adding the saturation in the HSV space, or linearly transforming the input pixel value by a matrix. As a result, the image processing unit 102 can change the saturation based on the depth information D and the distance from the vanishing point. As a result, the image processing unit 102 can generate an image with enhanced saturation without a sense of incongruity by enhancing the saturation of the distant view of the image.
これにより、画像処理装置１００は、画像の遠景の彩度を高くして、遠景が鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくさせるので、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行き感を感じさせることができる。 Accordingly, the image processing apparatus 100 increases the saturation of the distant view of the image and makes the distant view clear so that the user who viewed the image can easily feel the sense of distance from the close view. Can be improved. As a result, the image processing apparatus 100 can make the user feel a sense of depth.
なお、本実施形態では図２のように消失点が画像情報Ｇｉの内側に有る場合について説明したが、消失点が画像情報Ｇｉの外側に有る場合にも同様に効果を得ることができる。図７は、消失点が画像情報Ｇｉの外側にある場合の一例である。同図において、消失点が撮像画像の外側にあることが示されている。また、同図において、空を示す被写体Ｅと地面を示す被写体Ｆとが示されている。 In the present embodiment, the case where the vanishing point is inside the image information Gi as shown in FIG. 2 has been described, but the same effect can be obtained when the vanishing point is outside the image information Gi. FIG. 7 is an example when the vanishing point is outside the image information Gi. In the figure, it is shown that the vanishing point is outside the captured image. In the same figure, a subject E showing the sky and a subject F showing the ground are shown.
例えば、解像度が１９２０×１０８０画像情報Ｇｉで消失点が画像情報Ｇｉの外側で有る場合、画像処理装置１００は、消失点座標を（２５００、５００）のように画像情報Ｇｉの外側の値を許容するようにしておくことで、画像処理装置１００は、消失点が画像情報Ｇｉの外側でも同様の処理を適用することができる。 For example, when the resolution is 1920 × 1080 image information Gi and the vanishing point is outside the image information Gi, the image processing apparatus 100 allows the vanishing point coordinates to be outside the image information Gi such as (2500, 500). By doing so, the image processing apparatus 100 can apply the same processing even when the vanishing point is outside the image information Gi.
さらに、画像情報Ｇｉ内において、消失点より上方では被写体Ｅのように空などの被写体が存在することが多く、消失点より下方では被写体Ｆのように地面や山などの被写体が存在することが多い。これは、消失点の上方の被写体が消失点の下方の被写体よりも遠方にあることが多いことを示している。したがって、画像処理強度決定部１０１は、画像情報Ｇｉ内における対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓを決定してよい。例えば、画像処理強度決定部１０１は、消失点より上方になるほど画像処理強度Ｓを大きくし、消失点より下方になるほど画像処理強度Ｓを小さくしてもよい。 Furthermore, in the image information Gi, there are many subjects such as the sky like the subject E above the vanishing point, and there are subjects such as the ground and mountains like the subject F below the vanishing point. Many. This indicates that the subject above the vanishing point is often farther away than the subject below the vanishing point. Therefore, the image processing intensity determining unit 101 may determine the image processing intensity S based on the vertical positional relationship between the target pixel and the vanishing point in the image information Gi. For example, the image processing intensity determination unit 101 may increase the image processing intensity S as it is above the vanishing point, and decrease the image processing intensity S as it is below the vanishing point.
つまり、画像処理強度決定部１０１は、対象画素と消失点との距離に加えて、対象画素と対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓを決定する。例えば、画像処理強度決定部１０１は、対象画素が消失点より上方に有る場合、消失点からの距離が同一で、かつ、消失点より下方に有るときに比べてε倍（ε>１）する。また、εを消失点からの距離に応じた関数にしても良い。これにより、画像処理装置１００は、より被写体の位置関係を考慮することができるため、その被写体の位置関係に応じた画像処理強度Ｓで画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。 That is, the image processing intensity determination unit 101 determines the image processing intensity S based on the positional relationship between the target pixel, the target pixel, and the vanishing point in the vertical direction in addition to the distance between the target pixel and the vanishing point. For example, when the target pixel is above the vanishing point, the image processing intensity determination unit 101 multiplies by ε (ε> 1) compared to when the distance from the vanishing point is the same and below the vanishing point. . Also, ε may be a function corresponding to the distance from the vanishing point. As a result, the image processing apparatus 100 can consider the positional relationship of the subject more, so that the image processing is performed with the image processing intensity S corresponding to the positional relationship of the subject, so that the distant view of the image can be made clear. And the depth of the image can be improved. As a result, the user can feel a sense of depth.
図８は、第１の実施形態における画像処理装置１００の処理の一例を示すフローチャートである。まず、消失点算出部１０３は、画像情報Ｇｉに基づいて、消失点座標を算出する（ステップＳ１０１）。次に、判定部１１１は、対象画素に対応する奥行き情報Ｄが予め決められた閾値を超えるか否か判定する（ステップＳ１０２）。 FIG. 8 is a flowchart illustrating an example of processing of the image processing apparatus 100 according to the first embodiment. First, the vanishing point calculation unit 103 calculates vanishing point coordinates based on the image information Gi (step S101). Next, the determination unit 111 determines whether or not the depth information D corresponding to the target pixel exceeds a predetermined threshold (step S102).
対象画素に対応する奥行き情報Ｄが予め決められた閾値を超える場合（ステップＳ１０２ ＹＥＳ）、距離算出部１１２は、対象画素と消失点との距離を算出する（ステップＳ１０３）。次に、強度算出部１１３は、対象画素と消失点との距離に基づいて、画像処理強度Ｓを算出する（ステップＳ１０４）。 If the depth information D corresponding to the target pixel exceeds a predetermined threshold (YES in step S102), the distance calculation unit 112 calculates the distance between the target pixel and the vanishing point (step S103). Next, the intensity calculation unit 113 calculates the image processing intensity S based on the distance between the target pixel and the vanishing point (step S104).
一方、ステップＳ１０２において、対象画素に対応する奥行き情報Ｄが予め決められた閾値以下の場合（ステップＳ１０２ ＮＯ）、強度算出部１１３は、奥行き情報Ｄに基づいて画像処理強度Ｓを算出し（ステップＳ１０５）、ステップＳ１０６に遷移する。
次に、ステップＳ１０６において、強度算出部１１３は、フレーム内の全ての画素について画像処理強度Ｓを算出したか否か判定する（ステップＳ１０６）。フレーム内の全ての画素について画像処理強度Ｓを算出していない場合（ステップＳ１０６ ＮＯ）、強度算出部１１３は、判定部１１１に対し対象画素の次の画素を判定するよう要求し（ステップＳ１０７）、ステップＳ１０２に遷移する。
On the other hand, in step S102, when the depth information D corresponding to the target pixel is equal to or smaller than a predetermined threshold (NO in step S102), the intensity calculator 113 calculates the image processing intensity S based on the depth information D (step S102). S105), the process proceeds to step S106.
Next, in step S106, the intensity calculator 113 determines whether or not the image processing intensity S has been calculated for all pixels in the frame (step S106). When the image processing intensity S is not calculated for all pixels in the frame (NO in step S106), the intensity calculating unit 113 requests the determining unit 111 to determine the next pixel of the target pixel (step S107). The process proceeds to step S102.
一方、ステップＳ１０６において、フレーム内の全ての画素について画像処理強度Ｓを算出した場合（ステップＳ１０６ ＹＥＳ）、画像処理部１０２は、各画素における画像処理強度Ｓに従って、その画素における画像情報Ｇｉに対して画像処理を行う（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。 On the other hand, when the image processing intensity S is calculated for all the pixels in the frame in step S106 (YES in step S106), the image processing unit 102 applies the image information Gi for the pixel according to the image processing intensity S for each pixel. Then, image processing is performed (step S108). Above, the process of this flowchart is complete | finished.
以上に説明したように、本実施形態の画像処理装置１００は、奥行き情報Ｄ及び対象画素と消失点との距離に基づいて、画像処理強度Ｓを決定する。これにより、画像処理装置１００は、決定した画像処理強度Ｓで画像に対して画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。 As described above, the image processing apparatus 100 according to the present embodiment determines the image processing intensity S based on the depth information D and the distance between the target pixel and the vanishing point. Thereby, the image processing apparatus 100 performs image processing on the image with the determined image processing intensity S, so that the distant view of the image can be clear and the depth of the image can be improved. As a result, the user can feel a sense of depth.
［第２の実施形態］
図９は、第２の実施形態における撮像装置３０１の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。撮像装置３０１は、撮像部２００と、撮像部２０１と、画像処理装置１００ａと、画像表示部２０３と、画像記憶部２０４とを備える。図９の画像処理装置１００ａの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、視差算出部２０２が追加されたものになっている。
[Second Embodiment]
FIG. 9 is a schematic block diagram of the imaging apparatus 301 in the second embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. The imaging device 301 includes an imaging unit 200, an imaging unit 201, an image processing device 100a, an image display unit 203, and an image storage unit 204. The configuration of the image processing apparatus 100a in FIG. 9 is obtained by adding a parallax calculation unit 202 to the configuration of the image processing apparatus 100 according to the first embodiment in FIG.
撮像部２００および撮像部２０１の２つの撮像装置は、互いに平行に配置されている。撮像部２００および２０１はレンズモジュールとＣＣＤ（Charge Coupled Devic）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサなどで構成される。
撮像部２００は被写体を撮像し、撮像することにより得られた第１画像情報を視差算出部２０２に出力する。
同様に、撮像部２０１は被写体を撮像し、撮像することにより得られた第２画像情報を視差算出部２０２に出力する。
The two imaging devices of the imaging unit 200 and the imaging unit 201 are arranged in parallel to each other. The imaging units 200 and 201 include a lens module and an image sensor such as a CCD (Charge Coupled Devic) or a CMOS (Complementary Metal Oxide Semiconductor).
The imaging unit 200 images a subject and outputs first image information obtained by the imaging to the parallax calculation unit 202.
Similarly, the imaging unit 201 images a subject and outputs second image information obtained by imaging to the parallax calculation unit 202.
視差算出部２０２は、入力画像と、入力画像とは視点の異なる画像とに基づき、入力画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄを決定する。ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部２０２は、撮像部２００から入力された第１画像情報と撮像部２０１から入力された第２画像情報とを用いて、ブロックマッチングにより、第１画像情報の各画素に対応する視差値を算出する。 The parallax calculation unit 202 calculates parallax corresponding to each pixel of the input image based on the input image and an image having a different viewpoint from the input image, and determines the depth information D based on the calculated parallax. Here, the parallax is the amount of subject displacement between two images. Specifically, for example, the parallax calculation unit 202 uses the first image information input from the imaging unit 200 and the second image information input from the imaging unit 201, and performs block matching on the first image information. A parallax value corresponding to each pixel is calculated.
ここで、撮影された被写体までの距離Ｚと視差ｄの関係はｄ＝ｆ×Ｂ／Ｚで表される。ｆは撮像部の焦点距離であり、Ｂは２つの撮像部間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置１００ａは、視差ｄに基づいて奥行き情報Ｄを算出する。 Here, the relationship between the distance Z to the photographed subject and the parallax d is expressed by d = f × B / Z. f is a focal length of the imaging unit, and B is a baseline length which is a distance between the two imaging units. From the relational expression between the distance Z and the parallax d, there is a correlation between the distance Z and the parallax d. In the present embodiment, the image processing apparatus 100a calculates depth information D based on the parallax d.
図１０は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部２０２は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄとして利用する。具体的には、例えば、視差算出部２０２は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄとする。そして、視差算出部２０２は、算出した奥行き情報Ｄを、画像処理強度決定部１０１に出力する。 FIG. 10 is a diagram showing the relationship between the distance Z and the parallax d. As shown in the figure, the distance Z and the parallax d are in an inversely proportional relationship and not a linear relationship. Therefore, the parallax calculation unit 202 converts the parallax d so that the relationship with the distance is linear, and uses the converted value as the depth information D. Specifically, for example, the parallax calculation unit 202 calculates the reciprocal (1 / d) of the calculated parallax d and sets the reciprocal of the calculated parallax d as the depth information D. Then, the parallax calculation unit 202 outputs the calculated depth information D to the image processing intensity determination unit 101.
これにより、画像処理装置１００ａは、距離に応じた画像処理強度Ｓを適用することができるため好適である。なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。
また、視差算出部２０２は、算出した視差ｄをそのまま奥行き情報Ｄとしてもよい。その場合、奥行き情報Ｄは被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度決定部１０１は、奥行き情報Ｄの値が小さくなるほど画像処理強度Ｓを大きくすればよい。これにより、画像処理強度決定部１０１は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくすることができる。
Thereby, the image processing apparatus 100a is suitable because the image processing intensity S corresponding to the distance can be applied. Note that the parallax conversion need not be in a completely linear relationship with the distance, but may be a conversion close to that.
Further, the parallax calculation unit 202 may use the calculated parallax d as it is as the depth information D. In this case, the depth information D is smaller as the distance to the subject is longer, and is larger as the distance is shorter. For this reason, the image processing intensity determination unit 101 may increase the image processing intensity S as the value of the depth information D decreases. Accordingly, the image processing intensity determination unit 101 can increase the image processing intensity S as the depth information D indicates the back.
画像処理強度決定部１０１は、視差算出部２０２から入力された奥行き情報Ｄと消失点算出部１０３から入力された消失点座標とに基づいて、画像処理強度Ｓを決定する。画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓで画像処理を行う。画像処理部１０２は画像処理により得られた出力画像情報を、画像表示部２０３に表示させたり、画像記憶部２０４に記憶させたりする。 The image processing intensity determination unit 101 determines the image processing intensity S based on the depth information D input from the parallax calculation unit 202 and the vanishing point coordinates input from the vanishing point calculation unit 103. The image processing unit 102 performs image processing with the image processing intensity S determined by the image processing intensity determining unit 101. The image processing unit 102 displays output image information obtained by image processing on the image display unit 203 or stores it in the image storage unit 204.
以上に説明したように、本実施形態の撮像装置３０１によれば、奥行き情報Ｄ及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓを決定することにより、奥行き感を向上した高画質な画像を生成することができる。
なお、本実施形態では、撮像部を２つ備えた撮像装置３０１について説明したが、複数の画像から視差情報を算出する方法でも同様の効果が得られ、例えば、１回目の撮影位置から左右方向へ移動して２回目の撮影を行うことで実現できる。また、視差算出部２０２に代えて後述する奥行き情報算出部を備えるようにしてもよい。
As described above, according to the imaging apparatus 301 of the present embodiment, by determining the image processing intensity S at the target pixel based on the depth information D and the distance between the target pixel of the image processing and the vanishing point, It is possible to generate a high-quality image with improved depth.
In the present embodiment, the imaging apparatus 301 including two imaging units has been described. However, a similar effect can be obtained by a method of calculating parallax information from a plurality of images. For example, the horizontal direction from the first shooting position can be obtained. This can be realized by moving to and performing the second shooting. Further, a depth information calculation unit described later may be provided instead of the parallax calculation unit 202.
［第３の実施形態］
図１１は、第３の実施形態における表示装置３０２の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。表示装置３０２は、画像処理装置１００ｂと、画像表示部２０３とを備える。図１１の画像処理装置１００ｂの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、奥行き情報算出部２０５が追加されたものになっている。
[Third Embodiment]
FIG. 11 is a schematic block diagram of the display device 302 according to the third embodiment. Elements common to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. The display device 302 includes an image processing device 100b and an image display unit 203. The configuration of the image processing apparatus 100b in FIG. 11 is obtained by adding a depth information calculation unit 205 to the configuration of the image processing apparatus 100 of the first embodiment in FIG.
奥行き情報算出部２０５は、表示装置の外部から入力される画像情報Ｇｉから奥行き情報Ｄを推定する。ここで、奥行き情報Ｄの推定には、従来の様々な推定方式が使用できる。例えば、奥行き情報算出部２０５は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄを生成する。奥行き情報算出部２０５は、推定した奥行き情報Ｄを画像処理強度決定部１０１に出力する。 The depth information calculation unit 205 estimates the depth information D from the image information Gi input from the outside of the display device. Here, for estimating the depth information D, various conventional estimation methods can be used. For example, the depth information calculation unit 205 generates the depth information D by generating a 3D image from the 2D image by color information, vanishing point analysis, region division, object extraction, and the like. The depth information calculation unit 205 outputs the estimated depth information D to the image processing intensity determination unit 101.
画像処理部１０２は、第１の実施形態の画像処理部１０２と同様の機能を有するが、以下の点が異なる。画像処理部１０２は、画像処理後の画像を画像表示部２０３に表示させる。
以上に説明したように、本実施形態の表示装置３０２は、奥行き情報Ｄ及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓを決定する。これにより、表示装置３０２は、奥行き感を向上した高画質な画像を表示することができる。
The image processing unit 102 has the same function as the image processing unit 102 of the first embodiment, but differs in the following points. The image processing unit 102 causes the image display unit 203 to display the image after image processing.
As described above, the display device 302 according to the present embodiment determines the image processing intensity S at the target pixel based on the depth information D and the distance between the target pixel for image processing and the vanishing point. As a result, the display device 302 can display a high-quality image with improved depth.
なお、本実施形態では、奥行き情報算出部２０５を備えた表示装置３０２について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄを算出し、算出した奥行き情報Ｄに基づいて画像処理強度を決定してもよい。その場合にも表示装置３０２は、上記と同様の効果が得られる。また、表示装置３０２に画像情報とともに奥行き情報Ｄが入力される場合には、表示装置３０２は、奥行き情報Ｄを直接画像処理強度決定部１０１へ入力するようにしてもよい。 In the present embodiment, the display device 302 including the depth information calculation unit 205 has been described. However, when image information having information such as a stereoscopic video is input, the parallax is calculated from the stereoscopic video, and the parallax is calculated. The depth information D may be calculated based on the image information, and the image processing intensity may be determined based on the calculated depth information D. Even in that case, the display device 302 can obtain the same effect as described above. When the depth information D is input together with the image information to the display device 302, the display device 302 may input the depth information D directly to the image processing intensity determination unit 101.
また、各実施形態の画像処理装置（１００、１００ａ又は１００ｂ）は、対象画素と消失点との距離及び奥行き情報Ｄに基づいて、画像処理強度Ｓを決定したが、これに限ったものではない。
画像処理装置（１００、１００ａ又は１００ｂ）は、画像中で予め決められた位置より上に位置する対象画素に対して、その対象画素と消失点との距離に応じて、対象画素における画像処理強度Ｓを決定してもよい。また、画像処理装置（１００、１００ａ又は１００ｂ）は、特徴量抽出により、海、空または山などの背景となる背景画像領域を抽出し、背景画像領域に対して、対象画素と消失点との距離に応じて、画像処理強度Ｓを決定してもよい。
Moreover, although the image processing apparatus (100, 100a, or 100b) of each embodiment determined the image processing intensity S based on the distance between the target pixel and the vanishing point and the depth information D, it is not limited to this. .
The image processing device (100, 100a, or 100b) performs image processing intensity on the target pixel according to the distance between the target pixel and the vanishing point for the target pixel located above a predetermined position in the image. S may be determined. Further, the image processing apparatus (100, 100a, or 100b) extracts a background image region as a background such as the sea, the sky, or a mountain by feature amount extraction, and the target pixel and vanishing point are extracted from the background image region. The image processing intensity S may be determined according to the distance.
なお、複数の装置を備えるシステムが、各実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１００、１００ａ又は１００ｂ）に係る上述した種々の処理を行ってもよい。
Note that a system including a plurality of apparatuses may process each process of the image processing apparatus (100, 100a, or 100b) of each embodiment in a distributed manner by the plurality of apparatuses.
Further, a program for executing each process of the image processing apparatus (100, 100a or 100b) of the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system. The above-described various processes relating to the image processing apparatus (100, 100a, or 100b) may be performed by executing them.
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
１００、１００ａ、１００ｂ 画像処理装置
１０１ 画像処理強度決定部
１０２ 画像処理部
１０３ 消失点算出部
１１１ 判定部
１１２ 距離算出部
１１３ 強度算出部
２００、２０１ 撮像部
２０２ 視差算出部
２０３ 画像表示部
２０４ 画像記憶部
２０５ 奥行き情報算出部
100, 100a, 100b Image processing apparatus 101 Image processing intensity determination unit 102 Image processing unit 103 Vanishing point calculation unit 111 Determination unit 112 Distance calculation unit 113 Intensity calculation unit 200, 201 Imaging unit 202 Parallax calculation unit 203 Image display unit 204 Image storage Part 205 Depth information calculation part
Claims (12)
前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に少なくとも基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定部と、
前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理部と、
を備えることを特徴とする画像処理装置。 A vanishing point calculating unit for calculating the position of the vanishing point from the image information;
An image that determines the image processing intensity at the target pixel based at least on the distance between the target pixel that is included in the image information and is the target of image processing and the position of the vanishing point calculated by the vanishing point calculation unit A processing intensity determination unit;
An image processing unit that performs image processing on the image information in the target pixel according to the image processing intensity determined by the image processing intensity determination unit;
An image processing apparatus comprising:
前記撮像部が生成した画像情報に対して画像処理を行う請求項１に記載の画像処理装置と、
を備えることを特徴とする撮像装置。 An imaging unit that images a subject and generates image information;
The image processing apparatus according to claim 1, wherein image processing is performed on image information generated by the imaging unit;
An imaging apparatus comprising:
前記画像処理装置により画像処理された画像を表示する画像表示部と、
を備えることを特徴とする表示装置。 An image processing apparatus according to claim 1;
An image display unit for displaying an image processed by the image processing device;
A display device comprising:
画像処理強度決定部が、前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する手順と、
画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う手順と、
を有することを特徴とする画像処理方法。 A procedure for the vanishing point calculation unit to calculate the position of the vanishing point from the image information;
The image processing intensity determination unit determines the image at the target pixel based on the distance between the target pixel that is included in the image information and is the target of image processing and the vanishing point position calculated by the vanishing point calculation unit. A procedure for determining the processing intensity;
A procedure in which an image processing unit performs image processing on image information in the target pixel in accordance with the image processing intensity determined by the image processing intensity determination unit;
An image processing method comprising:
画像情報から消失点の位置を算出する消失点算出ステップと、
前記画像情報に含まれる画素であって画像処理の対象となる対象画素と前記消失点算出ステップにより算出された消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定する画像処理強度決定ステップと、
前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、前記対象画素における画像情報に対して画像処理を行う画像処理ステップと、
を実行させるための画像処理プログラム。 On the computer,
A vanishing point calculating step for calculating the position of the vanishing point from the image information;
An image that determines the image processing intensity in the target pixel based on the distance between the target pixel that is included in the image information and is the target of image processing and the position of the vanishing point calculated in the vanishing point calculation step Processing intensity determination step;
An image processing step for performing image processing on the image information in the target pixel according to the image processing strength determined in the image processing strength determination step;
An image processing program for executing
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011281945A JP5916199B2 (en) | 2011-12-22 | 2011-12-22 | Image processing apparatus, imaging apparatus, display apparatus, image processing method, and image processing program |
| PCT/JP2012/082909 WO2013094635A1 (en) | 2011-12-19 | 2012-12-19 | Image processing device, imaging device, and display device |
| US14/365,123 US9646383B2 (en) | 2011-12-19 | 2012-12-19 | Image processing apparatus, image capturing apparatus, and display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011281945A JP5916199B2 (en) | 2011-12-22 | 2011-12-22 | Image processing apparatus, imaging apparatus, display apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013131160A true JP2013131160A (en) | 2013-07-04 |
| JP5916199B2 JP5916199B2 (en) | 2016-05-11 |
Family
ID=48908634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011281945A Expired - Fee Related JP5916199B2 (en) | 2011-12-19 | 2011-12-22 | Image processing apparatus, imaging apparatus, display apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5916199B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005891A (en) * | 2016-06-28 | 2018-01-11 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10145604A (en) * | 1996-09-10 | 1998-05-29 | Dainippon Screen Mfg Co Ltd | Image sharpness processing method, its device and storage medium recording program |
| JPH11239364A (en) * | 1996-08-07 | 1999-08-31 | Sanyo Electric Co Ltd | Method for stereoscopic sense adjustment and its device |
| JP2004032460A (en) * | 2002-06-27 | 2004-01-29 | Toshiba Corp | Image processing apparatus and method therefor |
| JP2008033897A (en) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | Image processor, image processing method, program, storage medium, and integrated circuit |
| JP2009038794A (en) * | 2007-07-06 | 2009-02-19 | Panasonic Corp | Image processor, image processing method, image processing system, program, recording medium, and integrated circuit |
| JP2011151729A (en) * | 2010-01-25 | 2011-08-04 | Sharp Corp | Image processor, image photographing device, image display device, and program |
-
2011
- 2011-12-22 JP JP2011281945A patent/JP5916199B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11239364A (en) * | 1996-08-07 | 1999-08-31 | Sanyo Electric Co Ltd | Method for stereoscopic sense adjustment and its device |
| JPH10145604A (en) * | 1996-09-10 | 1998-05-29 | Dainippon Screen Mfg Co Ltd | Image sharpness processing method, its device and storage medium recording program |
| JP2004032460A (en) * | 2002-06-27 | 2004-01-29 | Toshiba Corp | Image processing apparatus and method therefor |
| JP2008033897A (en) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | Image processor, image processing method, program, storage medium, and integrated circuit |
| JP2009038794A (en) * | 2007-07-06 | 2009-02-19 | Panasonic Corp | Image processor, image processing method, image processing system, program, recording medium, and integrated circuit |
| JP2011151729A (en) * | 2010-01-25 | 2011-08-04 | Sharp Corp | Image processor, image photographing device, image display device, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005891A (en) * | 2016-06-28 | 2018-01-11 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5916199B2 (en) | 2016-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013094635A1 (en) | Image processing device, imaging device, and display device | |
| US20190230297A1 (en) | Method and system for generating at least one image of a real environment | |
| KR101699919B1 (en) | High dynamic range image creation apparatus of removaling ghost blur by using multi exposure fusion and method of the same | |
| JP5397190B2 (en) | Image processing apparatus, image processing method, and program | |
| US8885922B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2011148921A1 (en) | Image processor, image display apparatus, and imaging device | |
| WO2015184978A1 (en) | Camera control method and device, and camera | |
| JP2015035658A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| WO2018188277A1 (en) | Sight correction method and device, intelligent conference terminal and storage medium | |
| US8565513B2 (en) | Image processing method for providing depth information and image processing system using the same | |
| US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
| US8908959B2 (en) | Image processing apparatus | |
| WO2013105381A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| WO2019124248A1 (en) | Image processing device, content processing device, content processing system, and image processing method | |
| JP6441552B2 (en) | Image processing apparatus, imaging apparatus, display apparatus, image processing method, and image processing program | |
| US9602797B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program | |
| US8908994B2 (en) | 2D to 3d image conversion | |
| JP5900017B2 (en) | Depth estimation apparatus, reconstructed image generation apparatus, depth estimation method, reconstructed image generation method, and program | |
| JP5843599B2 (en) | Image processing apparatus, imaging apparatus, and method thereof | |
| JP5881005B2 (en) | Image processing apparatus, image capturing apparatus, image display apparatus, image processing method, and program | |
| JP5916199B2 (en) | Image processing apparatus, imaging apparatus, display apparatus, image processing method, and image processing program | |
| KR101690256B1 (en) | Method and apparatus for processing image | |
| JP2017138927A (en) | Image processing device, imaging apparatus, control method and program thereof | |
| WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
| Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140918 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5916199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |