JP2022029346A - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP2022029346A JP2022029346A JP2020132645A JP2020132645A JP2022029346A JP 2022029346 A JP2022029346 A JP 2022029346A JP 2020132645 A JP2020132645 A JP 2020132645A JP 2020132645 A JP2020132645 A JP 2020132645A JP 2022029346 A JP2022029346 A JP 2022029346A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- attention
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、分割して撮像した車両周囲画像を合成する画像処理装置、画像処理プログラムに関する。 The present invention relates to an image processing device and an image processing program for synthesizing a vehicle surrounding image divided and captured.
間隔を置いて設置された2台以上のカメラで撮影した画像に重複領域(オーバーラップ部)を設け、合成する技術では、基本的に予め定めた仮想スクリーン(投影位置)を基準として画像のずれを補正する。 In the technology of providing overlapping areas (overlaps) in images taken by two or more cameras installed at intervals and synthesizing them, the image shift is basically based on a predetermined virtual screen (projection position). To correct.
このとき、仮想スクリーンよりも手前側には、表示されない死角が存在し、かつ、仮想スクリーンよりも奥側には、被写体が二重像となる領域が存在する場合がある。 At this time, there may be a blind spot that is not displayed on the front side of the virtual screen, and there may be a region where the subject becomes a double image on the back side of the virtual screen.
特許文献1には、合成画像の境界線上の物体の周縁のずれ量を少なくすることが記載されている。
より詳細には、画像投影スクリーン設定部は、仮想視点と消失点とを結ぶ仮想視線に垂直な投影スクリーンを仮想視点との距離を変えて複数設定する。画像合成部は、各投影スクリーンについて、仮想視線と平行で所定距離を隔てた境界面と投影スクリーンとの交線を境界とし、後方画像、左後側方画像及び右後側方画像を投影スクリーンに投影し、合成画像の候補を複数形成する。画像評価部は、各合成画像について合成画像中で境界上の物体の周縁のずれ量を評価し、画像選択部は、各合成画像中でずれ量が最も少ない合成画像を選択する。これにより、合成画像の境界上の物体の周縁のずれ量を少なくできる。 More specifically, the image projection screen setting unit sets a plurality of projection screens perpendicular to the virtual line of sight connecting the virtual viewpoint and the vanishing point by changing the distance from the virtual viewpoint. For each projection screen, the image composition unit uses the line of intersection between the boundary surface parallel to the virtual line of sight and a predetermined distance as the boundary, and projects the rear image, the left rear side image, and the right rear side image. Project to to form multiple candidates for the composite image. The image evaluation unit evaluates the amount of deviation of the periphery of the object on the boundary in the composite image for each composite image, and the image selection unit selects the composite image having the smallest deviation amount in each composite image. As a result, the amount of displacement of the peripheral edge of the object on the boundary of the composite image can be reduced.
しかしながら、特許文献1の技術では、2台のカメラで撮影した画像のつなぎ目についてのずれ量を軽減することが記載されているが、ずれ量が軽減された画像投影スクリーン上の画像の中から、特に注視して監視するべき対象物を強調することはできず、当該注視して監視するべき対象物の認識は、当該画像を見る監視者に委ねられることになる。
However, in the technique of
本発明は、複数のカメラで撮影した画像間の合成処理において、ずれ量を軽減すると共に、合成画像を監視する監視者の技量に依存せず、注視して監視するべき対象物である注目画像を、当該注目画像以外の領域に比べて視認性を高めることができる画像処理装置、画像処理プログラムを得ることが目的である。 The present invention reduces the amount of deviation in the compositing process between images taken by a plurality of cameras, and is an object of interest that should be watched and monitored without depending on the skill of the observer who monitors the composite image. It is an object of the present invention to obtain an image processing device and an image processing program capable of enhancing visibility as compared with an area other than the region of interest.
本発明に係る画像処理装置は、複数の撮像装置で、相互の撮像領域が重なるオーバラップ部が形成されるように撮影した複数の画像情報を取得し、取得した前記複数の画像情報を合成して表示する場合に、前記オーバラップ部に対して、少なくとも1つの仮想視点を設定し、当該仮想視点に対する画像として、前記複数の撮像装置で撮影した画像から補間して生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを合成して、所定の仮想スクリーン上を焦点位置とする画像を生成すると共に、前記複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、前記複数の撮像装置の各々から前記注目画像までの距離を算出し、前記注目画像が抽出された場合に、前記複数の撮像装置の各々から前記注目画像までの距離に基づいて、注目画像領域と、該注目画像領域以外の領域とにおいて、画像の視認性の度合いに差を設ける処理を実行する、制御部を有している。 The image processing apparatus according to the present invention acquires a plurality of image information captured by a plurality of image pickup devices so as to form an overlapping portion in which mutual image pickup regions overlap, and synthesizes the acquired plurality of image information. At least one virtual viewpoint is set for the overlapped portion, and as an image for the virtual viewpoint, an interpolated image generated by interpolating from images taken by the plurality of image pickup devices and the plurality of images are displayed. By synthesizing images other than the overlapped portion taken by the image pickup device of the above, an image having a focal position on a predetermined virtual screen is generated, and a predetermined condition is obtained from the images taken by the plurality of image pickup devices. The attention image specified in the above is extracted, the distance from each of the plurality of image pickup devices to the attention image is calculated, and when the attention image is extracted, from each of the plurality of image pickup devices to the attention image. It has a control unit that executes a process of providing a difference in the degree of visibility of an image between a region of interest image and a region other than the region of interest based on the distance.
本発明によれば、複数の撮像装置で、相互の撮像領域が重なるオーバラップ部が形成されるように撮影した複数の画像情報を取得し、取得した複数の画像情報を合成して表示する場合に、オーバラップ部に対して、少なくとも1つの仮想視点を設定し、当該仮想視点に対する画像として、複数の撮像装置で撮影した画像から補間して生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを合成して、所定の仮想スクリーン上を焦点位置とする画像を生成する。 According to the present invention, in a plurality of image pickup devices, a plurality of image information captured so as to form an overlapping portion where mutual imaging regions overlap is acquired, and the acquired plurality of image information are combined and displayed. In addition, at least one virtual viewpoint is set for the overlapping portion, and as an image for the virtual viewpoint, an interpolated image generated by interpolating from an image taken by a plurality of image pickup devices and an image taken by the plurality of image pickup devices. An image having a focal position on a predetermined virtual screen is generated by combining with an image other than the overlapped portion.
ここで、本発明では、複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、前記複数の撮像装置の各々から前記注目画像までの距離を算出し、前記注目画像が抽出された場合に、複数の撮像装置の各々から前記注目画像までの距離に基づいて、注目画像領域と、該注目画像領域以外の領域とにおいて、画像の視認性の度合いに差を設ける処理を実行する。例えば、画像の視認性の度合いは、ピント調整に置き換えることができ、注目画像領域はピントを合わせ、注目画像領域以外は意図的にピントをずらす。 Here, in the present invention, the attention image specified by a predetermined condition is extracted from the images taken by the plurality of image pickup devices, and the distance from each of the plurality of image pickup devices to the attention image is calculated. When the attention image is extracted, there is a difference in the degree of visibility of the image between the attention image region and the region other than the attention image region based on the distance from each of the plurality of image pickup devices to the attention image. Is executed. For example, the degree of visibility of the image can be replaced with focus adjustment, the focus image area is focused, and the focus is intentionally shifted except for the focus image area.
ピントが合っているのが注目画像なので、当該注目画像の識別が容易となり、識別までの時間を短縮することになる。 Since the image of interest is in focus, the image of interest can be easily identified, and the time required for identification can be shortened.
これにより、複数のカメラで撮影した画像間の合成処理において、ずれ量を軽減すると共に、合成画像を監視する監視者の技量に依存せず、注視して監視するべき対象物である注目画像を、当該注目画像以外の領域に比べて視認性を高めることができる。 This reduces the amount of deviation in the compositing process between images taken by multiple cameras, and at the same time, it does not depend on the skill of the observer who monitors the composite image, and it is an object of interest that should be watched and monitored. , The visibility can be improved as compared with the area other than the area of interest.
本発明において、前記注目画像までの距離は、前記複数の撮像装置で撮像した複数の画像情報から得た視差情報を用いて算出することを特徴としている。 The present invention is characterized in that the distance to the attention image is calculated by using the parallax information obtained from the plurality of image information captured by the plurality of image pickup devices.
これにより、複数カメラを用いたときに発生する特有の現象を、距離情報取得に利用することができる。 This makes it possible to utilize the peculiar phenomenon that occurs when a plurality of cameras are used for the acquisition of distance information.
本発明において、前記視認性の度合いの差を設ける処理が、合成処理において、前記仮想スクリーン上で焦点が有っている画像の内、前記注目画像以外の領域を対象として、意図的にピントをぼかす処理であることを特徴としている。 In the present invention, the process of providing the difference in the degree of visibility intentionally focuses on a region other than the attention image among the images having a focus on the virtual screen in the synthesis process. It is characterized by being a blurring process.
これにより、例えば、人の視覚を通じた情報の認識において、ピントが合っている画像の方が、ピントが合っていない画像よりも視認性が優れるという事実を利用し、仮想スクリーン上で焦点が有っている画像の内、前記注目画像以外の領域を対象として、意図的にピントをぼかす処理を施すことで、注目画像がはっきり見え、視認性を高めることができる。 This makes use of the fact that, for example, in the recognition of information through human vision, an image that is in focus has better visibility than an image that is out of focus, and the focus is on the virtual screen. By intentionally defocusing a region other than the attention image in the image, the attention image can be clearly seen and the visibility can be improved.
本発明において、前記視認性の度合いの差が、コントラスト調整、及び前記注目画像の移動に追従するマーク付与の少なくとも1つを含み、前記注目画像を強調する処理であることを特徴としている。 The present invention is characterized in that the difference in the degree of visibility includes at least one of contrast adjustment and marking that follows the movement of the attention image, and is a process for emphasizing the attention image.
これにより、仮想スクリーン上で合成されたピントが合っている画像に対して、注目画像を強調する処理を付加する。強調する処理は、例えば、コントラスト調整、及び注目画像の移動に追従するマーク付与の少なくとも1つを含む。注目画像以外の領域のピントをぼかす処理との組み合わせによって、さらに注目画像の視認性を高めることができる。 As a result, a process of emphasizing the image of interest is added to the image that is in focus and is combined on the virtual screen. The emphasizing process includes, for example, at least one of contrast adjustment and marking that follows the movement of the image of interest. By combining with the process of blurring the focus of the area other than the attention image, the visibility of the attention image can be further improved.
本発明において、前記複数の撮像装置が、車両の後方を分割して撮像する撮像装置であり、前記制御部で合成された画像が、運転者が運転中に視認可能に表示され、前記注目画像が、自車両の後方に存在する注視するべき対象物であることを特徴としている。 In the present invention, the plurality of image pickup devices are image pickup devices that divide and image the rear of the vehicle, and the image synthesized by the control unit is visually displayed by the driver while driving, and the attention image. However, it is characterized by being an object to be watched that exists behind the own vehicle.
これにより、車両のバックミラーの代替として有効利用することができ、自動的に注目画像を強調することができる。例えば、運転中に注目画像(例えば、近づいてくる車両等)を強調して表示することができる。 As a result, it can be effectively used as a substitute for the rear-view mirror of the vehicle, and the image of interest can be automatically emphasized. For example, an image of interest (for example, an approaching vehicle) can be highlighted and displayed while driving.
本発明において、前記注目画像の抽出するための前記所定条件が、予め定めた優先順位に基づくものであり、優先順位を決める要素として、少なくとも、前記自車両の後方に存在する注目画像までの距離、及び注目画像の移動速度を含むことを特徴としている。 In the present invention, the predetermined condition for extracting the attention image is based on a predetermined priority, and as an element for determining the priority, at least the distance to the attention image existing behind the own vehicle. , And the moving speed of the image of interest.
本発明において、車両とは、自動車、農機、建機、バイク、自転車を含む移動体であり、自車両の後方に位置する移動体は全て注目画像の候補となる。この注目画像となり得る物体には、車両以外の移動体(例えば、人、動物、看板、障害物等)を含むものとする。なお、優先順位を決める要素として、注目画像の大きさを含めてもよい。 In the present invention, the vehicle is a moving body including an automobile, an agricultural machine, a construction machine, a motorcycle, and a bicycle, and all the moving bodies located behind the own vehicle are candidates for the attention image. Objects that can be the image of interest include moving objects other than vehicles (for example, people, animals, signs, obstacles, etc.). The size of the image of interest may be included as an element for determining the priority.
本発明に係る画像処理プログラムは、コンピュータを、上記画像処理装置の制御部として動作させることを特徴としている。 The image processing program according to the present invention is characterized in that a computer is operated as a control unit of the image processing apparatus.
以上説明した如く本発明では、複数のカメラで撮影した画像間の合成処理において、ずれ量を軽減すると共に、合成画像を監視する監視者の技量に依存せず、注視して監視するべき対象物である注目画像を、当該注目画像以外の領域に比べて視認性を高めることができる。 As described above, in the present invention, in the compositing process between images taken by a plurality of cameras, the amount of deviation is reduced, and the object to be watched and monitored without depending on the skill of the observer who monitors the composite image. The visibility of the attention image is higher than that of the region other than the attention image.
「第1の実施の形態」 "First embodiment"
図1は、本発明の第1の実施の形態に係る仮想カメラアレイを利用した画像処理装置100が示されている。
FIG. 1 shows an
画像処理装置100には、実装カメラとしてLカメラ102とRカメラ104を備えている。画像処理装置100では、Lカメラ102とRカメラ104で撮影した画像を合成して、モニタ部106へ出力する。
The
モニタ部106は、表示ドライバ108及び表示画面110を備えており、画像処理装置100から受け付けた画像情報に基づいて、表示画面110に合成画像を表示する。
The
図2に示される如く、Lカメラ102とRカメラ104とは、図2の正面からみて左右方向に並ぶように配置されている。なお、第1の実施の形態では、Lカメラ102とRカメラ104とは、相対的な位置関係で左(L)及び右(R)に区別しているが、図2の奥行き方向(縦方向)に並ぶように配置してもよい。Lカメラ102及びRカメラ104はそれぞれ、図2の一点鎖線で示される視野範囲WL、WRを持っている。その内、後述する仮想スクリーン114に反映される画像を斜線で示している(図5においても同様)。表示画像として利用される。
As shown in FIG. 2, the
なお、図2に示される如く、Lカメラ102及びRカメラ104は、それぞれの光軸が平行ではなく、互いに外向きとなっており、Lカメラ102及びRカメラ104の視界を異ならせることが好ましい。なお、Lカメラ102及びRカメラ104のそれぞれの光軸を互いに外向きとしたが、平行であってもよい。
As shown in FIG. 2, it is preferable that the optical axes of the
Lカメラ102及びRカメラ104による撮影画像には、オーバラップ部112(図2参照)が存在する。
The overlapping portion 112 (see FIG. 2) is present in the images captured by the
オーバラップ部112では、Lカメラ102の画像情報とRカメラ104の画像情報とを単純に合成すると、相互の視差に起因して、仮想スクリーン114の奥側の被写体が二重にみえる(二重像)現象が発生する。二重像は、Lカメラ102とRカメラ104との間隔(距離)に依存する(詳細は、図6にて後述)。
In the
また、Lカメラ102の画像情報とRカメラ104の画像情報とを単純に合成すると、仮想スクリーン114よりも手前側に死角領域116(図2参照)が存在する。
Further, when the image information of the
第1の実施の形態では、Lカメラ102の撮影画像とRカメラとの撮影画像(図2の視野範囲WL、WRを含む)とから、視差を調整した仮想的な視点での画像を生成し、二重像の発生、及び死角領域116を軽減するようにした。なお、視点の生成は等間隔でもよいが、視点間隔を狭くすることで、つなぎ目を目立たなくすることができる。さらに、生成画像のLカメラ102の撮影画像のオーバラップ部以外と連結される側では、仮想視点をLカメラ102の位置近傍、生成画像のRカメラ104の撮影画像のオーバラップ部以外と連結される側では、仮想視点をRカメラ104の位置近傍とすることで、画像連結部で結合される部分での繋ぎ目を目立たなくすることができる。
In the first embodiment, an image from a virtual viewpoint adjusted for parallax is generated from the image captured by the
図1に示される如く、Lカメラ102及びRカメラ104は、それぞれ画像処理装置100の視点補間画像生成部118に接続されている。視点補間画像生成部118では、Lカメラ102とRカメラ104との間に仮想的な視点を生成し、当該仮想的な視点からみた画像を補間画像として生成する。
As shown in FIG. 1, the
すなわち、図2に示される如く、Lカメラ102とRカメラ104との間には、各視点での補間画像を撮影する仮想カメラ120が設置されているということができる。仮想カメラ120の数は、視点位置指示部122によって指示される。仮想カメラ120の数は、1以上であり、実用的な最大数は生成されるオーバラップ部の画像幅に依存する。この場合、生成画像の1画素幅毎に異なる仮想視点が設定される。仮想カメラ120の数の設定は、Lカメラ102及びRカメラ104で撮影する被写体や精度条件(例えば、二重像のずれ幅の制限)等によって定めればよい。
That is, as shown in FIG. 2, it can be said that a
視点位置指示部122は、視点補間画像生成部118に接続されており、Lカメラ102及びRカメラ104で撮影した画像に基づいて、仮想カメラ120の数及び位置を決定する。視点位置はLカメラ102の位置とRカメラ104の位置の内分比をt:1-tとする値tで示され、オーバラップ部の各画素(x,y)毎に対応するtを示すマップt(x,y)として視点位置情報を視差検出部128及び画像混合部136(共に、図3参照)に搬出される。
The viewpoint
このtは0~1の数値(小数)であり、例えば、t=0はLカメラ102の位置となり、t=1はRカメラ104の位置となる。従って、画像連結部124でLカメラ102単独で撮影された領域画像に連結される側では0に近い値をとり、反対に、Rカメラ104単独で撮影された領域画像に連結される側では1に近い値を取り、その間は連続的に変化する。例えば中間位置ではt=0.5となる。
This t is a numerical value (decimal number) from 0 to 1, for example, t = 0 is the position of the
視点補間画像生成部118では、設定された仮想カメラ120の数に応じて生成された補間画像(図2における仮想カメラ光軸(視点)群参照)を画像連結部124へ送出する。
The viewpoint interpolation
画像連結部124には、Lカメラ102及びRカメラ104の撮影画像も入力されている。画像連結部124では、Lカメラ102の撮影画像、Rカメラ104の撮影画像、及び複数の補間画像を連結する。
Images taken by the
画像連結部124で連結することで生成された合成画像は、出力部126へ出力され、前述したようにモニタ部106の表示画面110に表示される。
The composite image generated by connecting with the
(視点補間画像生成部118の詳細) (Details of viewpoint interpolation image generation unit 118)
図3は、図2の視点補間画像生成部118における、視点位置指示部122からの視点指示に応じた補間画像の生成に関する演算処理の詳細を示した概略構成図である。
FIG. 3 is a schematic configuration diagram showing details of arithmetic processing related to generation of an interpolated image according to a viewpoint instruction from a viewpoint
図3に示される如く、Lカメラ102及びRカメラ104の撮影画像は、それぞれ視差検出部128に入力される。この視差検出部128には、視点位置指示部122からの視点指示情報が入力される。
As shown in FIG. 3, the captured images of the
視差検出部128では、以下の(1)式及び(2)式に基づいて、Lカメラ102とRカメラ104との撮影画像の視差マップdを演算する。なお、x、yは、二次元の画像の座標である。Lカメラ102を基準とした視差マップd(x,y)を次のように求める。
The
この視差マップd(x,y)はL画像の各画素L(x,y)を-d(x,y)画素幅横に移動した際にR画像と一致するような値のマップである。実際には数学的に完全に一致するわけではなく、ステレオマッチングとして知られる手法によって算出される。ステレオマッチングにはブロックマッチングやセミグローバルブロックマッチング等各種手法が存在するが、本発明はステレオマッチングの手法を限定するものではない。 This parallax map d (x, y) is a map having a value that matches the R image when each pixel L (x, y) of the L image is moved laterally by −d (x, y) pixel width. In reality, they do not match exactly mathematically, but are calculated by a technique known as stereomatching. There are various methods such as block matching and semi-global block matching in stereo matching, but the present invention does not limit the stereo matching method.
同様に、Rカメラ104を基準とした視差マップd(x,y)を次のように求める。
Similarly, the parallax map d (x, y) with respect to the
(1)式はLカメラ102を基準とした視差であり、(2)式はRカメラ104を基準とした視差であり、双方共、ほぼ計算結果は一致するが、Lカメラ102でしか撮影されない領域、Rカメラ104でしか撮影されない領域等の存在により、(1)式及び(2)式を併用することが好ましい。
Equation (1) is the parallax based on the
視差検出部128での演算結果において、(1)式の演算結果は、Lカメラ102用の視差調整部130に送出され、(2)式の演算結果は、Rカメラ104用の視差調整部132に送出される。
In the calculation result of the
視差調整部130、132には、それぞれ視点位置指示部122からの視点位置情報が入力されている。
The viewpoint position information from the viewpoint
(Lカメラ102の視差調整) (Parallax adjustment of L camera 102)
Lカメラ102用の視差調整部130では、(1)式の演算結果と視点位置情報とに基づき、視差調整のための変形量dLの演算を(3)式により実行する。
The
視差調整部130での演算結果は、Lカメラ102用の画像変形部134に送出される。画像変形部134には、Lカメラ102で撮影された画像情報が入力されている。
The calculation result in the
画像変形部134では、視差調整部130での(3)式の演算結果と、Lカメラ102の画像情報とに基づき、Lカメラ102で撮影した画像の視差を補正するための変形処理を、(4)式により実行する。
The
ここで、(4)式には、補正係数Aが組み込まれている。補正係数Aは、焦点調整のための補正係数である。補正係数Aは、(4)式の右辺ある「dL」に積算するものであり、A=1は補正無しということになる。 Here, the correction coefficient A is incorporated in the equation (4). The correction coefficient A is a correction coefficient for focus adjustment. The correction coefficient A is integrated into "dL" on the right side of the equation (4), and A = 1 means that there is no correction.
(4)式の左辺は、画像を構成する画素の位置(座標)であり、第1の実施の形態では、それぞれの座標(画素)に対して補正係数Aを設定する。 The left side of the equation (4) is the position (coordinates) of the pixels constituting the image, and in the first embodiment, the correction coefficient A is set for each coordinate (pixel).
補正係数Aによる実質的な補正対象は、予め定めた条件で特定された、注視するべき対象物(注目画像)以外の領域の画像であり、補正係数Aをかけ合わせることで、視点位置がずれ、所謂ピントがぼけた画像となる。 The actual correction target by the correction coefficient A is an image in a region other than the object to be watched (attention image) specified under predetermined conditions, and the viewpoint position shifts by multiplying the correction coefficient A. The so-called out-of-focus image is obtained.
言い換えれば、仮想スクリーン114の画像、すなわち、最終的にモニタ部106に表示される画像の内、注目画像にのみピントが合い、それ以外の領域はピントがぼけた画像となる(図12(A)参照)。
In other words, of the image of the
(補正係数Aの設定のための機能ブロック図) (Functional block diagram for setting the correction coefficient A)
視差検出部128は、距離情報算出部200Lに接続されており、距離情報算出部200Lでは、視差検出部128で検出した視差情報に基づいて、仮想スクリーン114上に表示される被写体の距離情報を算出する。算出した被写体の距離情報は焦点調整距離決定部202Lへ送出される。
The
焦点調整距離決定部202Lには、注目画像抽出部204Lで抽出した注目画像情報が入力されており、焦点調整距離決定部202Lでは、注目画像の焦点距離と、注目画像以外の領域の焦点距離を決定し、補正係数決定部206Lへ送出する。補正係数決定部206Lは、(4)式のdLに掛け算で補正する補正係数Aを設定し、画像変形部134へ送出する。このとき、注目画像に相当する座標の画素に対してはA=1であり、注目画像以外の領域に相当する座標の画像に対してA≠1である。
The focus image information extracted by the attention
一方、画像変形部134で実行された変形処理後のLカメラ102の画像情報は、画像混合部136へ送出される。
On the other hand, the image information of the
(Rカメラ104の視差調整) (Parallax adjustment of R camera 104)
Rカメラ104用の視差調整部132では、(1)式の演算結果と視点位置情報とに基づき、視差調整のための変形量dRの演算を(5)式により実行する。
The
視差調整部132での演算結果は、Rカメラ104用の画像変形部138に送出される。画像変形部138には、Rカメラ104で撮影された画像情報が入力されている。
The calculation result in the
画像変形部138では、視差調整部132での(5)式の演算結果と、Rカメラ104の画像情報とに基づき、Rカメラ104で撮影した画像の視差を補正するための変形処理を、(6)式により実行する。
The
ここで、(6)式には、補正係数Aが組み込まれている。補正係数Aは、焦点調整のための補正係数である。補正係数Aは、(6)式の右辺ある「dR」に積算するものであり、A=1は補正無しということになる。 Here, the correction coefficient A is incorporated in the equation (6). The correction coefficient A is a correction coefficient for focus adjustment. The correction coefficient A is integrated into "dR" on the right side of the equation (6), and A = 1 means that there is no correction.
(6)式の左辺は、画像を構成する画素の位置(座標)であり、第1の実施の形態では、それぞれの座標(画素)に対して補正係数Aを設定する。 The left side of the equation (6) is the position (coordinates) of the pixels constituting the image, and in the first embodiment, the correction coefficient A is set for each coordinate (pixel).
補正係数Aによる実質的な補正対象は、予め定めた条件で特定された、注視するべき対象物(注目画像)以外の領域の画像であり、補正係数Aをかけ合わせることで、視点位置がずれ、所謂ピントがぼけた画像となる。 The actual correction target by the correction coefficient A is an image in a region other than the object to be watched (attention image) specified under predetermined conditions, and the viewpoint position shifts by multiplying the correction coefficient A. The so-called out-of-focus image is obtained.
言い換えれば、仮想スクリーン114の画像、すなわち、最終的にモニタ部106に表示される画像の内、注目画像にのみピントが合い、それ以外の領域はピントがぼけた画像となる(図12(A)参照)。
In other words, of the image of the
(補正係数Aの設定のための機能ブロック図) (Functional block diagram for setting the correction coefficient A)
視差検出部128は、距離情報算出部200Rに接続されており、距離情報算出部200Rでは、視差検出部128で検出した視差情報に基づいて、仮想スクリーン114上に表示される被写体の距離情報を算出する。算出した被写体の距離情報は焦点調整距離決定部202Rへ送出される。
The
焦点調整距離決定部202Rには、注目画像抽出部204Rで抽出した注目画像情報が入力されており、焦点調整距離決定部202Rでは、注目画像の焦点距離と、注目画像以外の領域の焦点距離を決定し、補正係数決定部206Rへ送出する。補正係数決定部206は、(6)式のdRに掛け算で補正する補正係数Aを設定し、画像変形部138へ送出する。このとき、注目画像に相当する座標の画素に対してはA=1であり、注目画像以外の領域に相当する座標の画像に対してA≠1である。
The focus image information extracted by the attention
画像変形部138で実行された変形処理後のRカメラ104の画像情報は、画像混合部136へ送出される。
The image information of the
画像混合部136には、視点位置指示部122からの視点指示情報が入力されている。
The viewpoint instruction information from the viewpoint
画像混合部136では、(7)式に基づき、視点毎の画像(仮想カメラの各視点の画像)を重畳する。
In the
この合成は、α-blending処理として知られる。採用比率(1-t):tをLカメラ102の位置とRカメラ104の位置の内分比の逆とすることで、徐々に変化しカメラ間の画質の差異による段差を解消する。また、画像連結される部分では、ほぼ100%連結されるカメラ画像が採用されるため、連結される画像間の段差も解消される。
This synthesis is known as the α-blending process. Adoption ratio (1-t): By setting t to the opposite of the internal division ratio between the position of the
画像混合部136で重畳されたオーバラップ部の補間画像I(x,y)は、補間画像格納部140へ一時的に格納され、所定のタイミング(Lカメラ102の画像とRカメラ104の画像との間での同期をとった状態)で、前述した画像連結部124へ送出される。なお、カメラ間の同期は、視差検出部128よりも前で実行しておく必要がある。
The interpolated image I (x, y) of the overlapped portion superimposed by the
以下に、第1の実施の形態の作用を図4のフローチャートに従い説明する。 Hereinafter, the operation of the first embodiment will be described with reference to the flowchart of FIG.
図4は、画像処理装置の処理の流れを示す制御フローチャートである。なお、画像処理は、シングルプロセッサにおいて、所定の制御プログラムに基づき制御してもよいし、図1及び図3のブロック単位において、1又は複数の処理を、マルチプロセッサで並行処理してもよいし、或いは、ASIC(Application Specific Integrated Circuit)のような特定用途向けの集積回路を組み合わせた処理基板を作成して並行処理してもよい。 FIG. 4 is a control flowchart showing a processing flow of the image processing apparatus. The image processing may be controlled by a single processor based on a predetermined control program, or one or a plurality of processes may be processed in parallel by a multiprocessor in the block units of FIGS. 1 and 3. Alternatively, a processing board in which an integrated circuit for a specific application such as an ASIC (Application Specific Integrated Circuit) is combined may be created and processed in parallel.
図4に示される如く、ステップ150では、Lカメラ102及びRカメラ104で撮影した画像を取り込み、次いで、ステップ152へ移行して、視点位置指示情報を取り込み、ステップ154へ移行する。
As shown in FIG. 4, in
ステップ154では、Lカメラ102基準の視差検出処理と、Rカメラ104基準の視差検出処理と、が実行される。
In
次のステップ155では、Lカメラ102基準の視差に基づく視差調整処理と、Rカメラ104基準の視差に基づく視差調整処理と、が実行され、ステップ156へ移行して、注目画像強調処理が実行され、ステップ158へ移行する。
In the
(ステップ156の注目画像強調処理サブルーチン) (Subroutine of attention image enhancement processing in step 156)
図4(B)は、注目画像強調処理サブルーチンを示す制御フローチャートである。 FIG. 4B is a control flowchart showing the attention image enhancement processing subroutine.
ステップ210では、初期設定として補正係数Aを1(A=1)として、ステップ212へ移行する。ステップ212では、視差検出部128で検出した視差情報に基づいて、物体の距離情報を算出し、次いでステップ214へ移行して、物体の中から、注視するべき対象物(注目画像)の有無を判断する。このステップ214で肯定判定された場合は、ステップ216へ移行して、注目画像の領域以外の領域に対してそれぞれ焦点距離を決定する。すなわち、注目画像に関しては、仮想スクリーン114上での合成処理に基づく焦点とするが、注目画像以外の領域に対しては、仮想スクリーン114上でピントがぼける焦点距離を決定し、ステップ218へ移行する。なお、ステップ214で否定判定された場合は、補正係数Aが1(A=1)の状態で、メインルーチン(図4(A))のステップ156へリターンする。
In
ステップ218では、ステップ216で決定した焦点距離に基づく補正係数Aを設定し、メインルーチン(図4(A))のステップ156へリターンする。
In
このステップ218での補正係数Aの設定では、注目画像の領域の補正係数Aが1とされ、注目画像以外の領域がA≠1とされるため、注目画像以外の領域のピントがぼけることになる。
In the setting of the correction coefficient A in
ステップ156の注目画像強調処理(図4(B)参照)後に移行するステップ158では、Lカメラ102基準の画像変形処理と、Rカメラ104基準の画像変形処理と、が実行される。この画像変形処理に用いる、(4)式及び(6)式には、補正係数Aが組み込まれており、注目画像以外の領域の座標(画素)に対してピントをぼかす処理が同時に実行される。
In
なお、ステップ154の視差検出処理、ステップ156の視差調整処理、及びステップ158の画像変形処理において、処理時間短縮のために、Lカメラ102基準及びRカメラ104基準での各処理を並行処理することが好ましい。
In the parallax detection process of
次のステップ160では、ステップ158で変形処理された、Lカメラ102基準の及びRカメラ104基準のオーバラップ部の画像を混合して補間画像を生成し、ステップ162へ移行して、当該補間画像を補間画像格納部140(図3参照)へ一時的に格納する。
In the
次のステップ164では、Lカメラ102の撮影画像及びRカメラ104で撮影した画像の非オーバラップ部分を取り込み、次いで、ステップ166で補間画像格納部140(図3参照)に格納した補間画像を読み出して、ステップ168へ移行する。
In the
ステップ168では、Lカメラ102の撮影画像、Rカメラ104の撮影画像、及び補間画像を連結し、ステップ170へ移行する。
In
ステップ170では、画像表示処理が実行される。画像表示処理は、画像連結部124(図1参照)で連結した連結画像を、出力部126を介してモニタ部106へ出力し、表示ドライバ108の駆動により、表示画面110に連結画像を表示する。
In
次のステップ172では、画像処理装置100の電源がオフされたか否かを判断し、否定判定された場合は、ステップ150へ戻り、上記工程を繰り返すことで、動画が表示される。また、ステップ172で肯定判定された場合は、このルーチンは終了する。
In the
図5は、Lカメラ102及びRカメラ104の合成処理においてオーバラップ部112に仮想カメラ設定した場合(第1の実施の形態、図5(A)参照)と、2台のLカメラ102とRカメラ104を単純に合成した場合(比較例、図5(B)参照)と、を比較したものである。なお、比較例は、例えば、第1の実施の形態における画像混合部136で用いた、α-blending処理による画像合成処理が適用可能である。
FIG. 5 shows the case where the virtual camera is set in the
図5(B)の比較例では、仮想スクリーン114の奥側にあるオーバラップ部112の被写体142がLカメラ102及びRカメラ104でも撮影され、仮想スクリーン114上の表示されることになり、視差が発生して二重像となる。
In the comparative example of FIG. 5B, the subject 142 of the
一方、図5(A)の第1の実施の形態では、被写体142は、複数設定した仮想カメラ120の一部で撮影されるため、二重像が解消されている。
On the other hand, in the first embodiment of FIG. 5A, the subject 142 is photographed by a part of the
なお、被写体が、単一の仮想カメラ120で撮影されることが好ましいが、実際は2つの仮想カメラ120となることが多い。しかし、その視差は極めて小さいため、多少の歪みは発生する場合もあるが、二重像にはならない。
It is preferable that the subject is photographed by a single
(仮想カメラ120の設定による二重像解消の原理) (Principle of eliminating double image by setting virtual camera 120)
図6において、Lカメラ102とRカメラ104との実装のカメラの間に、仮想カメラ120を設定した場合に、特に二重像が解消される原理を説明する。
In FIG. 6, the principle that the double image is particularly eliminated when the
図6(A)は、2台の実装カメラ(Lカメラ102及びRカメラ104)の撮影画像を例えば、図5(B)の比較例で適用したα-blending処理により合成した場合を示しており、二重像のずれ幅がW0となっている。
FIG. 6A shows a case where the captured images of the two mounted cameras (
図6(B)は、図6(A)の構成において、Lカメラ102及びRカメラ104の間に1台の仮想カメラ120を設定した場合であり、この図6(B)においても二重像は発生している。
FIG. 6B shows a case where one
しかしながら、1個の仮想カメラ120を設定したことで、仮想カメラ120を設定しない構成(図6(A)参照)に対して、図6(B)における二重像のずれ幅W1は、図6(A)の二重像のずれ幅W0の1/2となっている(W1=0.5×W1)。
However, with respect to the configuration in which the
続いて、図6(C)は、図6(B)の構成において、Lカメラ102、Rカメラ104、及び仮想カメラ120の間に、さらに、仮想カメラ120を設定した場合であり、都合、Lカメラ102及びRカメラ104の間に3台の仮想カメラ120が設定されたことになる。この図6(C)においても二重像は発生している。
Subsequently, FIG. 6C shows a case where the
しかしながら、3個の仮想カメラ120を設定したことで、仮想カメラ120を設定しない構成(図6(A)参照)に対して、図6(C)における二重像のずれ幅W2は、図6(B)の二重像のずれ幅W1の1/4となっている(W2=0.5×(0.5×W0)=0.25×W0)。
However, with respect to the configuration in which the
すなわち、Lカメラ102とRカメラ104との間隔(距離)が短くなるにつれて(比例して)、二重像のずれ幅は小さくなる。そこで、必要数の仮想カメラ120を設定することで、当該設定数分に応じて視差が減少し、二重像を解消することができる。
That is, as the distance (distance) between the
なお、仮想カメラ120は、1個を設定する時点で効果があり(二重像のずれ幅が半減)、最大、オーバラップ画像の幅に依存して設定可能である。仮想カメラ120の設定数は、撮影した画像の用途の精度条件等によって設定すればよい。
The
なお、第1の実施の形態において、仮想カメラ120の視点の画像を生成するとき、Lカメラ102の撮影画像と、Rカメラ104の撮影画像とを併用したが、この併用によって、図7に示される如く、Lカメラ102の死角と、Rカメラ104の死角と、を一方が他方を互いに補うことになるため、仮想カメラ120での死角を解消することができる。
In the first embodiment, when the image of the viewpoint of the
さらに、第1の実施の形態では、仮想スクリーン114での合成処理に加え、注目画像が存在している場合に、当該注目画像以外の領域のピントを意図的にぼかすことで、注目画像を強調するようにした。このため、画像を監視しているオペレータ等が、注目画像を視認するまでの時間を、仮想スクリーン114の画像の全てにピントが合っているときの視認時間よりも短くすることができる(一例として図12(B)参照、詳細後述)。
Further, in the first embodiment, in addition to the compositing process on the
なお、注目画像は、単一の領域である必要はなく、離間された2以上の領域を注目画像の領域としてもよい。 The attention image does not have to be a single region, and two or more separated regions may be used as the region of the attention image.
「第2の実施の形態」 "Second embodiment"
以下に、本発明の第2の実施の形態について説明する。 The second embodiment of the present invention will be described below.
図8には、本実施の形態に係る車両10が示されており、(A)は車両10の平面図、(B)は車両10の側面図である。
8A and 8B show a
図8(A)に示される如く、車両10の前進方向右側面には、右カメラアダプタ12が取り付けられている。右カメラアダプタ12には、光軸が車両10の右後方に向けられたRHカメラヘッド14が取り付けられている。RHカメラヘッド14では、図8(A)の一点鎖線Rで囲まれた領域ARを撮像する。
As shown in FIG. 8A, the
また、図8(A)に示される如く、車両10の前進方向左側面には、左カメラアダプタ16が突出されている。左カメラアダプタ16には、光軸が車両10の左後方に向けられたLHカメラヘッド18が取り付けられている。LHカメラヘッド18では、図8(A)の一点鎖線Lで囲まれた領域ALを撮像する。
Further, as shown in FIG. 8A, the
さらに、図8(A)に示される如く、車両10の後部における、車両幅方向中央部には、光軸が車両10の後方(光軸が路面に略水平)に向けられたRRカメラヘッド20が取り付けられている。RRカメラヘッド20では、図8(A)の一点鎖線Cで囲まれた領域ACを撮像する。
Further, as shown in FIG. 8A, the
ここで、領域ARと領域ACとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。また、領域ALと領域ACとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。 Here, the region AR and the region AC each partially overlap, and a part of the image to be captured overlaps. Further, the region AL and the region AC each partially overlap, and a part of the image to be captured overlaps.
図8(B)に示される如く、車両10の後部には、RRカメラヘッド20とは別に、後進専用カメラ22が取り付けられている。後進専用カメラ22は、一点鎖線Bで囲まれた領域ABを撮像するようになっており、撮影画像は、車両10が後進する際に、車室内の情報表示用モニタ24(図9参照)に表示されるようになっている。領域ABは、車両10の後方端部(例えば、後部バンパ)を含むように光軸が設定され、RRカメラヘッド20の光軸よりも下向きとされる。
As shown in FIG. 8B, a reverse-moving
すなわち、前述したRHカメラヘッド14、LHカメラヘッド18、及びRRカメラヘッド20には、車両10の通常走行(前進及び後進、停車を問わず)の運転者の支援として用いられるのに対し、後進専用カメラ22は、車両10の後進時に特化して運転者の支援として用いられるものであり、用途が互いに異なるものである。
That is, while the above-mentioned
図9は、車両10の室内を、後席中央から前席を見たときの概略図である。
FIG. 9 is a schematic view of the interior of the
車両10の右サイドウィンドウ部26の前方には、前述した右カメラアダプタ12が位置しており、RHカメラヘッド14が取り付けられている。
The above-mentioned
右サイドウィンドウ部26とフロントウィンドウ部28との間に位置する右サイドAピラー30の下部には、RHモニタ32が取り付けられている。RHモニタ32には、RHカメラヘッド14で撮像された車両右後方の領域AR(図9(A)参照)の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、RHカメラヘッド14とRHモニタ32は、光学式の右サイドドアミラーと同等の役目を有する。
An RH monitor 32 is attached to the lower part of the right
車両10の左サイドウィンドウ部34の前方には、前述した左カメラアダプタ16が位置しており、LHカメラヘッド18が取り付けられている。
The
左サイドウィンドウ部34とフロントウィンドウ部28との間に位置する左サイドAピラー36の下部には、LHモニタ38が取り付けられている。LHモニタ38には、LHカメラヘッド18で撮像された車両右後方の領域AL(図9(A)参照)の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、LHカメラヘッド18とLHモニタ38は、光学式の左サイドドアミラーと同等の役目を有する。
An LH monitor 38 is attached to the lower part of the left
また、車室内における、センターコンソール部40の上部には、情報表示用モニタ24が取り付けられている。情報表示用モニタ24は、車両10のトランスミッション(図示省略)のシフトレバー42が後進レンジ(Rレンジ)に入っているときに、後進専用カメラ22で撮像した画像を表示する。
Further, an information display monitor 24 is attached to the upper part of the
情報表示用モニタ24は多機能モニタとして利用されるものであり、上記車両後方画像の表示以外に、例えば、図示しないナビゲーションシステムやオーディオシステムと連携し、切り替え操作によって、ナビゲーション画面(ナビゲーション情報画面等)やオーディオ画面(音楽に関する情報画面等)を表示する。例えば、ナビゲーション画面では、車両10に搭載したGPS機能で取得した位置情報に基づき、地図画像と共に自車の走行位置を地図画像上に表示する。なお、情報表示用モニタ24がタッチパネルの場合は、入力デバイスとしての機能を併せ持つ。
The information display monitor 24 is used as a multi-function monitor, and in addition to displaying the vehicle rear image, for example, in cooperation with a navigation system or an audio system (not shown), a navigation screen (navigation information screen, etc.) can be obtained by switching operations. ) And audio screens (information screens related to music, etc.) are displayed. For example, on the navigation screen, the traveling position of the own vehicle is displayed on the map image together with the map image based on the position information acquired by the GPS function mounted on the
ここで、第2の実施の形態の車両10のフロントウィンドウ部28の中央上部(又は、天井部)には、ルームミラー部44が取り付けられている。
Here, the
ルームミラー部44は、光学式の鏡面となる鏡面機能と、画像を表示するモニタ機能(第1の実施の形態で示したモニタ部106(図1参照)に相当)を併せ持っている。
The
鏡面機能では、運転中の運転者等の視野の範囲(目線の移動)で車両後方の状況を確認することができる。 With the mirror surface function, it is possible to check the situation behind the vehicle within the range of the field of view (movement of the line of sight) of the driver or the like while driving.
一方、モニタ機能では、前記RHカメラヘッド14、LHカメラヘッド18、及びRRカメラヘッド20で撮像した画像の合成画像を表示することができる。
On the other hand, in the monitor function, it is possible to display a composite image of the images captured by the
上記車両10に搭載されたRHカメラヘッド14、LHカメラヘッド18、及びRRカメラヘッド20は、図8に示される如く、領域ALと領域ACとの重複部分(第1オーバラップ部50A)と、領域ARと領域ACとの重複部分(第2オーバラップ部50B)と、が存在している。言い換えれば、本発明の仮想カメラ120を設定し得るオーバラップ部が、2箇所存在することになる。
As shown in FIG. 8, the
これを、第1の実施の形態のLカメラ102とRカメラ104(図2参照)との構成に置き換えると、第1オーバラップ部50Aは、LHカメラヘッド18がLカメラ102であり、RRカメラヘッド20がRカメラ104となる。
Replacing this with the configuration of the
一方、第2オーバラップ部50Bは、RRカメラヘッド20がLカメラ102であり、RHカメラヘッド14がRカメラ104となる。
On the other hand, in the
第2の実施の形態では、図10(A)この2箇所のオーバラップ部(第1オーバラップ部50A及び第2オーバラップ部50B)のそれぞれで、仮想カメラ120を設定した。
In the second embodiment, the
第2の実施の形態においても、第1オーバラップ部50Aと第2オーバラップ部50Bとのそれぞれにおいて、第1の実施の形態で説明した画像処理装置100(図3参照)を適用して、視差を検出し、検出した視差を調整し、実装したカメラの画像を変形し、それぞれのオーバラップ部(第1オーバラップ部50A及び第2オーバラップ部50B)で画像を重畳し、補間画像を生成することで、図11(B)に示される如く、被写体142の仮想スクリーン114上での二重像の発生を解消(軽減)することができる。
Also in the second embodiment, the image processing apparatus 100 (see FIG. 3) described in the first embodiment is applied to each of the
なお、参考として、表1に、第1の実施の形態のオーバラップ部112において、仮想カメラ120による補間画像生成するための実装のカメラ(Lカメラ102、Rカメラ104)と、第2の実施の形態のオーバラップ部(第1オーバラップ部50A及び第2オーバラップ部50B)のそれぞれにおいて、仮想カメラ120による補間画像生成するための実装のカメラ(RHカメラヘッド14、LHカメラヘッド18、RRカメラヘッド20)と、の対照関係を示す。
As a reference, in Table 1, in the
ここで、注目画像とは、二重像、消失のない画像合成処理を行った後、仮想スクリーン114で唯一ピントが合った状態で表示される画像の一部である。
Here, the image of interest is a part of an image that is displayed only in focus on the
画像合成処理では、仮想スクリーン114の画像は、ルームミラー部44に表示されることになるが、通常画像(図12(B)参照)では、全ての画像(物体)のピントが合った状態となる。
In the image composition process, the image of the
この表示画像の中に、注視するべき対象物(注目画像)が存在する場合、第2の実施の形態では、当該注目画像以外の領域のピントを意図的にぼかすことで、注目画像を強調することができる(図12(A)参照)。なお、図12(C)に示すように、注目画像が存在するオーバラップ部のみをぼかすようにしてもよい。 When there is an object (attention image) to be watched in this display image, in the second embodiment, the attention image is emphasized by intentionally blurring the focus of the area other than the attention image. Can be done (see FIG. 12 (A)). As shown in FIG. 12C, only the overlapped portion in which the image of interest is present may be blurred.
特に、第2の実施の形態のように、車両の後方画像においては、安全走行上、注視する対象物が存在する。例えば、注視するべき対象物は、自車両に近い他車両、自車両に接近してくる他車両、及び、外観が小さい物体(自転車や歩行者等)等を少なくとも含み、注目画像として、周囲の画像のピントをぼかすことで、強調することができる。 In particular, as in the second embodiment, in the rear image of the vehicle, there is an object to be watched for safe driving. For example, the object to be watched includes at least another vehicle close to the own vehicle, another vehicle approaching the own vehicle, and an object having a small appearance (bicycle, pedestrian, etc.), and the surrounding image is a noteworthy image. It can be emphasized by blurring the focus of the image.
なお、第1の実施の形態及び第2の実施の形態では、注目画像を強調する手段として、注目画像以外の領域の画像のピントを意図的にぼかすようにしたが、注目画像の領域と注目画像以外の領域とのコントラストや色味等を差異を設けるようにしてもよい。例えば、注目画像のみカラー画像とし、注目画像以外の領域を白黒画像とすればよい。また、注目画像にマーカーを付与するようにしてもよい。 In the first embodiment and the second embodiment, as a means for emphasizing the attention image, the focus of the image in the region other than the attention image is intentionally blurred, but the region of the attention image and the attention Differences in contrast, color, etc. from areas other than the image may be provided. For example, only the attention image may be a color image, and the area other than the attention image may be a black-and-white image. Further, a marker may be added to the image of interest.
なお、注目画像は、接近してくる物体に限定されるものではなく、物体の種類(自動車、農機、建機、自転車、歩行者等)によって抽出してもよいし、物体の大きさによって抽出してもよい。また、注目画像が複数存在する場合、基本的には、1つの仮想スクリーン114に対して1つの注目画像とすることが好ましいため、予め定めた優先度合いに基づいて抽出すればよい。
The image of interest is not limited to an approaching object, and may be extracted according to the type of the object (automobile, agricultural machine, construction machine, bicycle, pedestrian, etc.) or by the size of the object. You may. Further, when there are a plurality of attention images, it is basically preferable to use one attention image for one
なお、注目画像は、単一の領域である必要はなく、離間された2以上の領域を注目画像の領域としてもよい。特に、車両走行中は危険因子が複数存在することがあり得るため、複数の注目画素を設定し、それぞれ、注目画素以外との間で視認性の度合いの差を設けることは有効である。 The attention image does not have to be a single region, and two or more separated regions may be used as the region of the attention image. In particular, since a plurality of risk factors may exist while the vehicle is running, it is effective to set a plurality of pixels of interest and to provide a difference in the degree of visibility between the pixels other than the pixels of interest.
以下に、注視するべき対象物(すなわち、抽出する注目画像)を特定する場合の優先度合いの要素及び順位についての一例を挙げる。 The following is an example of priority elements and rankings when specifying an object to be watched (that is, an image of interest to be extracted).
優先度合いの要素としては、優先順位が高い順に、距離、スピード(相対距離の変化)、及び物体の大きさ等がある。 The elements of the degree of priority include distance, speed (change in relative distance), size of an object, and the like in descending order of priority.
(優先順位第1位) 要素が距離の場合は、近い物体の方が、遠い物体よりも優先度が高い。 (1st priority) When the element is a distance, a near object has a higher priority than a distant object.
(優先順位第2位) 要素がスピードの場合は、接近速度が速い物体の方が、接近速度が遅い物体よりも優先度が高い。さらに、接近速度がマイナス(遠ざかっている物体)は最も優先度が低い。 (Second priority) When the element is speed, an object with a high approach speed has a higher priority than an object with a slow approach speed. Furthermore, a negative approach speed (an object moving away) has the lowest priority.
(優先順位第3位) 要素が物体の大きさの場合は、小さい物体の方が大きい物体よりも優先度が高い(小さいと視認が遅れる可能性がある。)。 (3rd priority) When the element is the size of an object, a small object has a higher priority than a large object (smaller objects may delay visual recognition).
なお、上記優先順位は基本順位であり、周囲の条件、又は、一定期間監視(追跡)を行った上で、優先順位を逸脱して注目画像を抽出することも可能である。 The above-mentioned priority is a basic order, and it is also possible to deviate from the priority and extract the image of interest after monitoring (tracking) the surrounding conditions or for a certain period of time.
例えば、第1の実施の形態の画像処理装置100が車両に搭載されており、自車の後方に接近した状態で追従する他車があり、その横をバイクがすり抜けるような場合は、他車が優先となるが、優先順位第2位のスピードと優先順位第3位の組み合わせによって、優先順位第1位よりも優先し、バイクを注目画像とすることが好ましい。
For example, if the
また、例えば、第1の実施の形態の画像処理装置100が車両に搭載されており、自車の後方において、相対的に近い位置に障害物や看板が存在し、その後方に他車が追従して走行している場合は、距離が近い看板が優先となるが、優先順位第2位のスピードと優先順位第3位の組み合わせによって、優先順位第1位よりも優先し、他車を注目画像とすることが好ましい。
Further, for example, the
また、注目画像が複数の場合、優先順位の高い順から複数の注目画像を選択してもよいし、第1優先順位の注目画像に関連する種類の注目画像を選択してもよい。例えば、注目画像として自転車が選択された場合、表示画像内において自転車と認識できる全ての領域のピントを合わせるようにしてもよい。 Further, when there are a plurality of attention images, a plurality of attention images may be selected in descending order of priority, or a type of attention image related to the attention image of the first priority may be selected. For example, when a bicycle is selected as the image of interest, all areas that can be recognized as a bicycle in the displayed image may be focused.
なお、全ての事象を記録しておき、以後の注目画像の抽出を、機械学習を用いて処理するようにしてもよい。例えば、優先順位を固定化せず、通勤通学中の時間帯は人や自転車を第1優先順位とする、道幅が広く車線数が多い場合は速度を第1優先順位とする、工業団地内ではダンプカー等を注視するために大きさを第1優先順位とする、といった学習機能を持たせてもよい。 It should be noted that all the events may be recorded and the subsequent extraction of the image of interest may be processed by using machine learning. For example, the priority is not fixed, people and bicycles are the first priority during commuting hours, speed is the first priority when the road is wide and there are many lanes, in the industrial zone. It may have a learning function such as setting the size as the first priority in order to pay attention to the dump truck or the like.
第2の実施の形態において、実装するカメラを、RHカメラヘッド14、LHカメラヘッド18、RRカメラヘッド20としたが、実装するカメラ数や設置場所は限定されるものではない。例えば、RRカメラヘッド20を車両10の中央ではなく、左右に分散しての一対のRRカメラを設けてもよい(合計4個の実装カメラと3箇所のオーバラップ部)。すなわち、オーバラップ部の領域が広くなることで、画像の視認性の度合いに差を設ける処理の自由度を向上することができる。
In the second embodiment, the cameras to be mounted are the
また、第2の実施の形態では、車両10の後方の画像を撮影し、運転の支援をするためにルームミラー部44に表示するようにしたが、本発明の画像処理装置は、監視カメラ等にも適用可能である。
Further, in the second embodiment, an image of the rear of the
例えば、ある領域を複数の監視カメラで分割して撮影して監視する場合、モニタ上には、各監視カメラの映像がマルチに表示されており(或いは、定期的に切り替わって表示されており)、監視者は、それぞれの画像に順次視線を向ける必要があった。そこで、複数の監視カメラの撮影領域にオーバラップ部を設け、本発明の画像処理装置により合成することで、二重像が発生したり、被写体が消失することのない単一の広視野の画像を生成することができ、監視者の視点の移動を最小限に押さえることができる。 For example, when a certain area is divided into multiple surveillance cameras for shooting and monitoring, the images of each surveillance camera are displayed in multiples (or are displayed by switching periodically) on the monitor. , The observer had to look at each image in sequence. Therefore, by providing an overlapping portion in the shooting area of a plurality of surveillance cameras and synthesizing them by the image processing apparatus of the present invention, a single wide-field image in which a double image is not generated or the subject is not lost is obtained. Can be generated, and the movement of the observer's viewpoint can be minimized.
「第1の実施の形態」
100 画像処理装置
102 Lカメラ
104 Rカメラ
106 モニタ部
108 表示ドライバ
110 表示画面
112 オーバラップ部
114 仮想スクリーン
116 死角領域
118 視点補間画像生成部
120 仮想カメラ
122 視点位置指示部
124 画像連結部
126 出力部
128 視差検出部
130、132 視差調整部
134、138 画像変形部
136 画像混合部(補間画像生成部)
140 補間画像格納部
142 被写体
144 距離画像生成部
200L、200R 距離情報算出部
202L、202R 焦点調整距離決定部
204L、204R 注目画像抽出部
206L、206R 補正係数設定部
「第2の実施の形態」
10 車両
12 右カメラアダプタ
14 RHカメラヘッド
16 左カメラアダプタ
18 LHカメラヘッド
20 RRカメラヘッド
22 後進専用カメラ
24 情報表示用モニタ
26 右サイドウィンドウ部
28 フロントウィンドウ部
30 右サイドAピラー
32 RHモニタ
34 左サイドウィンドウ部
36 左サイドAピラー
38 LHモニタ
40 センターコンソール部
42 シフトレバー
44 ルームミラー部
"First embodiment"
100 Image processing device 102 L camera 104
140 Interpolated
10
Claims (7)
前記複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、前記複数の撮像装置の各々から前記注目画像までの距離を算出し、前記注目画像が抽出された場合に、前記複数の撮像装置の各々から前記注目画像までの距離に基づいて、注目画像領域と、該注目画像領域以外の領域とにおいて、画像の視認性の度合いに差を設ける処理を実行する、制御部を有する画像処理装置。 When a plurality of image information captured by a plurality of image pickup devices so as to form an overlap portion in which mutual image pickup areas overlap is acquired, and the acquired plurality of image information are combined and displayed, the overlap is performed. At least one virtual viewpoint is set for the unit, and as an image for the virtual viewpoint, an interpolated image generated by interpolating from images taken by the plurality of imaging devices and an overlapping unit captured by the plurality of imaging devices. By combining with images other than the above, an image with the focal position on a predetermined virtual screen is generated, and at the same time,
From the images taken by the plurality of image pickup devices, the attention image specified under a predetermined condition is extracted, the distance from each of the plurality of image pickup devices to the attention image is calculated, and the attention image is extracted. In this case, a process of providing a difference in the degree of visibility of the image between the attention image region and the region other than the attention image region is executed based on the distance from each of the plurality of image pickup devices to the attention image. An image processing device having a control unit.
請求項1~請求項6の何れか1項記載の画像処理装置の制御部として動作させる、
画像処理プログラム。 Computer,
It is operated as a control unit of the image processing apparatus according to any one of claims 1 to 6.
Image processing program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132645A JP2022029346A (en) | 2020-08-04 | 2020-08-04 | Image processing device and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132645A JP2022029346A (en) | 2020-08-04 | 2020-08-04 | Image processing device and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022029346A true JP2022029346A (en) | 2022-02-17 |
Family
ID=80271387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020132645A Pending JP2022029346A (en) | 2020-08-04 | 2020-08-04 | Image processing device and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022029346A (en) |
-
2020
- 2020-08-04 JP JP2020132645A patent/JP2022029346A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP6091586B1 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM | |
JP3652678B2 (en) | Vehicle surrounding monitoring apparatus and adjustment method thereof | |
JP4596978B2 (en) | Driving support system | |
JP5077307B2 (en) | Vehicle surrounding image display control device | |
JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP4315968B2 (en) | Image processing apparatus and visibility support apparatus and method | |
US8044781B2 (en) | System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor | |
US8009868B2 (en) | Method of processing images photographed by plural cameras and apparatus for the same | |
WO2011118125A1 (en) | Device for supporting driving of a vehicle | |
JP2013183298A (en) | Rearward visibility support device for vehicle and rearward visibility support method for vehicle | |
JP6392693B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
JP5760999B2 (en) | Image processing apparatus and image processing method | |
JP7263731B2 (en) | Image processing device | |
US20190100145A1 (en) | Three-dimensional image driving assistance device | |
JP2009206747A (en) | Ambient condition monitoring system for vehicle, and video display method | |
EP3772719B1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2008048094A (en) | Video display device for vehicle, and display method of video images in vicinity of the vehicle | |
CN114179725A (en) | Display device for vehicle | |
JP2011155651A (en) | Apparatus and method for displaying vehicle perimeter image | |
JP7442029B2 (en) | Image processing device, image processing program | |
JP2006279511A (en) | Peripheral supervisory system | |
JP2022029346A (en) | Image processing device and image processing program | |
JP2011243010A (en) | Driving assist device |