JP2020051903A - Stereo camera system and distance measurement method - Google Patents

Stereo camera system and distance measurement method Download PDF

Info

Publication number
JP2020051903A
JP2020051903A JP2018181674A JP2018181674A JP2020051903A JP 2020051903 A JP2020051903 A JP 2020051903A JP 2018181674 A JP2018181674 A JP 2018181674A JP 2018181674 A JP2018181674 A JP 2018181674A JP 2020051903 A JP2020051903 A JP 2020051903A
Authority
JP
Japan
Prior art keywords
stereo camera
distance
distance measurement
camera system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018181674A
Other languages
Japanese (ja)
Other versions
JP6983740B2 (en
Inventor
利樹 石井
Toshiki Ishii
利樹 石井
別井　圭一
Keiichi Betsui
圭一 別井
島野　健
Takeshi Shimano
健 島野
啓太 山口
Keita Yamaguchi
啓太 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018181674A priority Critical patent/JP6983740B2/en
Priority to PCT/JP2019/010266 priority patent/WO2020066068A1/en
Publication of JP2020051903A publication Critical patent/JP2020051903A/en
Application granted granted Critical
Publication of JP6983740B2 publication Critical patent/JP6983740B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Abstract

To accurately perform distance measurement according to the distance of an object.SOLUTION: A stereo camera system includes: a plurality of distance measurement cameras, each of which images an object existing in its own angle-of-view range; and an integration part in which a pair of distance measurement cameras is used as a virtual stereo camera and which performs distance measurement of the object based on an image imaged by each of the pair of distance measurement cameras. In comparison with the distance measurement camera, the virtual stereo camera has higher accuracy in distance measurement of the object which exists farther than a determined distance.SELECTED DRAWING: Figure 1

Description

本発明は、ステレオカメラシステム、及び測距方法に関する。   The present invention relates to a stereo camera system and a distance measuring method.

自動車におけるユーザサポート機能として、自動運転、自動ブレーキ、自動追従等の開発、改良が進められている。これらのユーザサポート機能の実現には、自動車の周囲に存在する物体を検知する技術が共通して用いられており、特に、自動運転については、自動車の全周囲（周囲３６０°）の物体検知技術の確立が重要となる。   Development and improvement of automatic driving, automatic braking, automatic following, and the like are being promoted as user support functions in automobiles. In order to realize these user support functions, a technology for detecting an object existing around a vehicle is commonly used. In particular, for automatic driving, a technology for detecting an object around the entire vehicle (360 ° around) is used. Is important.

自動車の全周囲の物体検知技術としては、レーザパルスの反射戻り時間から物体までの距離を検出するＬＩＤＡＲ(Laser Imaging Detection and Ranging)を用いる方法が知られている。   As a technique for detecting an object around the entire vehicle, there is known a method using LIDAR (Laser Imaging Detection and Ranging) for detecting a distance to an object from a reflection return time of a laser pulse.

また、ステレオカメラを用いて物体までの距離を測定する方法も知られており、例えば特許文献１には、車体に複数のステレオカメラを配置し、得られた複数の画像に基づいてステレオカメラのキャリブレーションを行う建設機械が開示されている。   Further, a method of measuring a distance to an object using a stereo camera is also known. For example, Patent Document 1 discloses a method in which a plurality of stereo cameras are arranged on a vehicle body, and the stereo camera is arranged based on a plurality of obtained images. A construction machine for performing calibration is disclosed.

特開２０１４−２１５０３９号公報JP 2014-215039 A

ＬＩＤＡＲを用いる方法の場合、ＬＩＤＡＲだけでは画像を取得することができないので、検知した物体が何であるのかを認識するため、画像を撮影できるカメラを併用する必要がある。また、周囲に存在する自動車もＬＩＤＡＲを用いている場合、レーザ光が相互に干渉し合ってしまう可能性がある。   In the case of the method using LIDAR, an image cannot be acquired only by LIDAR. Therefore, in order to recognize what the detected object is, it is necessary to use a camera capable of taking an image together. In addition, in the case where a nearby vehicle also uses LIDAR, the laser beams may interfere with each other.

特許文献１に記載の建設機械では、複数のステレオカメラはそれぞれの測距範囲を単体で測距しているに過ぎず、例えば、隣接するステレオカメラを組み合わせることによって、測距精度を向上させるような用途には用いられていない。   In the construction machine described in Patent Literature 1, the plurality of stereo cameras merely measure the respective distance measurement ranges by themselves, and, for example, the accuracy of distance measurement is improved by combining adjacent stereo cameras. It is not used for various applications.

本発明は、このような状況を鑑みてなされたものであって、物体の距離に応じて精度良く測距できるようにすることを目的とする。   The present invention has been made in view of such a situation, and has as its object to enable accurate distance measurement according to the distance of an object.

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係るステレオカメラシステムは、自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、前記測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高いことを特徴とする。   The present application includes a plurality of means for solving at least a part of the above-described problems, and examples thereof are as follows. In order to solve the above problem, a stereo camera system according to an aspect of the present invention includes: a plurality of ranging cameras that capture an image of an object existing in a range of its own angle of view and measure the distance of the object; A pair of virtual stereo cameras, and an integration unit that measures the distance of the object based on images captured by each of the pair of ranging cameras.The virtual stereo camera is compared with the ranging camera. And the distance measurement accuracy of the object located farther than a predetermined distance is high.

本発明によれば、物体の距離に応じて精度良く測距することが可能となる。   According to the present invention, it is possible to accurately measure a distance according to a distance of an object.

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。   Problems, configurations, and effects other than those described above will be apparent from the following description of the embodiments.

本発明に係る第１の実施形態であるステレオカメラシステムの構成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of a stereo camera system according to a first embodiment of the present invention. ステレオカメラシステムの詳細な構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a detailed configuration example of a stereo camera system. 測距カメラにおける第１撮像部と第２撮像部との位置関係の例を示す図である。FIG. 4 is a diagram illustrating an example of a positional relationship between a first imaging unit and a second imaging unit in a distance measuring camera. ステレオカメラと見做される２つの測距カメラの位置関係の例を示す図である。FIG. 4 is a diagram illustrating an example of a positional relationship between two ranging cameras regarded as a stereo camera. ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。It is a figure showing the ranging accuracy with respect to the distance of a single stereo camera and a ranging camera. ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。It is a figure showing the ranging accuracy with respect to the distance of a single stereo camera and a ranging camera. ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。It is a figure showing the ranging accuracy with respect to the distance of a single stereo camera and a ranging camera. ステレオカメラシステムによる動作の一例を説明するフローチャートである。6 is a flowchart illustrating an example of an operation performed by the stereo camera system. 本発明に係る第２の実施形態である車載ステレオカメラシステムの構成例を示す図である。It is a figure showing the example of composition of the in-vehicle stereo camera system which is a 2nd embodiment concerning the present invention. 車載ステレオカメラシステムにおける各測距カメラの画角範囲を示す図である。It is a figure showing the angle of view range of each ranging camera in an in-vehicle stereo camera system. 車載ステレオカメラシステムにおける各測距カメラの単体での測距結果を採用する範囲を示す図である。It is a figure which shows the range which employ | adopts the ranging result of each ranging camera alone in an in-vehicle stereo camera system. 測距カメラとして採用し得るステレオカメラの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a stereo camera that can be adopted as a distance measuring camera. 上側双曲面ミラーと外周側双曲面ミラーと内周側双曲面ミラーとの関係を示す断面図である。It is sectional drawing which shows the relationship between an upper hyperboloid mirror, an outer hyperboloid mirror, and an inner hyperboloid mirror. 各双曲面ミラーのパラメータの一例を示す図である。It is a figure showing an example of a parameter of each hyperboloid mirror.

以下、本発明に係る複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。   Hereinafter, a plurality of embodiments according to the present invention will be described with reference to the drawings. In all the drawings for describing each embodiment, the same members are denoted by the same reference numerals in principle, and the repeated description thereof will be omitted. Also, in the following embodiments, the components (including element steps, etc.) are not necessarily essential, unless otherwise specified or considered to be indispensable in principle. Needless to say. In addition, when saying “consisting of A”, “consisting of A”, “having A”, or “including A”, other elements are excluded unless otherwise specified. Needless to say, it doesn't. Similarly, in the following embodiments, when referring to the shapes, positional relationships, and the like of the components, the shapes are substantially the same unless otherwise specified, and in cases where it is clearly considered in principle not to be so. And the like.

＜本発明に係る第１の実施形態であるステレオカメラシステムの構成例＞
図１は、本発明に係る第１の実施形態であるステレオカメラシステム１の構成例を示している。ステレオカメラシステム１は、測距カメラ１０ａ，１０ｂ、及び統合部２０を備える。 <Configuration example of stereo camera system according to first embodiment of the present invention>
FIG. 1 shows a configuration example of a stereo camera system 1 according to a first embodiment of the present invention. The stereo camera system 1 includes distance measuring cameras 10a and 10b and an integrating unit 20.

測距カメラ１０ａは、例えば、路面に対して垂直な方向（図面に対して垂直な方向）に配置された第１撮像部１１ａ（図２）及び第２撮像部１３ａ（図２）を有するステレオカメラから成る。測距カメラ１０ａは、画角範囲ＡＯＶａを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ａは、単体として、画角範囲ＡＯＶａに存在する物体を測距する（距離を測定する）機能を有し、測距結果を統合部２０に出力する。なお、測距カメラ１０ａは、ステレオカメラの他、例えば、ＴＯＦ(time of flight)カメラによって実現できる。   The distance measuring camera 10a is, for example, a stereo having a first imaging unit 11a (FIG. 2) and a second imaging unit 13a (FIG. 2) arranged in a direction perpendicular to a road surface (a direction perpendicular to the drawing). Consists of a camera. The distance measuring camera 10a captures an image of the angle of view range AOVa, and outputs an image obtained as a result of the capturing to the integration unit 20. The distance measuring camera 10a has a function of measuring the distance (measuring the distance) of an object existing in the angle of view range AOVa as a single unit, and outputs a result of the distance measurement to the integration unit 20. The distance measuring camera 10a can be realized by, for example, a TOF (time of flight) camera in addition to the stereo camera.

同様に、測距カメラ１０ｂは、例えば、路面に対して垂直な方向に配置された第１撮像部１１ｂ（図２）及び第２撮像部１３ｂ（図２）を有するステレオカメラから成る。測距カメラ１０ｂは、画角範囲ＡＯＶｂを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ｂは、単体として、画角範囲ＡＯＶｂに存在する物体を測距する機能を有し、測距結果を統合部２０に出力する。なお、測距カメラ１０ｂは、例えば、ステレオカメラの他、ＴＯＦカメラによって実現できる。   Similarly, the distance measuring camera 10b includes, for example, a stereo camera having a first imaging unit 11b (FIG. 2) and a second imaging unit 13b (FIG. 2) arranged in a direction perpendicular to the road surface. The ranging camera 10b captures an image of the angle-of-view range AOVb, and outputs an image obtained as a capturing result to the integration unit 20. Further, the distance measuring camera 10b has a function of measuring the distance of an object existing in the angle of view range AOVb as a single unit, and outputs a result of the distance measurement to the integration unit 20. The distance measuring camera 10b can be realized by, for example, a TOF camera in addition to a stereo camera.

以下、測距カメラ１０ａ、１０ｂを個々に区別する必要が無い場合、単に測距カメラ１０と称する。   Hereinafter, when it is not necessary to distinguish the distance measuring cameras 10a and 10b individually, they are simply referred to as the distance measuring camera 10.

統合部２０は、測距カメラ１０の対（測距カメラ１０ａ，１０ｂ）を１つのステレオカメラＳａｂと見做して物体を測距する。ステレオカメラＳａｂは、本発明の仮想ステレオカメラに相当する。   The integrating unit 20 measures the distance of the object by regarding the pair of the distance measuring cameras 10 (the distance measuring cameras 10a and 10b) as one stereo camera Sab. The stereo camera Sab corresponds to the virtual stereo camera of the present invention.

すなわち、統合部２０は、測距カメラ１０ａと測距カメラ１０ｂのそれぞれで撮像された画像を取得し、取得した画像を用いたステレオマッチング処理により、測距カメラ１０ａの画角範囲ＡＯＶａと測距カメラ１０ｂの画角範囲ＡＯＶｂとが重複する重複領域Ｒａｂに存在している物体を測距する。当然ながら、ステレオカメラＳａｂは、重複領域Ｒａｂに存在しない物体を測距することはできない。   That is, the integration unit 20 obtains images captured by the distance-measuring camera 10a and the distance-measuring camera 10b, respectively, and performs a stereo matching process using the obtained images to obtain the angle-of-view range AOVa of the distance-measuring camera 10a and the distance-measuring. The object located in the overlapping area Rab where the angle of view range AOVb of the camera 10b overlaps is measured. Of course, the stereo camera Sab cannot measure the distance of an object that does not exist in the overlapping area Rab.

ステレオカメラＳａｂは、その基線長Ｌ２（図４）が、測距カメラ１０の単体の基線長Ｌ１（図４）よりも長くなるので、所定の距離よりも遠くに存在する物体に対する測距精度を測距カメラ１０の単体よりも上げることができる。   Since the stereo camera Sab has a base line length L2 (FIG. 4) longer than the base line length L1 (FIG. 4) of the distance measuring camera 10 alone, the stereo camera Sab has an improved distance measurement accuracy for an object located farther than a predetermined distance. The distance measuring camera 10 can be raised more than a single unit.

そこで、統合部２０は、ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高くなる境の所定の距離を距離閾値ＴＨＬとし、重複領域Ｒａｂに存在する物体のうち、測距カメラ１０から距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用し、距離閾値ＴＨＬよりも近い領域Ｒａ，Ｒｂに存在する物体については測距カメラ１０の単体による測距結果を採用する。また、統合部２０は、ステレオカメラＳａｂによって測距できない物体については、測距カメラ１０の単体での測距結果を採用する。   Therefore, the integrating unit 20 sets the predetermined distance at the boundary where the stereo camera Sab has higher distance measurement accuracy than the distance measurement camera 10 alone as the distance threshold value THL, and sets the distance measurement threshold among the objects existing in the overlapping area Rab. For an object located farther than the distance threshold value THL from the camera 10, the distance measurement result by the stereo camera Sab is adopted, and for an object located in the areas Ra and Rb closer to the distance threshold value THL, measurement is performed by the distance measurement camera 10 alone. Use the distance result. In addition, for an object that cannot be measured by the stereo camera Sab, the integrating unit 20 adopts the distance measurement result of the distance measurement camera 10 alone.

さらに、統合部２０は、正確な距離が分かっている物体を測距することにより、正確な距離と測距結果との差分に基づいて、ステレオカメラＳａｂの自己キャリブレーションを実行する。   Further, the integrating unit 20 performs self-calibration of the stereo camera Sab based on the difference between the accurate distance and the distance measurement result by measuring the distance of the object whose exact distance is known.

なお、図１の場合は異なるが、測距カメラ１０ａの画角範囲ＡＯＶａに測距カメラ１０ｂを配置し、統合部２０が、測距カメラ１０ａによって撮像された、測距カメラ１０ｂが写り込んでいる画像に基づき、ステレオカメラＳａｂの基線長とその傾きを決定、補正するようにしてもよい。   Although the case of FIG. 1 is different, the distance measuring camera 10b is arranged in the angle-of-view range AOVa of the distance measuring camera 10a, and the integrating unit 20 reflects the distance measuring camera 10b captured by the distance measuring camera 10a. The base line length of the stereo camera Sab and its inclination may be determined and corrected based on the image that is present.

次に、図２は、ステレオカメラシステム１の詳細な構成例を示すブロック図である。なお、図２の構成例において、測距カメラ１０は、第１撮像部１１及び第２撮像部１３を有するステレオカメラである。   Next, FIG. 2 is a block diagram illustrating a detailed configuration example of the stereo camera system 1. In the configuration example of FIG. 2, the ranging camera 10 is a stereo camera having the first imaging unit 11 and the second imaging unit 13.

測距カメラ１０は、第１撮像部１１、歪補正部１２、第２撮像部１３、歪補正部１４、及び距離算出部１５を有する。   The ranging camera 10 includes a first imaging unit 11, a distortion correction unit 12, a second imaging unit 13, a distortion correction unit 14, and a distance calculation unit 15.

以下、測距カメラ１０ａの第１撮像部１１を、その符号にａを追加して第１撮像部１１ａと称する。その他の構成要素についても同様とする。また、測距カメラ１０ｂについても同様とする。   Hereinafter, the first imaging unit 11 of the distance measuring camera 10a is referred to as a first imaging unit 11a by adding a to the reference numeral. The same applies to other components. The same applies to the distance measuring camera 10b.

第１撮像部１１は、例えば広角レンズや魚眼レンズ等から成る集光部３１（図３）と、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等から成る高解像度イメージセンサ３２（図３）を有する。第１撮像部１１においては、集光部３１によって物体の光を高解像度イメージセンサ３２に集光し、高解像度イメージセンサ３２にて光電変換により第１画像を生成する。第１撮像部１１は、第１画像を歪補正部１２に出力する。歪補正部１２は、第１画像に生じている画像歪を補正して距離算出部１５に出力する。   The first imaging unit 11 has a light condensing unit 31 (FIG. 3) composed of, for example, a wide-angle lens or a fisheye lens, and a high-resolution image sensor 32 (FIG. 3) composed of a CMOS (Complementary Metal Oxide Semiconductor) or the like. In the first imaging unit 11, the light of the object is condensed on the high-resolution image sensor 32 by the condensing unit 31, and the first image is generated by the high-resolution image sensor 32 by photoelectric conversion. The first imaging unit 11 outputs the first image to the distortion correction unit 12. The distortion correction unit 12 corrects image distortion occurring in the first image and outputs the result to the distance calculation unit 15.

第２撮像部１３は、例えば広角レンズや魚眼レンズ等から成る集光部３３（図３）と、ＣＭＯＳ等から成る低解像度イメージセンサ３４（図３）を有する。第２撮像部１３においては、集光部３３によって物体の光を低解像度イメージセンサ３４に集光し、低解像度イメージセンサ３４にて光電変換により第２画像を生成する。第２撮像部１３は、第２画像を歪補正部１４に出力する。歪補正部１４は、第２画像に生じている画像歪を補正して距離算出部１５に出力する。   The second imaging unit 13 includes, for example, a light collecting unit 33 (FIG. 3) including a wide-angle lens or a fisheye lens, and a low-resolution image sensor 34 (FIG. 3) including a CMOS or the like. In the second imaging unit 13, the light of the object is condensed on the low-resolution image sensor 34 by the condensing unit 33, and the low-resolution image sensor 34 generates a second image by photoelectric conversion. The second imaging unit 13 outputs the second image to the distortion correction unit 14. The distortion correction unit 14 corrects image distortion occurring in the second image and outputs the result to the distance calculation unit 15.

図３は、測距カメラ１０における第１撮像部１１と第２撮像部１３との位置関係の例を示している。同図に示されるように、第１撮像部１１と第２撮像部１３とは、基線長Ｌ１（例えば、数ｃｍ）だけ路面に対して垂直な方向に離れて配置されている。第１撮像部１１と第２撮像部１３とは、路面に対して水平な方向の画角範囲が共通なので、オクルージョンの発生を抑止することができる。   FIG. 3 shows an example of a positional relationship between the first imaging unit 11 and the second imaging unit 13 in the distance measuring camera 10. As shown in the figure, the first imaging unit 11 and the second imaging unit 13 are separated from each other in a direction perpendicular to the road surface by a base line length L1 (for example, several cm). Since the first imaging unit 11 and the second imaging unit 13 have a common angle of view range in a direction horizontal to the road surface, the occurrence of occlusion can be suppressed.

なお、第１撮像部１１の高解像度イメージセンサ３２と、第２撮像部１３の低解像度イメージセンサ３４とは解像度が異なる。したがって、高解像度イメージセンサ３２から得られる第１画像は、低解像度イメージセンサ３４から得られる第２画像よりも高解像度となる。なお、低解像度イメージセンサ３４は、高解像度イメージセンサ３２よりも価格が安いので、その分だけ生産コストを抑えることができる。ただし高解像度イメージセンサ３２と低解像度イメージセンサ３４との解像度を統一するようにしてもよい。   Note that the high-resolution image sensor 32 of the first imaging unit 11 and the low-resolution image sensor 34 of the second imaging unit 13 have different resolutions. Therefore, the first image obtained from the high resolution image sensor 32 has a higher resolution than the second image obtained from the low resolution image sensor 34. Since the low-resolution image sensor 34 is cheaper than the high-resolution image sensor 32, the production cost can be reduced accordingly. However, the resolutions of the high resolution image sensor 32 and the low resolution image sensor 34 may be unified.

図２に戻る。距離算出部１５は、画像歪を補正した第１画像及び第２画像に基づき、ステレオマッチング処理によって、第１画像と第２画像との両方に写っている物体までの距離を算出して距離判定部２３に出力する。   Return to FIG. The distance calculation unit 15 calculates a distance to an object appearing in both the first image and the second image by stereo matching based on the first image and the second image in which the image distortion has been corrected, and determines the distance. Output to the unit 23.

測距カメラ１０ｂは、測距カメラ１０ａと同様に構成されているので、その説明は省略する。   The ranging camera 10b is configured in the same manner as the ranging camera 10a, and a description thereof will be omitted.

図４は、測距カメラ１０ａの第１撮像部１１ａ及び第２撮像部１３ａと、測距カメラ１０ｂの第１撮像部１１ｂ及び第２撮像部１３ｂとの位置関係の例を示している。   FIG. 4 illustrates an example of a positional relationship between the first imaging unit 11a and the second imaging unit 13a of the distance measurement camera 10a and the first imaging unit 11b and the second imaging unit 13b of the distance measurement camera 10b.

ステレオカメラＳａｂを成す測距カメラ１０ａと測距カメラ１０ｂとは、路面に対して水平な方向に、例えば数ｍだけ離して配置される。したがって、ステレオカメラＳａｂの基線長Ｌ２も数ｍとなり、測距カメラ１０の単体での基線長Ｌ１よりも長くなる。よって、ステレオカメラＳａｂは、測距カメラ１０の単体に比較して、高い測距精度を実現することができる。   The distance-measuring camera 10a and the distance-measuring camera 10b forming the stereo camera Sab are arranged, for example, several meters apart in a direction horizontal to the road surface. Therefore, the base length L2 of the stereo camera Sab is also several meters, which is longer than the base length L1 of the distance measuring camera 10 alone. Therefore, the stereo camera Sab can realize higher ranging accuracy than the single ranging camera 10 alone.

図２に戻る。統合部２０は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、通信Ｉ／Ｆ等から成り、画像取得部２１、距離算出部２２、及び距離判定部２３の各機能ブロックを実現する。   Return to FIG. The integration unit 20 includes, for example, a CPU (Central Processing Unit), a memory, a communication I / F, and the like, and implements each functional block of an image acquisition unit 21, a distance calculation unit 22, and a distance determination unit 23.

画像取得部２１は、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを取得し、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。距離算出部２２は、２枚の第１画像ａ，ｂに基づき、ステレオマッチング処理によって、第１画像ａ，ｂの両方に写っている物体までの距離を算出して距離判定部２３に出力する。   The image obtaining unit 21 obtains a high-resolution first image a from the distortion correcting unit 12a of the distance measuring camera 10a, obtains a high-resolution first image b from the distortion correcting unit 12b of the distance measuring camera 10b, and calculates a distance. Output to the unit 22. Based on the two first images a and b, the distance calculation unit 22 calculates a distance to an object appearing in both the first images a and b by stereo matching processing and outputs the calculated distance to the distance determination unit 23. .

なお、画像取得部２１が、測距カメラ１０ａ，１０ｂから低解像度の第２画像ａ，ｂを取得し、距離算出部２２にて、第２画像ａ，ｂに基づき、物体までの距離を算出するようにしてもよい。ただし、高解像度の第１画像ａ，ｂを用いる方が、低解像度の第２画像ａ，ｂを用いる場合に比較して、より高い精度でステレオマッチング処理を行うことができるので、得られる測距結果もより高い精度を得ることができる。   The image acquisition unit 21 acquires the low-resolution second images a and b from the distance-measuring cameras 10a and 10b, and the distance calculation unit 22 calculates the distance to the object based on the second images a and b. You may make it. However, using the first images a and b with high resolution can perform stereo matching processing with higher accuracy than using the second images a and b with low resolution. Higher accuracy can be obtained for the distance result.

距離判定部２３は、測定結果が距離閾値ＴＨＬ（例えば、１０ｍ）未満であった物体については、測距カメラ１０の単体での測距結果を採用し、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果、すなわち、距離算出部２２による算出結果を採用すると判定する。また、距離判定部２３は、ステレオカメラＳａｂによって測距できない物体についても、測距カメラ１０の単体での測距結果を採用すると判定する。さらに、距離判定部２３は、何らかの原因（ステレオマッチングができない場合、故障の場合等）により、測距カメラ１０の単体及びステレオカメラＳａｂの一方が測距結果を得られず、他方が測距結果を得られた場合、他方の測距結果を採用すると判定する。そして、距離判定部２３は、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する。   For an object whose measurement result is less than the distance threshold value THL (for example, 10 m), the distance determination unit 23 adopts the distance measurement result of the distance measuring camera 10 alone, and the measurement result is equal to or greater than the distance threshold value THL. For the object, it is determined that the distance measurement result by the stereo camera Sab, that is, the calculation result by the distance calculation unit 22 is used. In addition, the distance determination unit 23 determines that the distance measurement result of the distance measurement camera 10 alone is used for an object that cannot be measured by the stereo camera Sab. Further, the distance determination unit 23 determines that one of the distance measuring camera 10 and the stereo camera Sab cannot obtain the distance measurement result and the other is the distance measurement result due to some cause (for example, when stereo matching cannot be performed or a failure occurs). Is obtained, it is determined that the other distance measurement result is used. Then, the distance determination unit 23 outputs a distance measurement result corresponding to the determination result to a predetermined device (not shown) or the like.

なお、測距カメラ１０の単体とステレオカメラＳａｂとの両方によって測距できる重複領域Ｒａｂに存在する物体の距離については、測距カメラ１０の単体による測距結果とステレオカメラＳａｂによる測距結果とを用いた所定の演算値（例えば、重み付け平均値）を採用するようにしてもよい。   Note that the distance between the objects existing in the overlapping area Rab that can be measured by both the single ranging camera 10 and the stereo camera Sab is determined by the distance measurement result by the single ranging camera 10 and the ranging result by the stereo camera Sab. May be adopted (for example, a weighted average value).

該所定の装置に出力された物体の測距結果は、例えば、３Ｄ映像としてディスプレイに表示したり、ステレオカメラシステム１を搭載する自動車のＥＣＵ(Electronic Control Unit)に供給したり、所定のサーバに送信したりするようにしてもよい。   The distance measurement result of the object output to the predetermined device is displayed, for example, as a 3D image on a display, supplied to an ECU (Electronic Control Unit) of an automobile equipped with the stereo camera system 1, or transmitted to a predetermined server. It may be transmitted.

次に、図５〜図７は、ステレオカメラＳａｂと、測距カメラ１０の単体とによる、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。ここで、測距精度とは、実際の距離に対する測距結果の誤差を百分率で示したものであり、各図においては、その値が小さいほど、測距精度が高いことを意味する。   Next, FIGS. 5 to 7 show the distance measurement accuracy with respect to the distance to the object by the stereo camera Sab and the single distance measurement camera 10. Note that the horizontal axis in each figure indicates the actual distance to the object to be measured, and the vertical axis indicates the distance measurement accuracy. Here, the ranging accuracy indicates the error of the ranging result with respect to the actual distance as a percentage, and in each drawing, the smaller the value, the higher the ranging accuracy.

図５は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、ステレオカメラＳａｂではオクルージョンによって測距ができず、所定の距離よりも遠くに存在する物体については、ステレオカメラＳａｂの方が、測距カメラ１０の単体よりも測距精度が高い場合を示している。このような場合、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用するようにする。   FIG. 5 shows that an object located closer than a predetermined distance (distance threshold value THL) indicated by a broken line parallel to the vertical axis cannot be measured by the stereo camera Sab due to occlusion, and is located farther than the predetermined distance. For an object to be measured, the case where the stereo camera Sab has higher ranging accuracy than the single ranging camera 10 is shown. In such a case, a predetermined distance is set as the distance threshold value THL, and for an object existing closer to the distance threshold value THL, a result of the distance measurement by the single distance measuring camera 10 is adopted, and an object existing farther than the distance threshold value THL is used. For, the result of distance measurement by the stereo camera Sab is adopted.

図６は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、測距カメラ１０の単体の方がステレオカメラＳａｂよりも測距精度が高く、距離閾値ＴＨＬよりも遠くに存在する物体については、ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高い場合を示している。このような場合でも、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体についてはステレオカメラＳａｂによる測距結果を採用するようにする。   FIG. 6 shows that, for an object existing closer than a predetermined distance (distance threshold THL) indicated by a broken line parallel to the vertical axis, the distance measuring camera 10 alone has higher distance measuring accuracy than the stereo camera Sab. For an object located farther than the distance threshold value THL, the case where the stereo camera Sab has higher distance measurement accuracy than the single distance measurement camera 10 is shown. Even in such a case, the predetermined distance is set as the distance threshold value THL, and for an object existing closer to the distance threshold value THL, the result of the distance measurement by the single distance measuring camera 10 is adopted, and the object is located farther than the distance threshold value THL. For the object, the result of distance measurement by the stereo camera Sab is adopted.

図７は、統合部２０による自己キャリブレーション前後の測距精度を示している。自己キャリブレーション後においては、測距カメラ１０の単体による測距精度とステレオカメラＳａｂによる測距精度との優劣が逆転する縦軸に平行な破線によって示す所定の距離が変化するので、自己キャリブレーション後においては距離閾値ＴＨＬも変更するようにする。なお、同図においては、ステレオカメラＳａｂのみ自己キャリブレーションを行っているが、測距カメラ１０の単体として自己キャリブレーションを行うようにしてもよい。   FIG. 7 shows the ranging accuracy before and after the self-calibration by the integration unit 20. After the self-calibration, a predetermined distance indicated by a broken line parallel to the vertical axis changes in which the accuracy of the distance measurement by the distance measuring camera 10 alone and that by the stereo camera Sab are reversed. Later, the distance threshold value THL is also changed. In FIG. 2, the self-calibration is performed only for the stereo camera Sab. However, the self-calibration may be performed for the distance measuring camera 10 alone.

＜ステレオカメラシステム１の動作＞
次に、図８は、ステレオカメラシステム１による動作の一例を説明するフローチャートである。 <Operation of stereo camera system 1>
Next, FIG. 8 is a flowchart illustrating an example of the operation of the stereo camera system 1.

この動作は、例えばユーザからの所定の操作に応じて開始される。   This operation is started, for example, in response to a predetermined operation from the user.

はじめに、測距カメラ１０ａ，１０ｂが、それぞれ単体として、自己の画角範囲に存在する物体を測距し、測距結果を統合部２０に出力する（ステップＳ１）。   First, the ranging cameras 10a and 10b each independently measure the distance of an object existing within their own field of view, and output the ranging result to the integration unit 20 (step S1).

具体的には、測距カメラ１０ａでは、第１撮像部１１ａが画角範囲ＡＯＶａを撮像し、その結果得られる第１画像ａを歪補正部１２ａに出力し、歪補正部１２ａが第１画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。これと同時に、第２撮像部１３ａが画角範囲ＡＯＶａを撮像し、その結果得られる第２画像ａを歪補正部１４ａに出力し、歪補正部１４ａが、第２画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。さらに、距離算出部１５ａが、画像歪を補正した第１画像ａ及び第２画像ａに基づき、ステレオマッチング処理によって、第１画像ａと第２画像ａとの両方に写っている物体までの距離を算出して距離判定部２３に出力する。   Specifically, in the distance-measuring camera 10a, the first imaging unit 11a captures an image of the angle of view range AOVa, outputs the resulting first image a to the distortion correction unit 12a, and outputs the first image a to the distortion correction unit 12a. The image distortion that has occurred in a is corrected and output to the distance calculation unit 15a. At the same time, the second imaging unit 13a captures an image of the angle-of-view range AOVa, outputs the resulting second image a to the distortion correction unit 14a, and the distortion correction unit 14a generates an image generated in the second image a. The distortion is corrected and output to the distance calculation unit 15a. Further, based on the first image a and the second image a whose image distortion has been corrected, the distance calculation unit 15a performs a stereo matching process to determine a distance to an object appearing in both the first image a and the second image a. Is calculated and output to the distance determination unit 23.

なお、測距カメラ１０ｂも、上述した測距カメラ１０ａと同様の動作を同時に実行するが、その説明は省略する。   The distance measuring camera 10b simultaneously performs the same operation as that of the distance measuring camera 10a, but the description thereof is omitted.

次に、統合部２０が、測距カメラ１０ａ，１０ｂを１つのステレオカメラＳａｂと見做して物体を測距する（ステップＳ２）。   Next, the integration unit 20 measures the distance of the object by regarding the distance measuring cameras 10a and 10b as one stereo camera Sab (step S2).

具体的には、統合部２０の画像取得部２１が、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。そして、距離算出部２２が、画像歪を補正した高解像度の第１画像ａ，ｂに基づき、ステレオマッチング処理によって、第１画像ａ，ｂの両方に写っている、すなわち、重複領域Ｒａｂ（図１）に存在する物体までの距離を算出して距離判定部２３に出力する。   Specifically, the image acquisition unit 21 of the integration unit 20 converts the high-resolution first image a from the distortion correction unit 12a of the distance measurement camera 10a and the high-resolution first image from the distortion correction unit 12b of the distance measurement camera 10b. b is obtained and output to the distance calculation unit 22. Then, based on the high-resolution first images a and b in which the image distortion has been corrected, the distance calculation unit 22 performs stereo matching on both of the first images a and b. The distance to the object existing in 1) is calculated and output to the distance determination unit 23.

次に、距離判定部２３が、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａまたは１０ｂが単体で算出した測距結果を採用すると判定する。そして、距離判定部２３が、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する（ステップＳ３）。   Next, the distance determination unit 23 determines that the result of the distance measurement by the stereo camera Sab is to be used for an object whose measurement result is equal to or greater than the distance threshold value THL. It is determined that the camera 10a or 10b adopts the distance measurement result calculated by itself. Then, the distance determination unit 23 outputs a distance measurement result corresponding to the determination result to a predetermined device (not shown) or the like (step S3).

この後、処理はステップＳ１に戻り、例えば、動作終了を指示する操作がユーザから入力されるまで、ステップＳ１〜Ｓ３が繰り返し実行される。   Thereafter, the process returns to step S1, and, for example, steps S1 to S3 are repeatedly executed until an operation for instructing the end of the operation is input by the user.

以上説明したように、ステレオカメラシステム１によれば、２つの測距カメラ１０の画角範囲に存在する物体をその距離に応じて精度良く測距することが可能となる。   As described above, according to the stereo camera system 1, it is possible to accurately measure an object existing in the angle of view range of the two distance measuring cameras 10 according to the distance.

＜本発明に係る第２の実施形態である車載ステレオカメラシステムの構成例＞
次に、図９は、本発明に係る第２の実施形態である車載ステレオカメラシステム２の構成例を示している。なお、車載ステレオカメラシステム２の構成要素のうち、ステレオカメラシステム１（図２）の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。 <Configuration Example of In-Vehicle Stereo Camera System According to Second Embodiment of the Present Invention>
Next, FIG. 9 shows a configuration example of a vehicle-mounted stereo camera system 2 according to a second embodiment of the present invention. Note that among the components of the in-vehicle stereo camera system 2, components common to those of the stereo camera system 1 (FIG. 2) are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

車載ステレオカメラシステム２は、自動車４０に搭載される。車載ステレオカメラシステム２は、自動車４０の全周囲に存在する物体を検知するためのものである。   The on-vehicle stereo camera system 2 is mounted on an automobile 40. The in-vehicle stereo camera system 2 is for detecting an object existing all around the automobile 40.

車載ステレオカメラシステム２は、測距カメラ１０ａ，１０ｂ，１０ｃ，１０ｄ、及び統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄを備える。   The in-vehicle stereo camera system 2 includes distance measuring cameras 10a, 10b, 10c, and 10d, and integration units 20ab, 20bc, 20cd, and 20ad.

測距カメラ１０ａ〜１０ｄは、自動車４０の四隅に配置される。すなわち、例えば、測距カメラ１０ａは自動車４０の右前隅に右前方向に向けて配置され、測距カメラ１０ｂは自動車４０の右後隅に右後方向に向けて配置され、測距カメラ１０ｃは自動車４０の左後隅に左後方向に向けて配置され、測距カメラ１０ｄは自動車４０の左前隅に左前方向に向けて配置される。ただし、測距カメラ１０ａ〜１０ｄの配置は上述した例に限るものではなく、例えば、ドアミラー等の車体から突出している部分に配置してもよい。   The distance measuring cameras 10 a to 10 d are arranged at four corners of the automobile 40. That is, for example, the ranging camera 10a is disposed at the front right corner of the automobile 40 toward the front right, the ranging camera 10b is disposed at the rear right corner of the automobile 40 toward the rear right, and the ranging camera 10c is The distance measuring camera 10d is disposed at the left rear corner of the vehicle 40 toward the left rear direction, and the distance measuring camera 10d is disposed at the front left corner of the automobile 40 toward the left front direction. However, the arrangement of the distance-measuring cameras 10a to 10d is not limited to the above-described example, and may be arranged, for example, in a portion protruding from the vehicle body such as a door mirror.

統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄは、それぞれ統合部２０（図２）と同様に構成される。   The integration units 20ab, 20bc, 20cd, and 20ad are configured similarly to the integration unit 20 (FIG. 2).

統合部２０ａｂは、測距カメラ１０ａ，１０ｂに接続されており、測距カメラ１０ａ，１０ｂそれぞれから単体としての測距結果を取得する。また、統合部２０ａｂは、測距カメラ１０ａ，１０ｂをステレオカメラＳａｂと見做して物体を測距する。そして、統合部２０ａｂは、測距カメラ１０ａ，１０ｂそれぞれの単体としての測距結果、またはステレオカメラＳａｂによる測距結果を走行制御ＥＣＵ５０に出力する。   The integration unit 20ab is connected to the distance measurement cameras 10a and 10b, and acquires a distance measurement result as a single unit from each of the distance measurement cameras 10a and 10b. The integrating unit 20ab measures the distance of the object by regarding the distance measuring cameras 10a and 10b as a stereo camera Sab. Then, the integration unit 20ab outputs the ranging result as a single unit of the ranging cameras 10a and 10b or the ranging result by the stereo camera Sab to the travel control ECU 50.

統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃに接続されており、測距カメラ１０ｂ，１０ｃそれぞれから単体としての測距結果を取得する。また、統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃをステレオカメラＳｂｃと見做して物体を測距する。そして、統合部２０ｂｃは、測距カメラ１０ｂ，１０ｃそれぞれの単体としての測距結果、またはステレオカメラＳｂｃによる測距結果を走行制御ＥＣＵ５０に出力する。   The integration unit 20bc is connected to the distance measuring cameras 10b and 10c, and acquires a distance measurement result as a single unit from each of the distance measuring cameras 10b and 10c. The integrating unit 20bc measures the distance of the object by regarding the distance measuring cameras 10b and 10c as a stereo camera Sbc. Then, the integration unit 20bc outputs the distance measurement result of each of the distance measurement cameras 10b and 10c as a single unit or the distance measurement result obtained by the stereo camera Sbc to the travel control ECU 50.

統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄに接続されており、測距カメラ１０ｃ，１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄをステレオカメラＳｃｄと見做して物体を測距する。そして、統合部２０ｃｄは、測距カメラ１０ｃ，１０ｄそれぞれの単体としての測距結果、またはステレオカメラＳｃｄによる測距結果を走行制御ＥＣＵ５０に出力する。   The integration unit 20cd is connected to the distance measuring cameras 10c and 10d, and acquires a distance measurement result as a single unit from each of the distance measuring cameras 10c and 10d. The integrating unit 20cd measures the distance of the object by regarding the distance measuring cameras 10c and 10d as a stereo camera Scd. Then, the integration unit 20cd outputs the distance measurement result of each of the distance measurement cameras 10c and 10d as a single unit or the distance measurement result obtained by the stereo camera Scd to the travel control ECU 50.

統合部２０ａｄは、測距カメラ１０ａ，１０ｄに接続されており、測距カメラ１０ａ，１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ａｄは、測距カメラ１０ａ，１０ｄをステレオカメラＳａｄと見做して物体を測距する。そして、統合部２０ａｄは、測距カメラ１０ａ，１０ｄそれぞれの単体としての測距結果、またはステレオカメラＳａｄによる測距結果を走行制御ＥＣＵ５０に出力する。   The integration unit 20ad is connected to the distance-measuring cameras 10a and 10d, and acquires a distance measurement result as a single unit from each of the distance-measuring cameras 10a and 10d. The integrating unit 20ad measures the distance of the object by regarding the distance measuring cameras 10a and 10d as a stereo camera Sad. Then, the integration unit 20ad outputs the distance measurement result of each of the distance measurement cameras 10a and 10d as a single unit or the distance measurement result by the stereo camera Sad to the travel control ECU 50.

したがって、車載ステレオカメラシステム２においては、４台の測距カメラ１０によって４台のステレオカメラが実現されている。   Therefore, in the on-vehicle stereo camera system 2, four stereo cameras are realized by the four ranging cameras 10.

自動車４０が備える走行制御ＥＣＵ５０は、自動車４０における各種の機能を制御する。例えば、走行制御ＥＣＵ５０は、各統合部２０から入力される測距結果に基づき、全周囲に存在する物体を検出し、自動運転機能、自動ブレーキ機能、自動追従機能等を実現する。   The traveling control ECU 50 included in the automobile 40 controls various functions of the automobile 40. For example, the travel control ECU 50 detects an object existing in the entire surroundings based on the distance measurement result input from each integration unit 20, and realizes an automatic driving function, an automatic braking function, an automatic following function, and the like.

なお、統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄについては、接続される測距カメラ１０と一体的に形成してもよい。また、統合部２０ａｂ，２０ｂｃ，２０ｃｄ，２０ａｄによる動作を、走行制御ＥＣＵ５０に実行させるようにしてもよい。   The integration units 20ab, 20bc, 20cd, and 20ad may be formed integrally with the distance measuring camera 10 to be connected. Further, the operation by the integration units 20ab, 20bc, 20cd, and 20ad may be performed by the traveling control ECU 50.

次に、図１０は、車載ステレオカメラシステム２における各測距カメラ１０の画角範囲を示している。   Next, FIG. 10 shows an angle of view range of each distance measuring camera 10 in the on-vehicle stereo camera system 2.

なお、車載ステレオカメラシステム２における各測距カメラ１０は、ステレオカメラシステム１（図１）における各測距カメラ１０よりも画角が広く、例えば、２４０°程度の画角範囲を有する。   Note that each ranging camera 10 in the in-vehicle stereo camera system 2 has a wider angle of view than each ranging camera 10 in the stereo camera system 1 (FIG. 1), and has an angle of view range of, for example, about 240 °.

自動車４０の右前隅に配置された測距カメラ１０ａに注目した場合、その画角範囲ＡＯＶａには、自動車４０の右後隅に配置された測距カメラ１０ｂの画角範囲ＡＯＶｂと重なり合う重複領域Ｒａｂと、自動車４０の左前隅に配置された測距カメラ１０ｄの画角範囲ＡＯＶｄと重なり合う重複領域Ｒａｄと、画角範囲ＡＯＶｂ及びＡＯＶｄが重複しないオクルージョン領域Ｂａとが生じている。   When attention is paid to the distance measuring camera 10a arranged at the right front corner of the automobile 40, the view angle range AOVa includes an overlapping area Rab overlapping with the angle of view range AOVb of the distance measuring camera 10b arranged at the rear right corner of the automobile 40. And an overlapping area Rad overlapping the angle-of-view range AOVd of the distance-measuring camera 10d disposed at the front left corner of the automobile 40, and an occlusion area Ba where the angle-of-view ranges AOVb and AOVd do not overlap.

重複領域Ｒａｂに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ，１０ｂから成るステレオカメラＳａｂによって測距できる。重複領域Ｒａｄに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ，１０ｄから成るステレオカメラＳａｄによって測距できる。オクルージョン領域Ｂａに存在する物体は、測距カメラ１０ａの単体によってのみ測距できる。したがって、総合部２０ａｂは、図１１に示すように、測距カメラ１０ａの単体による測距結果を採用する範囲Ｒａを定める距離閾値ＴＨＬを、測距カメラ１０ａからオクルージョン領域Ｂａの最遠距離よりも大きな値に設定すればよい。   The object existing in the overlapping area Rab can be measured by the single ranging camera 10a, and can be measured by the stereo camera Sab including the ranging cameras 10a and 10b. The object existing in the overlapping area Rad can be measured by the single ranging camera 10a, and can be measured by the stereo camera Sad including the ranging cameras 10a and 10d. An object existing in the occlusion area Ba can be measured only by the distance measuring camera 10a alone. Therefore, as shown in FIG. 11, the synthesis unit 20ab sets the distance threshold value THL that determines the range Ra in which the result of the distance measurement by the distance measuring camera 10a alone is adopted to be greater than the distance of the occlusion area Ba from the distance measuring camera 10a. It may be set to a large value.

そして、統合部２０ａｂが、測定結果が距離閾値ＴＨＬ以上であった物体についてはステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａの単体による測距結果を採用すると判定し、判定結果に対応する測距結果を、走行制御ＥＣＵ５０に出力するようにすればよい。   Then, the integrating unit 20ab determines that the distance measurement result by the stereo camera Sab is used for the object whose measurement result is equal to or more than the distance threshold value THL, and determines the distance measurement camera 10a for the object whose measurement result is less than the distance threshold value THL. It is only necessary to determine that the distance measurement result by a single unit is to be used, and to output the distance measurement result corresponding to the determination result to the travel control ECU 50.

測距カメラ１０ｂ〜１０ｄに注目した場合については、上述した測距カメラ１０ａに注目した場合と同様であるので、その説明は省略する。   The case where attention is paid to the distance measuring cameras 10b to 10d is the same as the case where attention is paid to the above-described distance measuring camera 10a, and a description thereof will be omitted.

以上説明したように、車載ステレオカメラシステム２によれば、自動車４０の全周囲に存在する物体を、その距離に応じて精度良く測距することが可能となる。   As described above, according to the on-vehicle stereo camera system 2, it is possible to accurately measure the distance of an object existing around the automobile 40 according to the distance.

＜測距カメラ１０の変形例＞
図１２は、測距カメラ１０として採用し得るステレオカメラ１０１の構成例を示している。 <Modified example of distance measuring camera 10>
FIG. 12 shows a configuration example of a stereo camera 101 that can be employed as the distance measuring camera 10.

ステレオカメラ１０１は、上側双曲面ミラー１０２、下側双曲面ミラー１０３、結像光学系１０４、イメージセンサ１０５、駆動制御部１１８、及び画像処理部１１９を備える。   The stereo camera 101 includes an upper hyperboloid mirror 102, a lower hyperboloid mirror 103, an imaging optical system 104, an image sensor 105, a drive control unit 118, and an image processing unit 119.

上側双曲面ミラー１０２、及び下側双曲面ミラー１０３は、凸状の双曲面を有するミラーである。上側双曲面ミラー１０２及び下側双曲面ミラー１０３は、中心軸を共通とし、それぞれの頂点が対向する向きで所定の間隔を空けて上下に配置されている。   The upper hyperboloid mirror 102 and the lower hyperboloid mirror 103 are mirrors having a convex hyperboloid. The upper hyperboloid mirror 102 and the lower hyperboloid mirror 103 have a common central axis, and are arranged vertically at predetermined intervals in directions in which their vertices face each other.

上側双曲面ミラー１０２は、頂点部分に開口１０６を有する。   The upper hyperboloid mirror 102 has an opening 106 at the vertex.

下側双曲面ミラー１０３は、中心軸を共通とし、曲率が異なる外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８からなる。外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との境界には、多少の段差があってもよい。   The lower hyperboloid mirror 103 includes an outer hyperboloid mirror 107 and an inner hyperboloid mirror 108 having a common central axis and different curvatures. There may be some steps at the boundary between the outer-side hyperboloid mirror 107 and the inner-side hyperboloid mirror 108.

結像光学系１０４は、１枚以上のレンズから成り、開口１０６の中に配置される。結像光学系１０４は、下側双曲面ミラー１０３にて反射した光を収束してイメージセンサ１０５に入射させる。   The imaging optical system 104 includes one or more lenses, and is disposed in the opening 106. The imaging optical system 104 converges the light reflected by the lower hyperboloid mirror 103 and causes the light to enter the image sensor 105.

イメージセンサ１０５は、例えばＣＭＯＳから成り、駆動制御部１１８からの制御に従い、結像光学系１０４を介して入射された光に基づき、出力画像１１７を生成し駆動制御部１１８に出力する。   The image sensor 105 includes, for example, a CMOS, and generates an output image 117 based on the light incident through the imaging optical system 104 and outputs the output image 117 to the drive control unit 118 under the control of the drive control unit 118.

駆動制御部１１８は、イメージセンサ１０５の駆動を制御する。また、駆動制御部１１８は、イメージセンサ１０５が出力する出力画像１１７を画像処理部１１９に供給する。画像処理部１１９は、供給された出力画像１１７に基づき、被写体１０９の３次元位置情報１２０を生成する。   The drive control unit 118 controls driving of the image sensor 105. Further, the drive control unit 118 supplies an output image 117 output from the image sensor 105 to the image processing unit 119. The image processing unit 119 generates three-dimensional position information 120 of the subject 109 based on the supplied output image 117.

ここで、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８をなす双曲面ミラーの一般的な性質について説明する。   Here, general properties of the hyperboloid mirror forming the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108 will be described.

上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８それぞれの双曲面は、次式（１）によって表される２次曲面において、円錐定数κが−１よりも小さい場合に相当する。   The hyperboloid of each of the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108 has a conic constant κ smaller than −1 in a quadratic surface represented by the following equation (1). Corresponds to the case.

Figure 2020051903
Figure 2020051903

ここで、式（１）におけるｚ（ｒ）は光軸上の頂点を原点とする光軸方向の面のサグ量である。ｃは光軸上の曲率（軸上曲率）である。ｒは光軸からの半径座標である。   Here, z (r) in Equation (1) is the sag amount of the surface in the optical axis direction with the vertex on the optical axis as the origin. c is the curvature on the optical axis (on-axis curvature). r is a radial coordinate from the optical axis.

一般に、双曲面は２つの焦点を有する。２つの焦点の座標は、面頂点を基準として次式（２）によって表される。   In general, a hyperboloid has two focal points. The coordinates of the two focal points are expressed by the following equation (2) with reference to the surface vertex.

Figure 2020051903
Figure 2020051903

なお、式（２）における±が＋である場合が双曲面の内側にある焦点の座標を表す。式（２）における±が−である場合が双曲面の外側にある焦点の座標を表す。以下、双曲面の内側にある焦点を第１焦点と称し、双曲面の外側にある焦点を第２焦点と称する。   It should be noted that the case where ± in Expression (2) is + represents the coordinates of the focal point inside the hyperboloid. The case where ± in equation (2) is-represents the coordinates of the focal point outside the hyperboloid. Hereinafter, the focal point inside the hyperboloid is referred to as a first focal point, and the focal point outside the hyperboloid is referred to as a second focal point.

双曲面ミラーは、第１焦点に向かう光線を双曲面にて反射すると、その反射光を第２焦点に集光させる性質を有する。逆に、双曲面ミラーは、第２焦点から出射された光を第１焦点から出射されたかのように反射する性質を有する。   The hyperboloid mirror has a property that, when a light beam traveling toward the first focal point is reflected by the hyperboloid, the reflected light is condensed to the second focal point. Conversely, the hyperboloid mirror has the property of reflecting light emitted from the second focal point as if it were emitted from the first focal point.

次に、図１３は、上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係を示す断面図である。   Next, FIG. 13 is a cross-sectional view showing the relationship among the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108.

上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係は、上側双曲面ミラー１０２の第２焦点１０２２が、内周側双曲面ミラー１０８の第１焦点１０８１と略一致するようになされている。また、この一致点は、外周側双曲面ミラー１０７の第１焦点１０７１と略一致する必要はないが、近傍に位置するようになされている。   The relationship between the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108 is such that the second focal point 1022 of the upper hyperboloid mirror 102 is different from the first focal point 1081 of the inner hyperboloid mirror 108. It is made to substantially match. Also, this coincidence point does not need to substantially coincide with the first focal point 1071 of the outer hyperboloid mirror 107, but is located in the vicinity.

さらに、外周側双曲面ミラー１０７の第２焦点１０７２が、内周側双曲面ミラー１０８の第２焦点１０８２と略一致するようになされている。この一致点には、結像光学系１０４が配置されている。この一致点は、上側双曲面ミラー１０２の第１焦点１０２１と略一致する必要はないが、近傍に位置するようになされている。   Further, the second focal point 1072 of the outer hyperboloid mirror 107 is made to substantially coincide with the second focal point 1082 of the inner hyperboloid mirror 108. An imaging optical system 104 is arranged at this coincidence point. This coincidence point does not need to substantially coincide with the first focal point 1021 of the upper hyperboloid mirror 102, but is located near.

これにより、図１２に示された測距カメラ１０においては、被写体１０９からの光１１０のうち、上側双曲面ミラー１０２の第１焦点（上側視点）１０２１に向かう光１１２は、上側双曲面ミラー１０２によって反射されて、上側双曲面ミラー１０２の第２焦点１０２２に集光される。   Accordingly, in the distance-measuring camera 10 shown in FIG. 12, of the light 110 from the subject 109, the light 112 directed to the first focus (upper viewpoint) 1021 of the upper hyperboloid mirror 102 is converted to the upper hyperboloid mirror 102. And is condensed at the second focal point 1022 of the upper hyperboloid mirror 102.

上側双曲面ミラー１０２の第２焦点１０２２は、内周側双曲面ミラー１０８の第１焦点１０８１と略一致する。よって、上側双曲面ミラー１０２の第２焦点１０２２に集光される光は、内周側双曲面ミラー１０８の第１焦点１０８１に向かう光と見做せるので、この光は、内周側双曲面ミラー１０８によって再び反射されて、内周側双曲面ミラー１０８の第２焦点１０８２に集光される。   A second focal point 1022 of the upper hyperboloid mirror 102 substantially coincides with a first focal point 1081 of the inner hyperboloid mirror 108. Therefore, the light focused on the second focal point 1022 of the upper hyperboloid mirror 102 can be regarded as the light traveling toward the first focal point 1081 of the inner hyperboloid mirror 108, and this light is reflected on the inner hyperboloid. The light is reflected again by the mirror 108 and condensed at the second focal point 1082 of the inner peripheral side hyperboloid mirror 108.

一方、被写体１０９からの光１１０のうち、外周側双曲面ミラー１０７の第１焦点（下側視点）１０７１に向かう光１１４は、外周側双曲面ミラー１０７によって反射され、外周側双曲面ミラー１０７の第２焦点１０７２に向けて集光反射される。   On the other hand, of the light 110 from the subject 109, the light 114 going to the first focal point (lower viewpoint) 1071 of the outer hyperboloid mirror 107 is reflected by the outer hyperboloid mirror 107, and is reflected by the outer hyperboloid mirror 107. The light is condensed and reflected toward the second focal point 1072.

外周側双曲面ミラー１０７の第２焦点１０７２と内周側双曲面ミラー１０８の第２焦点１０８２は略一致し、この一致点には結像光学系１０４が配置されている。したがって、上側双曲面ミラー１０２によって反射され、さらに内周側双曲面ミラー１０８によって反射された反射光と、外周側双曲面ミラー１０７によって反射された反射光とは、結像光学系１０４によって同時にイメージセンサ１０５に入射される。これにより、イメージセンサ１０５は、内周側に上側視点（第１焦点）１０２１から見た被写体１０９の像１１５が写され、それと同時に外周側に下側視点（第１焦点）１０７１から見た被写体１０９の像１１６が写された出力画像１１７を生成することができる。   The second focal point 1072 of the outer-side hyperboloid mirror 107 substantially coincides with the second focal point 1082 of the inner-side hyperboloid mirror 108, and the image-forming optical system 104 is disposed at the coincident point. Accordingly, the reflected light reflected by the upper hyperboloid mirror 102 and further reflected by the inner peripheral hyperboloid mirror 108 and the reflected light reflected by the outer peripheral hyperboloid mirror 107 are simultaneously imaged by the imaging optical system 104. The light is incident on the sensor 105. Thus, the image sensor 105 captures the image 115 of the subject 109 viewed from the upper viewpoint (first focus) 1021 on the inner peripheral side, and at the same time, the subject viewed from the lower viewpoint (first focal point) 1071 on the outer peripheral side. An output image 117 on which the image 116 of the image 109 is captured can be generated.

このようにして得られた出力画像１１７は、駆動制御部１１８を介して画像処理部１１９に供給される。画像処理部１１９は、出力画像１１７を、像１１５が写されている内周領域と、像１１６が写されている外周領域とに分離し、それぞれに射影変換処理を行い、その結果得られる２枚の画像においてステレオマッチング処理を行い、被写体１０９の３次元位置情報１２０を生成する。   The output image 117 obtained in this manner is supplied to the image processing unit 119 via the drive control unit 118. The image processing unit 119 separates the output image 117 into an inner peripheral area where the image 115 is captured and an outer peripheral area where the image 116 is captured, performs a projection conversion process on each of them, and obtains a result 2 Stereo matching processing is performed on the images to generate three-dimensional position information 120 of the subject 109.

生成された３次元位置情報１２０は、統合部２０（図１）に供給される。   The generated three-dimensional position information 120 is supplied to the integration unit 20 (FIG. 1).

なお、上述したステレオカメラ１０１における一部の構成要素、例えば、駆動制御部１１８や画像処理部１１９については、ステレオカメラ１０１から独立させて、例えば、自動車４０の走行制御ＥＣＵ５０（図９）に実行させてもよい。   Some components of the stereo camera 101 described above, for example, the drive control unit 118 and the image processing unit 119 are executed independently of the stereo camera 101 by, for example, the travel control ECU 50 (FIG. 9) of the automobile 40. May be.

＜上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とのその他の関係＞
ステレオカメラ１０１においては、内周側双曲面ミラー１０８の円錐定数κの絶対値が、外周側双曲面ミラー１０７の円錐定数κの絶対値よりも大きくなる値に設定されている。これにより、出力画像１１７においては、上側視点１０２１から見た被写体１０９の像１１５と、下側視点１０７１から見た被写体１０９の像１１６との大きさが揃えられている。 <Other relationships between the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108>
In the stereo camera 101, the absolute value of the cone constant κ of the inner hyperboloid mirror 108 is set to a value larger than the absolute value of the cone constant κ of the outer hyperboloid mirror 107. Thus, in the output image 117, the size of the image 115 of the subject 109 viewed from the upper viewpoint 1021 and the size of the image 116 of the subject 109 viewed from the lower viewpoint 1071 are uniform.

出力画像１１７における内周側の像１１５と外周側の像１１６とのサイズを揃えることにより、像１１５と像１１６の解像度を合わせることができ、ステレオマッチング処理の精度を上げることができる。   By matching the size of the inner image 115 and the outer image 116 in the output image 117, the resolutions of the image 115 and the image 116 can be matched, and the accuracy of the stereo matching process can be improved.

また、ステレオカメラ１０１においては、上側双曲面ミラー１０２には、下側双曲面ミラー１０３よりも口径が大きい双曲面ミラーが採用されている。上側双曲面ミラー１０２の口径を下側双曲面ミラー１０３よりも大きくすることで、下側視点１０７１の上向き画角の光線を上側視点１０２１で受光でき、ステレオ視を行うことができる上下の画角範囲を最大限まで広く確保することが可能となる。   In the stereo camera 101, a hyperboloid mirror having a larger diameter than the lower hyperboloid mirror 103 is adopted as the upper hyperboloid mirror 102. By making the aperture of the upper hyperboloid mirror 102 larger than that of the lower hyperboloid mirror 103, light rays having an upward angle of view at the lower viewpoint 1071 can be received at the upper viewpoint 1021 and the upper and lower angles of view at which stereo vision can be performed. It is possible to secure the range as wide as possible.

なお、仮に、上側双曲面ミラー１０２と下側双曲面ミラー１０３との口径が略等しい場合、下側双曲面ミラー１０３は外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とに分離されているため、下側視点１０７１の視野範囲は必然的に狭くなってしまうことになる。   If the upper hyperboloid mirror 102 and the lower hyperboloid mirror 103 have substantially the same diameter, the lower hyperboloid mirror 103 is separated into an outer hyperboloid mirror 107 and an inner hyperboloid mirror 108. Therefore, the field of view of the lower viewpoint 1071 is necessarily narrowed.

ところで、ステレオカメラ１０１は、口径が大きく結像光学系１０４含む上側双曲面ミラー１０２が上側に、口径が小さい方の下側双曲面ミラー１０３が下側に配置されている。この上下の位置関係は反対にしても実用上支障はない。   Incidentally, in the stereo camera 101, the upper hyperboloid mirror 102 having a large aperture and including the imaging optical system 104 is arranged on the upper side, and the lower hyperboloid mirror 103 having the smaller aperture is arranged on the lower side. There is no practical problem even if the vertical positional relationship is reversed.

しかしながら、ステレオカメラ１０１を自動車４０の四隅に配置する場合、ステレオ視できる画角範囲があまり広くないことが問題となる。特に完全自動運転のための周囲センシング用途にステレオカメラ１０１を用いるためには自動車近傍を撮影することが必須であり、下向きの画角範囲を確保することが必要である。   However, when the stereo cameras 101 are arranged at the four corners of the automobile 40, there is a problem that the view angle range in which the stereo view is possible is not very wide. In particular, in order to use the stereo camera 101 for ambient sensing for fully automatic driving, it is necessary to take an image of the vicinity of the vehicle, and it is necessary to secure a downward angle of view.

ステレオカメラ１０１においては、上側視点１０２１に入射する下向き画角の光線が、下側視点１０７１に入射する画角範囲よりも広い範囲をカバーできるようにしている。これにより上側視点１０２１による単眼視にはなるが、自動車の近傍を撮影することが可能とすることができる。自動車の近傍の画像は、主に路面にひかれたセンタライン等の白線を検知するために必要となるが、白線は路面にひかれていることが既知であるため、単眼視でも距離を計測することが可能である。そのため、結像光学系１０４が配置されている大きい方の上側双曲面ミラー１０２を上側に配置することが有効となる。   In the stereo camera 101, the light ray having a downward angle of view incident on the upper viewpoint 1021 can cover a wider range than the angle of view incident on the lower viewpoint 1071. As a result, the image becomes monocular with the upper viewpoint 1021, but it is possible to photograph the vicinity of the car. The image near the car is needed mainly to detect white lines such as center lines drawn on the road surface, but since the white lines are known to be drawn on the road surface, the distance must be measured even with a single eye. Is possible. Therefore, it is effective to arrange the larger upper hyperboloid mirror 102 on which the imaging optical system 104 is arranged on the upper side.

次に、図１４は、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８に関する曲率半径ｒ、円錐定数κ、頂点位置、及び口径の一例を示している。   Next, FIG. 14 shows an example of a radius of curvature r, a conic constant κ, a vertex position, and a diameter of the upper hyperboloid mirror 102, the outer hyperboloid mirror 107, and the inner hyperboloid mirror 108.

同図の例では、上側双曲面ミラー１０２の曲率半径ｒは１５ｍｍ、円錐定数κは−３．１、頂点位置は０ｍｍ、口径は３４ｍｍ、外周側双曲面ミラー１０７の曲率半径ｒは−１７ｍｍ、円錐定数κは−２．９４、頂点位置は−１８．５０５６ｍｍ、口径は２５ｍｍ、内周側双曲面ミラー１０８の曲率半径ｒは−２２ｍｍ、円錐定数κは−１３０、頂点位置は−１８．５０８６ｍｍ、口径は９ｍｍとされている。ただし、図１４は、一例に過ぎず、ステレオカメラ１０１には、任意の上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８を採用することができる。   In the example shown in the figure, the radius of curvature r of the upper hyperboloid mirror 102 is 15 mm, the conic constant κ is -3.1, the vertex position is 0 mm, the aperture is 34 mm, the radius of curvature r of the outer hyperboloid mirror 107 is -17 mm, The conic constant κ is -2.94, the vertex position is −18.5506 mm, the aperture is 25 mm, the radius of curvature r of the inner peripheral side hyperboloid mirror 108 is −22 mm, the conic constant κ is −130, and the vertex position is −18.50886 mm. And the diameter is 9 mm. However, FIG. 14 is merely an example, and the stereo camera 101 can employ an arbitrary upper hyperboloid mirror 102, an outer hyperboloid mirror 107, and an inner hyperboloid mirror 108.

以上、本発明に係る各実施形態について説明したが、本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。   As described above, each embodiment according to the present invention has been described, but the present invention is not limited to the above-described embodiment, and includes various modifications. For example, the example of the above-described embodiment has been described in detail in order to make the present invention easy to understand, and the present invention is not limited to one having all the configurations described here. In addition, a part of the configuration of one example of an embodiment can be replaced with the configuration of another example. Further, it is also possible to add another example configuration to the example configuration of one embodiment. Further, with respect to a part of the configuration of an example of each embodiment, another configuration can be added, deleted, or replaced. In addition, the above-described configurations, functions, processing units, processing means, and the like may be partially or entirely realized by hardware, for example, by designing an integrated circuit. Further, control lines and information lines in the figure indicate those considered to be necessary for the description, and do not necessarily indicate all of them. Almost all configurations may be considered interconnected.

１・・・ステレオカメラシステム、２・・・車載ステレオカメラシステム、１０・・・測距カメラ、１１・・・第１撮像部、１２・・・歪補正部、１３・・・第２撮像部、１４・・・歪補正部、１５・・・距離算出部、２０・・・統合部、２１・・・画像取得部、２２・・・距離算出部、２３・・・距離判定部２３、３１・・・集光部、３２・・・低解像度イメージセンサ、３３・・・集光部、３４・・・高解像度イメージセンサ、４０・・・自動車、５０・・・走行制御ＥＣＵ、１０１・・・ステレオカメラ、１０２・・・上側双曲面ミラー、１０３・・・下側双曲面ミラー、１０４・・・結像光学系、１０５・・・イメージセンサ、１０６・・・開口、１０７・・・外周側双曲面ミラー、１０８・・・内周側双曲面ミラー、１０９・・・被写体、１１６・・・像、１１７・・・出力画像、１１８・・・駆動制御部、１１９・・・画像処理部、１２０・・・３次元位置情報 DESCRIPTION OF SYMBOLS 1 ... Stereo camera system, 2 ... Car stereo camera system, 10 ... Distance measuring camera, 11 ... 1st imaging part, 12 ... Distortion correction part, 13 ... 2nd imaging part , 14: distortion correction unit, 15: distance calculation unit, 20: integration unit, 21: image acquisition unit, 22: distance calculation unit, 23: distance determination units 23, 31 ··················································································································· either・ Stereo camera, 102 ・ ・ ・ Upper hyperboloid mirror, 103 ・ ・ ・ Lower hyperboloid mirror, 104 ・ ・ ・ Image forming optical system, 105 ・ ・ ・ Image sensor, 106 ・ ・ ・ Aperture, 107 ・ ・ ・ Outer circumference Side hyperboloid mirror, 108 ... inner peripheral side hyperboloid mirror, 109 ... Utsushitai, 116 ... image, 117 ... output image, 118 ... drive control unit, 119 ... image processing unit, 120 ... three-dimensional position information

Claims (15)

自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
前記測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、
を備え、
前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とするステレオカメラシステム。 A plurality of ranging cameras for imaging an object present in its own angle-of-view range and measuring the distance of the object,
An integrated unit that measures the distance of the object based on an image captured by each of the pair of ranging cameras, the pair of ranging cameras being a virtual stereo camera,
With
The stereo camera system according to claim 1, wherein the virtual stereo camera has a higher distance measurement accuracy for the object located farther than a predetermined distance as compared with the distance measurement camera. 請求項１に記載のステレオカメラシステムであって、
前記統合部は、
前記測距カメラの単体による測距結果、または前記仮想ステレオカメラによる測距結果のいずれを採用するかを判定する距離判定部を、
有する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 1, wherein
The integration unit includes:
A distance determination unit that determines which of the distance measurement result by the distance measurement camera alone and the distance measurement result by the virtual stereo camera is to be adopted,
A stereo camera system comprising: 請求項２に記載のステレオカメラシステムであって、
前記距離判定部は、前記仮想ステレオカメラのオクルージョン領域を少なくとも包含する領域に存在する物体に対して、前記測距カメラの単体による測距結果を採用すると判定する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 2, wherein
The stereo camera system according to claim 1, wherein the distance determination unit determines that a result of distance measurement by the distance measurement camera alone is used for an object existing in an area including at least an occlusion area of the virtual stereo camera. 請求項２に記載のステレオカメラシステムであって、
前記距離判定部は、前記所定の距離を距離閾値とし、前記距離閾値よりも遠く存在する前記物体に対して、前記仮想ステレオカメラによる測距結果を採用すると判定し、前記距離閾値よりも近く存在する前記物体に対して、前記測距カメラの単体による測距結果を採用すると判定する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 2, wherein
The distance determination unit sets the predetermined distance as a distance threshold, determines that the distance measurement result by the virtual stereo camera is to be used for the object existing farther than the distance threshold, and determines that the object exists closer than the distance threshold. A stereo camera system, wherein it is determined that a result of distance measurement by the distance measurement camera alone is used for the object. 請求項４に記載のステレオカメラシステムであって、
前記統合部は、前記仮想ステレオカメラの自己キャリブレーションを行い、
前記距離判定部は、前記自己キャリブレーションの結果に応じて、前記距離閾値を変更する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 4, wherein
The integration unit performs self-calibration of the virtual stereo camera,
The stereo camera system, wherein the distance determination unit changes the distance threshold according to a result of the self-calibration. 請求項２に記載のステレオカメラシステムであって、
前記距離判定部は、前記測距カメラの単体による測距結果、または前記仮想ステレオカメラによる測距結果の一方が得られない場合、他方を採用すると判定する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 2, wherein
The stereo camera system according to claim 1, wherein the distance determination unit determines that one of the distance measurement result obtained by the distance measurement camera alone and the distance measurement result obtained by the virtual stereo camera is not used, when the other is not obtained. 請求項１に記載のステレオカメラシステムであって、
前記統合部は、前記測距カメラの対の一方によって撮像された、前記測距カメラの対の他方が写り込んだ画像と、前記測距カメラの対の前記他方に対する測距結果とに基づいて、前記仮想ステレオカメラの基線長とその傾きを決定する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 1, wherein
The integration unit is based on an image captured by one of the pair of ranging cameras, an image of the other of the pair of ranging cameras being reflected, and a ranging result for the other of the pair of ranging cameras. And determining a baseline length and an inclination of the virtual stereo camera. 請求項１に記載のステレオカメラシステムであって、
前記測距カメラは、ステレオカメラである
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 1, wherein
The stereo camera system, wherein the distance measuring camera is a stereo camera. 請求項８に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラは、解像度が異なる第１画像及び第２画像を同時に撮像し、
前記統合部は、前記測距カメラを成す前記ステレオカメラの対を前記仮想ステレオカメラとし、前記ステレオカメラの対のそれぞれによって撮像された、解像度が高い方の前記第１画像に基づいて前記物体を測距する
ことを特徴とするステレオカメラシステム。 9. The stereo camera system according to claim 8, wherein:
The stereo camera forming the distance measuring camera simultaneously captures a first image and a second image having different resolutions,
The integrating unit sets the stereo camera pair forming the distance measuring camera as the virtual stereo camera, and captures the object based on the higher resolution first image captured by each of the stereo camera pairs. A stereo camera system that measures distance. 請求項８に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長は、前記仮想ステレオカメラの基線長よりも短い
ことを特徴とするステレオカメラシステム。 9. The stereo camera system according to claim 8, wherein:
A stereo camera system, wherein a base line length of the stereo camera forming the distance measuring camera is shorter than a base line length of the virtual stereo camera. 請求項８に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長と前記仮想ステレオカメラの基線長とは、方向が異なる
ことを特徴とするステレオカメラシステム。 9. The stereo camera system according to claim 8, wherein:
A stereo camera system, wherein the base line length of the stereo camera and the base line length of the virtual stereo camera forming the distance measuring camera have different directions. 請求項１１に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長と前記仮想ステレオカメラの基線長とは、方向が直交する
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 11, wherein
A stereo camera system characterized in that the base line length of the stereo camera and the base line length of the virtual stereo camera constituting the distance measuring camera are orthogonal to each other. 請求項１２に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラの基線長は路面に対して垂直な方向であり、
前記仮想ステレオカメラの基線長は路面に対して水平な方向である
ことを特徴とするステレオカメラシステム。 The stereo camera system according to claim 12,
The baseline length of the stereo camera forming the distance measuring camera is a direction perpendicular to the road surface,
A stereo camera system, wherein a base line length of the virtual stereo camera is a direction horizontal to a road surface. 請求項８に記載のステレオカメラシステムであって、
前記測距カメラを成す前記ステレオカメラは、
中心軸を共通とし、頂点を対向して上下に配置された第１及び第２の凸双曲面ミラーと、
前記第１の凸双曲面ミラーの頂点部分に設けた開口に配置された結像光学系と、
被写体の光が前記第１の凸双曲面ミラーで反射された後、さらに、前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光、及び前記被写体の光が前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光に基づいて、異なる２視点から前記被写体を撮像した場合にそれぞれ対応する２つの像が同時に写し出されている出力画像を生成するイメージセンサと、
を有する
ことを特徴とするステレオカメラシステム。 9. The stereo camera system according to claim 8, wherein:
The stereo camera forming the distance measuring camera,
First and second convex hyperboloid mirrors having a common central axis and arranged vertically with their vertices facing each other;
An imaging optical system disposed at an opening provided at a vertex of the first convex hyperboloid mirror;
After the light of the subject is reflected by the first convex hyperboloid mirror, the light is further reflected by the second convex hyperboloid mirror and then enters through the imaging optical system, and the light of the subject When the subject is imaged from two different viewpoints based on the light that is reflected by the second convex hyperboloid mirror and then enters through the imaging optical system, two images corresponding to the two are simultaneously displayed. An image sensor for generating an output image,
A stereo camera system comprising: ステレオカメラシステムの測距方法であって、
自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する測距カメラの対を仮想ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距するステップを、
含み、
前記仮想ステレオカメラは、前記測距カメラに比較して、所定の距離よりも遠くに存在する前記物体の測距精度が高い
ことを特徴とする測距方法。 A distance measuring method for a stereo camera system,
While imaging an object present in its own angle of view range, a pair of ranging cameras that measure the distance to the object is a virtual stereo camera, and the object is determined based on images captured by each of the pair of ranging cameras. Steps to measure the distance
Including
The distance measurement method, wherein the virtual stereo camera has a higher distance measurement accuracy for the object located farther than a predetermined distance as compared with the distance measurement camera.
JP2018181674A 2018-09-27 2018-09-27 Stereo camera system and distance measurement method Active JP6983740B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018181674A JP6983740B2 (en) 2018-09-27 2018-09-27 Stereo camera system and distance measurement method
PCT/JP2019/010266 WO2020066068A1 (en) 2018-09-27 2019-03-13 Stereo camera system and distance measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018181674A JP6983740B2 (en) 2018-09-27 2018-09-27 Stereo camera system and distance measurement method

Publications (2)

Publication Number Publication Date
JP2020051903A true JP2020051903A (en) 2020-04-02
JP6983740B2 JP6983740B2 (en) 2021-12-17

Family

ID=69951294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018181674A Active JP6983740B2 (en) 2018-09-27 2018-09-27 Stereo camera system and distance measurement method

Country Status (2)

Country Link
JP (1) JP6983740B2 (en)
WO (1) WO2020066068A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7369093B2 (en) 2020-05-28 2023-10-25 株式会社日立製作所 Distance measurement system and distance measurement method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467402B2 (en) * 2021-09-24 2024-04-15 キヤノン株式会社 IMAGE PROCESSING SYSTEM, MOBILE DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (en) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd Outside monitoring device
JP2006033282A (en) * 2004-07-14 2006-02-02 Olympus Corp Image forming device and method thereof
JP2006330735A (en) * 2005-05-26 2006-12-07 Korea Advanced Inst Of Sci Technol Apparatus for providing panoramic stereo image with single camera
JP2013207344A (en) * 2012-03-27 2013-10-07 Nikon Corp Detection device, imaging device, and program
JP2016171575A (en) * 2011-07-05 2016-09-23 オムロン株式会社 Method and device for projection space monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (en) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd Outside monitoring device
JP2006033282A (en) * 2004-07-14 2006-02-02 Olympus Corp Image forming device and method thereof
JP2006330735A (en) * 2005-05-26 2006-12-07 Korea Advanced Inst Of Sci Technol Apparatus for providing panoramic stereo image with single camera
JP2016171575A (en) * 2011-07-05 2016-09-23 オムロン株式会社 Method and device for projection space monitoring
JP2013207344A (en) * 2012-03-27 2013-10-07 Nikon Corp Detection device, imaging device, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7369093B2 (en) 2020-05-28 2023-10-25 株式会社日立製作所 Distance measurement system and distance measurement method

Also Published As

Publication number Publication date
WO2020066068A1 (en) 2020-04-02
JP6983740B2 (en) 2021-12-17

Similar Documents

Publication Publication Date Title
JP6458439B2 (en) On-vehicle camera calibration device, image generation device, on-vehicle camera calibration method, and image generation method
JP7018566B2 (en) Image pickup device, image processing method and program
JP5273356B2 (en) Compound eye image input device and distance measuring device using the same
US10992920B2 (en) Stereo image processing device
JP2014174088A (en) Inspection tool, stereo camera inspection apparatus, and inspection method
JP2006322853A (en) Distance measuring device, distance measuring method and distance measuring program
JP5455033B2 (en) Distance image input device and outside monitoring device
CN109799514A (en) Optical system, image capture apparatus, distance-measuring device and onboard system
WO2020066068A1 (en) Stereo camera system and distance measurement method
US20180338095A1 (en) Imaging system and moving body control system
US11405600B2 (en) Stereo camera
JP7207038B2 (en) IMAGING DEVICE, IMAGING OPTICAL SYSTEM AND MOVING OBJECT
JP2019056606A (en) Stereo camera
WO2020235249A1 (en) Stereo camera system and distance measurement method
JP7207889B2 (en) Range finder and in-vehicle camera system
JP7043375B2 (en) Stereo camera, in-vehicle lighting unit, and stereo camera system
JP2014238558A (en) Imaging device and parallax detection method
JP5580062B2 (en) Obstacle detection alarm device
KR101592793B1 (en) Apparatus and Method for Correcting Image Distortion
EP3995888A1 (en) Stereo camera and light unit with integrated stereo camera
JP2010019924A (en) Photographing apparatus
WO2023166813A1 (en) Stereo image processing device
JP2006349554A (en) On-vehicle camera system with range finding function
JP6626737B2 (en) Stereo camera device and vehicle
WO2020016994A1 (en) Image distortion inspection device, image distortion inspection method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R151 Written notification of patent or utility model registration

Ref document number: 6983740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151