JP2012088785A - Object identification device and program - Google Patents

Object identification device and program Download PDF

Info

Publication number
JP2012088785A
JP2012088785A JP2010232767A JP2010232767A JP2012088785A JP 2012088785 A JP2012088785 A JP 2012088785A JP 2010232767 A JP2010232767 A JP 2010232767A JP 2010232767 A JP2010232767 A JP 2010232767A JP 2012088785 A JP2012088785 A JP 2012088785A
Authority
JP
Japan
Prior art keywords
image
captured
window
images
determination frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010232767A
Other languages
Japanese (ja)
Inventor
Michihiko Ota
充彦 太田
Kiyosumi Shirodono
清澄 城殿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2010232767A priority Critical patent/JP2012088785A/en
Publication of JP2012088785A publication Critical patent/JP2012088785A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce erroneous determination by properly selecting an image suitable for identification of an object.SOLUTION: An imaging device 12 acquires a plurality of captured images taken under different exposure conditions. A window image extraction unit 22 sets a determination frame in each captured image, and extracts window images by scanning the determination frames. A window image selection unit 24 calculates dispersion of luminance distribution of each window image from respective window images of the same size that is extracted from the same position on the captured images, and selects window images whose dispersion of luminance distribution is equal to or more than a predetermined value. An identification unit 28 identifies whether the selected window image represents an object based on the selected window image and an identification model stored in an identification model storage unit 26.

Description

本発明は、対象物識別装置及びプログラムに係り、特に、撮像された画像から対象物を識別する対象物識別装置及びプログラムに関する。   The present invention relates to an object identification device and a program, and more particularly to an object identification device and a program for identifying an object from a captured image.

近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の対象物を識別してドライバに識別結果を提示する対象物識別装置を搭載する車両が増加している。このような対象物識別装置においては、対象物を識別し易い画像が得られることが課題となる。   In recent years, an increasing number of vehicles are equipped with an object identification device that performs image processing on a video around a vehicle imaged by an in-vehicle camera, identifies a specific object, and presents an identification result to a driver. In such an object identification device, it is a problem that an image that can easily identify the object is obtained.

そこで、車載用画像認識装置において、カメラのダイナミックレンジが不足することによって生じる画像の白とびや黒つぶれ等の問題を、異なる露光時間で複数の画像を撮像し、複数の画像の同一の部分画像についてコントラストを比較し、コントラストの最も良好な部分画像を選択した合成画像を生成して、画像認識を行う車載用画像認識装置が提案されている(例えば、特許文献1参照)。   Therefore, in an in-vehicle image recognition device, problems such as overexposure and underexposure of an image caused by a lack of the dynamic range of the camera are taken, and a plurality of images are captured with different exposure times, and the same partial image of the plurality of images A vehicle-mounted image recognition device that compares the contrasts of the images and generates a composite image in which a partial image having the best contrast is selected and performs image recognition has been proposed (see, for example, Patent Document 1).

また、カメラの露出制御が不適切なために生じる認識性能の低下を防止するために、ブラケット撮影を行う認証装置が提案されている(例えば、特許文献2参照)。特許文献2に記載の認証装置では、ブラケット撮影の枚数を増加することによる処理時間の増大を防止するために、撮像画像から特徴画像を検出して露出補正値を生成し、ブラケット撮影の第1の撮影用の第1の露出制御値を演算し、第1の露出制御値及び露出補正値に基づいて、第2の撮影用の第2の露出制御値を演算している。   In addition, an authentication device that performs bracket shooting has been proposed in order to prevent a reduction in recognition performance caused by improper camera exposure control (see, for example, Patent Document 2). In the authentication apparatus described in Patent Document 2, in order to prevent an increase in processing time due to an increase in the number of bracket shootings, a feature image is detected from the captured image, an exposure correction value is generated, and the first bracket shooting is performed. The first exposure control value for shooting is calculated, and the second exposure control value for second shooting is calculated based on the first exposure control value and the exposure correction value.

特開2009−177250号公報JP 2009-177250 A 特開2008−5081号公報JP 2008-5081 A

しかしながら、特許文献1の技術では、露光時間の異なる部分画像を1枚の画像に合成するため、部分画像と部分画像との境界に階調の不連続点である境界線が生じる、という問題がある。これを、部分画像の切り出し位置を適切に設定することにより解消することが考えられるが、画像中のどこに、どれくらいの大きさで対象物が撮像されているかが不明の場合には適用することができない。また、特許文献1の技術では、部分画像のコントラストに応じた重み付けにより合成画像を得ることで、境界線を目立たなくする処理を行っているが、この処理により、合成画像のコントラストが低下し、対象物の識別に適した画像にならない、という問題がある。   However, in the technique of Patent Document 1, since partial images having different exposure times are combined into one image, there is a problem in that a boundary line that is a discontinuous point of gradation occurs at the boundary between the partial image and the partial image. is there. This can be solved by appropriately setting the cutout position of the partial image, but it can be applied when it is unknown where and in what size the object is imaged in the image. Can not. Moreover, in the technique of Patent Document 1, a process of making the boundary line inconspicuous is performed by obtaining a composite image by weighting according to the contrast of the partial image, but this process reduces the contrast of the composite image, There is a problem that the image is not suitable for identification of the object.

また、特許文献2の技術は、画面中央に撮像された顔画像を認証する装置であるため、画像上での対象物の位置及び大きさが特定されているが、これらが特定されていない状態では、露出補正値を演算することができないため、第2の露出制御値を演算することができない、という問題がある。また、画像上に複数の対象物が存在し、それぞれの最適な露出制御値が異なる場合にも、第2の露出制御値をどのように決定すればよいかが明確でない、という問題がある。   Moreover, since the technique of patent document 2 is an apparatus which authenticates the face image imaged at the center of the screen, the position and size of the target object on the image are specified, but these are not specified Then, since the exposure correction value cannot be calculated, there is a problem that the second exposure control value cannot be calculated. Further, there is a problem that it is not clear how to determine the second exposure control value even when there are a plurality of objects on the image and the optimum exposure control values are different from each other.

本発明は、上記の問題点を解決するためになされたもので、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる対象物識別装置及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and provides an object identification device and a program capable of appropriately selecting an image suitable for identification of an object and reducing erroneous determination. For the purpose.

上記目的を達成するために、第1の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。   In order to achieve the above object, an object identification device according to a first aspect of the present invention is an acquisition unit that acquires a plurality of captured images captured under different exposure conditions, and each of a plurality of captured images acquired by the acquisition unit. An extraction unit that sets a determination frame to the image and extracts an image in the determination frame as a window image while changing the position and size of the determination frame; and the same size extracted from the same position of each of the plurality of captured images A window image selecting means for selecting a window image from which each object is easy to identify based on a luminance distribution of each of the window images; a window image selected by the window image selecting means; and the object. Identification means for identifying whether the window image is an image representing the object based on an identification model generated in advance for identifying It is configured to include a.

第1の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、抽出手段が、取得手段により取得した複数の撮像画像の各々に判定枠を設定し、判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する。判定枠の位置及びサイズを変更することにより、撮像画像上の様々な位置に存在する様々なサイズの対象物を検出することができる。   According to the object identification device of the first invention, the acquisition unit acquires a plurality of captured images captured under different exposure conditions, and the extraction unit determines a determination frame for each of the plurality of captured images acquired by the acquisition unit. And the image within the determination frame is extracted as a window image while changing the position and size of the determination frame. By changing the position and size of the determination frame, it is possible to detect objects of various sizes existing at various positions on the captured image.

そして、ウインドウ画像選択手段が、複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択する。対象物を識別し易い画像とは、黒つぶれや白とび等が生じていない画像であるので、ウインドウ画像の輝度分布に基づいて、黒つぶれや白とび等が生じていないウインドウ画像を選択する。そして、識別手段が、ウインドウ画像選択手段により選択されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。   Then, the window image selection means selects a window image from which each object is easily identified based on the luminance distribution of each window image from each of the same size window images extracted from the same position of each of the plurality of captured images. select. Since an image that can easily identify an object is an image that does not cause blackout or whiteout, a window image that is free from blackout or whiteout is selected based on the luminance distribution of the window image. Then, the identification unit identifies whether the window image is an image representing the object based on the window image selected by the window image selection unit and the identification model generated in advance for identifying the object.

このように、異なる露光条件で撮像された複数の撮像画像の同一位置から同一サイズのウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。   In this way, a window image having the same size is extracted from the same position of a plurality of captured images captured under different exposure conditions, and a window image that can easily identify an object is selected based on the luminance distribution of each window image. Therefore, it is possible to appropriately select an image suitable for identifying an object and reduce erroneous determination.

また、第1の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。   In the first invention, the acquisition unit acquires a plurality of captured images captured under different exposure conditions during light projection and a plurality of captured images captured under the different exposure conditions during non-projection. And generating means for generating a difference image between the picked-up image at the time of projection and the non-light-projected image obtained under the same exposure condition acquired by the acquiring means, wherein the extracting means is obtained from each of the difference images. A window image can be extracted. As a result, when the object is an object that does not emit light such as a pedestrian, it is possible to improve the identification accuracy of the object by excluding illumination components from other light emitters such as street lights and oncoming light. .

また、第2の発明の対象物識別装置は、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。   In addition, the object identification device of the second invention includes an acquisition unit that acquires a plurality of captured images captured under different exposure conditions, and a size of a determination frame from each of the plurality of captured images acquired by the acquisition unit. A picked-up image selection means for selecting a picked-up image that is brighter as the value is smaller, and setting the judgment frame to the picked-up image selected by the picked-up image selection means, and changing the position of the judgment frame to display an image in the judgment frame Whether or not the window image is an image representing the object based on extraction means for extracting as an image, and a window image extracted by the extraction means and an identification model generated in advance for identifying the object And identification means for identifying.

第2の発明の対象物識別装置よれば、取得手段が、各々異なる露光条件で撮像された複数の撮像画像を取得し、撮像画像選択手段が、取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する。撮像画像上で、遠くの対象物ほど暗く写る性質、及び遠くの対象物ほど小さく写る性質を利用したものである。   According to the object identification device of the second invention, the acquisition unit acquires a plurality of captured images captured under different exposure conditions, and the captured image selection unit determines from each of the plurality of captured images acquired by the acquisition unit. As the size of the determination frame is smaller, a brighter captured image is selected. This is based on the property that the farther object appears darker and the farther object appears smaller on the captured image.

そして、抽出手段が、撮像画像選択手段により選択された撮像画像に判定枠を設定し、判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出し、識別手段が、抽出手段により抽出されたウインドウ画像と対象物を識別するために予め生成された識別モデルとに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。   Then, the extraction unit sets a determination frame for the captured image selected by the captured image selection unit, extracts the image in the determination frame as a window image while changing the position of the determination frame, and the identification unit uses the extraction unit. Based on the extracted window image and an identification model generated in advance to identify the object, it is identified whether the window image is an image representing the object.

このように、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。   Thus, since the brighter image is selected as the size of the determination frame is smaller, that is, the object is farther away, it is possible to appropriately select an image suitable for identifying the object and reduce erroneous determination. .

また、第2の発明において、前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択することができる。これにより、対象物を歩行者等の自発光しない物体とする場合に、街灯や対向車のライト等の他の発光体による照明成分を除外して、対象物の識別精度を向上させることができる。   In the second invention, the acquisition unit acquires a plurality of captured images captured under different exposure conditions during light projection and a plurality of captured images captured under the different exposure conditions during non-projection. Generating means for generating a difference image between a captured image obtained during projection and a captured image obtained during non-projection under the same exposure condition acquired by the acquisition means, and the captured image selection means includes: A difference image that makes it easy to identify an object can be selected from each. As a result, when the object is an object that does not emit light such as a pedestrian, it is possible to improve the identification accuracy of the object by excluding illumination components from other light emitters such as street lights and oncoming light. .

また、前記露光条件を、投光強度異ならせることにより異ならせたり、絞り、露光時間、及びゲインのいずれか1つを異ならせると共に、投光強度を異ならせることにより異ならせたりすることができる。これにより、より遠くに存在する対象物の識別も可能となり、また、より細かく撮像画像の明るさを異ならせることができる。   In addition, the exposure condition can be varied by varying the light projection intensity, or any one of the aperture, exposure time, and gain can be varied, and the light projection intensity can be varied. . As a result, it is possible to identify an object located farther away, and it is possible to vary the brightness of the captured image more finely.

また、第3の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。   The object identification program according to the third aspect of the present invention provides a computer with an acquisition unit for acquiring a plurality of captured images captured under different exposure conditions, and a determination frame for each of the plurality of captured images acquired by the acquisition unit. An extraction means for extracting and extracting an image in the determination frame as a window image while changing the position and size of the determination frame, from each of the window images of the same size extracted from the same position of each of the plurality of captured images A window image selecting means for selecting a window image that is easy to identify an object based on a luminance distribution of each of the window images, and a window image selected by the window image selecting means for identifying the object Identifying means for identifying whether the window image is an image representing the object based on an identification model generated in advance; Is a program for making the function Te.

また、第4の発明の対象物識別プログラムは、コンピュータを、各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。   The object identification program according to the fourth aspect of the present invention is directed to an acquisition unit that acquires a plurality of captured images captured under different exposure conditions, and a determination frame from each of the plurality of captured images acquired by the acquisition unit. A picked-up image selection unit that selects a brighter picked-up image as the size of the image is smaller, sets the determination frame to the picked-up image selected by the picked-up image selection unit, and changes the position of the determination frame to change the image in the determination frame Extraction means for extracting as a window image, and whether the window image is an image representing the object based on the window image extracted by the extraction means and an identification model generated in advance for identifying the object It is a program for functioning as an identification means for identifying the above.

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ROMであってもよい。また、CD−ROMやDVDディスク、光磁気ディスクやICカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。   The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.

以上説明したように、本発明の対象物識別装置及びプログラムによれば、撮像画像に設定した判定枠から抽出されたウインドウ画像の輝度分布に基づいて、または判定枠のサイズに基づいて、対象物を識別し易い画像を選択するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる、という効果が得られる。   As described above, according to the object identification device and the program of the present invention, the object is based on the luminance distribution of the window image extracted from the determination frame set in the captured image or based on the size of the determination frame. Since an image that can be easily identified is selected, it is possible to appropriately select an image suitable for identifying an object and reduce erroneous determination.

第1の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the target object identification apparatus which concerns on 1st Embodiment. 露光条件の異なる3種類の撮像画像の一例を示すイメージ図である。It is an image figure which shows an example of three types of captured images from which exposure conditions differ. 判定枠の設定を説明するためのイメージ図である。It is an image figure for demonstrating the setting of a determination frame. 輝度分布に基づくウインドウ画像の選択を説明するためのイメージ図である。It is an image figure for demonstrating selection of the window image based on luminance distribution. 第1の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the target object identification process routine performed in the computer of the target object identification apparatus which concerns on 1st Embodiment. 第2の実施の形態に係る対象物識別装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the target object identification apparatus which concerns on 2nd Embodiment. 露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示すイメージ図である。It is an image figure which shows an example of the captured image at the time of light projection for every exposure condition, the captured image at the time of non-light projection, and a difference image. 対象物の大きさと露光条件との関係を説明するためのイメージ図である。It is an image figure for demonstrating the relationship between the magnitude | size of a target object and exposure conditions. 第2の実施の形態に係る対象物識別装置のコンピュータにおいて実行される対象物識別処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the target object identification process routine performed in the computer of the target object identification apparatus which concerns on 2nd Embodiment.

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を識別するための対象物識別装置に本発明を適用した場合について説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case will be described in which the present invention is applied to an object identification device that is mounted on a vehicle and identifies a pedestrian as an object.

図1に示すように、第1の実施の形態に係る対象物識別装置10は、車両(図示省略)に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置12と、撮像装置12で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ14と、コンピュータ14の識別結果を表示する表示装置16と、を備えている。   As shown in FIG. 1, an object identification device 10 according to the first embodiment is attached to a vehicle (not shown), and captures an image of the front of the vehicle to generate an image, and an imaging The computer 14 which performs the process which identifies a pedestrian from the captured image imaged with the apparatus 12, and the display apparatus 16 which displays the identification result of the computer 14 are provided.

撮像装置12は、車両の前方を撮像した画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)と、を備えている。   The imaging device 12 includes an imaging unit (not illustrated) that generates an image signal of an image captured in front of the vehicle, and an A / D conversion unit (not illustrated) that performs A / D conversion on the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal.

コンピュータ14は、CPUと、RAMと、後述する識別処理ルーチンを実行するためのプログラムを記憶したROMと、を含んで構成され、機能的には次に示すように構成されている。コンピュータ14は、撮像装置12の露光条件を設定する露光条件設定部20と、撮像装置12により異なる露光条件で撮像された複数の撮像画像の各々からウインドウ画像を抽出するウインドウ画像抽出部22と、ウインドウ画像の各々の輝度分布に基づいて、対象物を識別するためのウインドウ画像を選択するウインドウ画像選択部24と、予め学習により生成された識別モデルを記憶した識別モデル記憶部26と、選択されたウインドウ画像と識別モデルとに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する識別部28と、識別部28での識別結果を撮像画像に重畳して表示装置16に表示するように制御する表示制御部30と、を含んだ構成で表すことができる。   The computer 14 includes a CPU, a RAM, and a ROM that stores a program for executing an identification processing routine to be described later, and is functionally configured as follows. The computer 14 includes an exposure condition setting unit 20 that sets an exposure condition of the imaging device 12, a window image extraction unit 22 that extracts a window image from each of a plurality of captured images captured by the imaging device 12 under different exposure conditions, Based on the luminance distribution of each window image, a window image selection unit 24 that selects a window image for identifying an object, and an identification model storage unit 26 that stores an identification model generated in advance by learning are selected. The identification unit 28 for identifying whether the window image is an image representing a pedestrian based on the window image and the identification model, and the identification result in the identification unit 28 is superimposed on the captured image on the display device 16. And a display control unit 30 that controls the display.

露光条件設定部20は、被写界の照明状態に合わせて、露光条件として絞り、露光時間、及びゲインの少なくとも1つを撮像装置12に対して設定する。本実施の形態では、特に、1サイクルの撮像で、露光時間を標準の露光時間とした標準露光、露光時間を標準より長い時間とした露光オーバー、及び露光時間を標準より短い時間とした露光アンダーの3種類の露光条件での撮像を行う。露光条件設定部20は、3種類の露光条件に応じた3つの撮像画像が得られるように、1サイクルの撮像期間内で露光条件を順次切り替える。これにより、例えば、図2に示すような3つの撮像画像が得られる。   The exposure condition setting unit 20 sets at least one of an aperture, an exposure time, and a gain for the imaging device 12 as exposure conditions in accordance with the illumination state of the object scene. In the present embodiment, in one cycle imaging, in particular, standard exposure with an exposure time as a standard exposure time, overexposure with an exposure time longer than the standard, and underexposure with an exposure time shorter than the standard. Imaging is performed under the three types of exposure conditions. The exposure condition setting unit 20 sequentially switches the exposure conditions within one cycle of the imaging period so that three captured images corresponding to the three types of exposure conditions are obtained. Thereby, for example, three captured images as shown in FIG. 2 are obtained.

ウインドウ画像抽出部22は、撮像装置12で撮像された3つの撮像画像の各々に対して、判定枠を設定し、判定枠内の画像をウインドウ画像として抽出する。判定枠は、図3に示すように、様々なサイズを用意しておき、撮像画像上を走査させ、様々な位置及び大きさのウインドウ画像を抽出する。   The window image extraction unit 22 sets a determination frame for each of the three captured images captured by the imaging device 12, and extracts an image within the determination frame as a window image. As shown in FIG. 3, the determination frames are prepared in various sizes, scanned on the captured image, and window images of various positions and sizes are extracted.

ウインドウ画像選択部24は、ウインドウ画像抽出部22で、3つの撮像画像の各々の同一位置から抽出された同一の大きさのウインドウ画像の各々の輝度分布を演算して、対象物を識別するために最も適したウインドウ画像を選択する。図4に、露光アンダー、標準露光、及び露光オーバーの露光条件の撮像画像に設定された判定枠から抽出されたウインドウ画像、及びウインドウ画像の各々の輝度分布の一例を示す。露光アンダーや標準露光の場合のように、低輝度側に高いピークが表れる輝度分布では、画像の黒つぶれが生じており、識別に適した画像とはいえない。また、高輝度側に高いピークが表れる輝度分布では、画像に白とびが生じており、この場合も識別に適した画像とはいえない。一方、露光オーバーの場合のように、輝度分布が低輝度から高輝度までの所定範囲において、なだらかに分布している場合には、黒つぶれや白とびが生じておらず、識別に適した画像であるといえる。そこで、ウインドウ画像選択部24は、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。   The window image selection unit 24 uses the window image extraction unit 22 to calculate the luminance distribution of each of the window images of the same size extracted from the same position of each of the three captured images, and identify the object. Select the most suitable window image for. FIG. 4 shows an example of the window image extracted from the determination frame set in the captured image under the exposure conditions of underexposure, standard exposure, and overexposure, and the luminance distribution of each window image. In the luminance distribution in which a high peak appears on the low luminance side as in the case of underexposure or standard exposure, the image is blacked out and cannot be said to be an image suitable for identification. Further, in the luminance distribution in which a high peak appears on the high luminance side, the image is overexposed, and in this case, it cannot be said that the image is suitable for identification. On the other hand, when the luminance distribution is gently distributed in a predetermined range from low luminance to high luminance, as in the case of overexposure, there is no blackout or overexposure, and the image is suitable for identification. You can say that. Therefore, the window image selection unit 24 selects a window image whose luminance distribution is greater than or equal to a predetermined value as a window image used for object identification.

識別モデル記憶部26には、例えば、SVM(Support Vector Machine)等の手法により学習された対象物を識別するための識別モデルが記憶されている。   The identification model storage unit 26 stores, for example, an identification model for identifying an object learned by a technique such as SVM (Support Vector Machine).

識別部28は、識別モデル記憶部26に記憶された識別モデルと、ウインドウ画像選択部24により選択されたウインドウ画像とに基づいて、例えば、従来既知のSVM識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。   Based on the identification model stored in the identification model storage unit 26 and the window image selected by the window image selection unit 24, the identification unit 28 uses, for example, a conventionally known SVM classifier to walk the window image. Whether or not the image represents the person.

次に、図5を参照して、第1の実施の形態の対象物識別装置10のコンピュータ14で実行される対象物識別処理ルーチンについて説明する。   Next, an object identification processing routine executed by the computer 14 of the object identification apparatus 10 according to the first embodiment will be described with reference to FIG.

ステップ100で、標準露光、露光オーバー、及び露光アンダーの3種類の露光条件で撮像された3つの撮像画像が得られるように撮像装置12を制御し、撮像された撮像画像を取得する。   In step 100, the imaging device 12 is controlled so that three captured images captured under three types of exposure conditions of standard exposure, overexposure, and underexposure are obtained, and the captured captured image is acquired.

次に、ステップ102で、上記ステップ100で取得した3つの撮像画像の各々に対して、同一サイズの判定枠を画像上の所定位置(例えば、左上角)に設定し、判定枠内の画像をウインドウ画像として抽出する。   Next, in step 102, for each of the three captured images acquired in step 100, a determination frame of the same size is set to a predetermined position (for example, the upper left corner) on the image, and the image in the determination frame is selected. Extract as a window image.

次に、ステップ104で、上記ステップ102で、3つの撮像画像から抽出されたウインドウ画像の各々の輝度分布の分散を求め、輝度分布の分散が予め定めた所定値以上のウインドウ画像を、対象物の識別に用いるウインドウ画像として選択する。   Next, in step 104, the variance of the luminance distribution of each of the window images extracted from the three captured images in step 102 is obtained, and a window image having a luminance distribution variance equal to or greater than a predetermined value is determined as an object. Is selected as a window image used for identification.

次に、ステップ106で、識別モデル記憶部26に記憶された識別モデルと、上記ステップ104で選択されたウインドウ画像とに基づいて、例えば、従来既知のSVM識別器を用いて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。ウインドウ画像が歩行者を示す画像であると識別された場合には、ウインドウ画像を抽出した際の判定枠の位置及びサイズを所定の記憶領域に記憶する。   Next, based on the identification model stored in the identification model storage unit 26 in step 106 and the window image selected in step 104, for example, a window image is walked using a conventionally known SVM classifier. Whether or not the image represents the person. When the window image is identified as an image indicating a pedestrian, the position and size of the determination frame when the window image is extracted are stored in a predetermined storage area.

次に、ステップ108で、撮像画像の全範囲について判定枠を走査してウインドウ画像を抽出する処理を終了したか否かを判定する。撮像画像の全範囲について処理が終了していないと判定された場合には、ステップ110へ移行して、判定枠を1ステップ(所定画素分)移動させて、ステップ102へ戻る。一方、撮像画像の全範囲について処理が終了したと判定された場合には、ステップ112へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定する。判定枠の全てのサイズについて処理が終了していないと判定された場合には、ステップ114へ移行して、次のサイズの判定枠を選択して、ステップ102へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ116へ移行し、上記ステップ106で所定の記憶領域に記憶された識別結果に基づいて、例えば、撮像画像の歩行者を表す画像であると識別された部分を矩形枠で囲むなどして、表示装置16に表示する。   Next, in step 108, it is determined whether or not the process of scanning the determination frame for the entire range of the captured image and extracting the window image is completed. If it is determined that the process has not been completed for the entire range of the captured image, the process proceeds to step 110, the determination frame is moved by one step (predetermined pixels), and the process returns to step 102. On the other hand, if it is determined that the process has been completed for the entire range of the captured image, the process proceeds to step 112 to determine whether the process has been completed for all sizes of the determination frame. If it is determined that the processing has not been completed for all the sizes of the determination frames, the process proceeds to step 114, the determination frame of the next size is selected, and the process returns to step 102. If it is determined that the processing has been completed for all the determination frame sizes, the process proceeds to step 116, and based on the identification result stored in the predetermined storage area in step 106, for example, a pedestrian of the captured image A portion identified as an image representing the image is displayed on the display device 16 by surrounding it with a rectangular frame.

以上説明したように、第1の実施の形態に係る対象物識別装置によれば、異なる露光条件で撮像された複数の撮像画像の各々の同一位置に設定された同一サイズの判定枠からウインドウ画像を抽出し、ウインドウ画像の各々の輝度分布の分散が所定値以上のウインドウ画像を選択して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。   As described above, according to the object identification device according to the first embodiment, a window image from a determination frame of the same size set at the same position of each of a plurality of captured images captured under different exposure conditions. In order to identify whether or not the image shows the target object by selecting a window image in which the variance of the luminance distribution of each window image is equal to or greater than a predetermined value, an image suitable for identifying the target object is appropriately selected. Thus, erroneous determination can be reduced.

また、識別処理を行う前に複数の撮像画像を合成したり、識別処理後に識別結果を統合したりする処理が不要となる。   Further, it is not necessary to synthesize a plurality of captured images before performing the identification process or to integrate the identification results after the identification process.

なお、第1の実施の形態では、ウインドウ画像の輝度分布の分散が所定値以上か否かに基づいて、適切なウインドウ画像を選択する場合について説明したが、これに限定されるものではなく、黒つぶれや白とび等の識別に適さない画像を排除できればよい。従って、輝度分布が所定範囲内にあればよく、例えば、ウインドウ画像の輝度値の平均値、中央値、偏差、最頻値等が所定範囲内か否かを判定したり、輝度値の最大値が所定値以下か否かを判定したり、輝度値の最小値が所定値以上か否かを判定したり、輝度値の最大値と最小値との差が所定範囲内か否かを判定したりしてもよい。また、輝度分布を示す分布曲線の形状に基づいて、識別に適した画像か否かを判定するようにしてもよい。   In the first embodiment, the case where an appropriate window image is selected based on whether or not the distribution of the luminance distribution of the window image is equal to or greater than a predetermined value has been described. However, the present invention is not limited to this. It is only necessary to eliminate an image that is not suitable for identification such as blackout or whiteout. Therefore, it is sufficient that the luminance distribution is within a predetermined range. For example, it is determined whether the average value, median value, deviation, mode value, etc. of the luminance value of the window image is within the predetermined range, or the maximum value of the luminance value. Is determined to be less than or equal to a predetermined value, whether or not the minimum luminance value is equal to or greater than a predetermined value, or whether or not the difference between the maximum and minimum luminance values is within a predetermined range. Or you may. Further, it may be determined whether the image is suitable for identification based on the shape of the distribution curve indicating the luminance distribution.

次に、第2の実施の形態について説明する。なお、第1の実施の形態の対象物識別装置10と同様の構成については、同一の符号を付して詳細な説明は省略する。   Next, a second embodiment will be described. In addition, about the structure similar to the target object identification apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

図6に示すように、第2の実施の形態に係る対象物識別装置210は、撮像装置12と、撮像装置12による撮像対象領域に光を投光する投光装置18と、撮像装置12で撮像された撮像画像から歩行者を識別する処理を実行するコンピュータ214と、表示装置16と、を備えている。   As illustrated in FIG. 6, the object identification device 210 according to the second embodiment includes an imaging device 12, a light projecting device 18 that projects light onto an imaging target region by the imaging device 12, and the imaging device 12. The computer 214 which performs the process which identifies a pedestrian from the imaged captured image, and the display apparatus 16 are provided.

コンピュータ214は、機能的には、露光条件設定部20と、投光装置18の投光及び非投光を制御する投光制御部34と、撮像装置12により異なる露光条件で撮像された複数の撮像画像の各々について、投光−非投光の差分画像を生成する差分画像生成部36と、生成された差分画像から、判定枠のサイズに基づいて対象物を識別するための差分画像を選択する差分画像選択部38と、選択された差分画像からウインドウ画像を抽出するウインドウ画像抽出部222と、識別モデル記憶部26と、識別部28と、表示制御部30と、を含んだ構成で表すことができる。   Functionally, the computer 214 has a plurality of exposure condition setting units 20, a light projection control unit 34 that controls light projection and non-light projection of the light projecting device 18, and a plurality of images captured by the imaging device 12 under different exposure conditions. For each of the captured images, a difference image generation unit 36 that generates a difference image of light projection and non-light projection, and a difference image for identifying an object based on the size of the determination frame is selected from the generated difference image A difference image selection unit 38, a window image extraction unit 222 that extracts a window image from the selected difference image, an identification model storage unit 26, an identification unit 28, and a display control unit 30. be able to.

投光制御部34は、1サイクルの撮像で、標準露光、露光オーバー、及び露光アンダーの3種類の露光条件で投光時に撮像された3つの撮像画像、並びに標準露光、露光オーバー、及び露光アンダーの3種類の露光条件で非投光時に撮像された3つの撮像画像が得られるように、投光装置18のオンオフを切り替える。   The light projection control unit 34 captures three captured images captured during light projection under three types of exposure conditions of standard exposure, overexposure, and underexposure, and standard exposure, overexposure, and underexposure. The light projection device 18 is switched on and off so that three captured images captured at the time of non-projection can be obtained under the three types of exposure conditions.

差分画像生成部36は、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。図7に、露光条件毎の投光時の撮像画像、非投光時の撮像画像、及び差分画像の一例を示す。このように、差分画像を生成することにより、街灯や対向車のライト等の他の発光体による照明成分を除外することができる。   The difference image generation unit 36 generates a difference image between a captured image captured at the same exposure condition and an image captured at the time of non-projection. FIG. 7 shows an example of a captured image at the time of projection, a captured image at the time of non-projection, and a difference image for each exposure condition. Thus, by generating the difference image, it is possible to exclude illumination components from other light emitters such as street lights and oncoming vehicle lights.

差分画像選択部38は、後段のウインドウ画像抽出部222でウインドウ画像を抽出する際の判定枠のサイズに応じて、生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。差分画像の輝度値は、投光装置18からの距離の2乗に反比例して減衰するため、遠くの対象物ほど暗く撮像される性質がある。また、遠くの対象物を識別する際には、サイズの小さい判定枠からウインドウ画像が抽出され、近くの対象物を識別する際には、サイズの大きな判定枠からウインドウ画像が抽出される。従って、判定枠のサイズが小さいほど、識別に用いる画像として明るいウインドウ画像を用いることが適しているといえる。そこで、差分画像選択部38は、図8に示すように、判定枠のサイズが大きい場合、すなわち近くの歩行者を対象としている場合には、露光アンダーの撮像画像の差分画像を選択し、判定枠のサイズが小さい場合、すなわち遠くの歩行者を対象としている場合には、露光オーバーの差分画像を選択する。   The difference image selection unit 38 selects the most suitable window image for identifying the target object from the generated difference image according to the size of the determination frame when the window image extraction unit 222 in the subsequent stage extracts the window image. select. Since the luminance value of the difference image attenuates in inverse proportion to the square of the distance from the light projecting device 18, there is a property that a farther object is captured darker. Further, when identifying a distant object, a window image is extracted from a small determination frame, and when identifying a near object, a window image is extracted from a large determination frame. Therefore, it can be said that it is more suitable to use a bright window image as an image used for identification as the size of the determination frame is smaller. Therefore, as shown in FIG. 8, when the size of the determination frame is large, that is, when the target is a nearby pedestrian, the difference image selection unit 38 selects a difference image of the underexposed captured image, and determines When the size of the frame is small, that is, when a distant pedestrian is targeted, an overexposed difference image is selected.

次に、図9を参照して、第2の実施の形態の対象物識別装置210のコンピュータ214で実行される対象物識別処理ルーチンについて説明する。なお、第1の実施の形態の対象物識別処理と同様の処理については、同一の符号を付して詳細な説明を省略する。   Next, an object identification processing routine executed by the computer 214 of the object identification apparatus 210 according to the second embodiment will be described with reference to FIG. In addition, about the process similar to the target object identification process of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

ステップ200で、撮像対象領域に光を投光するように投光装置18を制御し、標準露光、露光オーバー、及び露光アンダーの3種類の露光条件で撮像された3つの撮像画像が得られるように撮像装置12を制御し、撮像された撮像画像を取得する。   In step 200, the light projecting device 18 is controlled to project light onto the imaging target area, so that three captured images captured under three types of exposure conditions of standard exposure, overexposure, and underexposure are obtained. Then, the imaging device 12 is controlled to acquire a captured image.

次に、ステップ202で、撮像対象領域への投光をオフするように投光装置18を制御し、標準露光、露光オーバー、及び露光アンダーの3種類の露光条件で撮像された3つの撮像画像が得られるように撮像装置12を制御し、撮像された撮像画像を取得する。   Next, in step 202, the light projecting device 18 is controlled so as to turn off the light projection to the imaging target area, and three captured images captured under three types of exposure conditions of standard exposure, overexposure, and underexposure. Then, the imaging device 12 is controlled to obtain a captured image.

次に、ステップ204で、上記ステップ200及びステップ202で取得した撮像画像の各々から、同一の露光条件で撮像された投光時の撮像画像と非投光時の撮像画像との差分画像を生成する。これにより、標準露光の差分画像、露光オーバーの差分画像、及び露光アンダーの差分画像が生成される。   Next, in step 204, from each of the captured images acquired in step 200 and step 202, a difference image between the captured image at the time of projection and the captured image at the time of non-projection captured under the same exposure conditions is generated. To do. As a result, a difference image for standard exposure, a difference image for overexposure, and a difference image for underexposure are generated.

次に、ステップ206で、判定枠のサイズを選択する。例えば、大(20×40画素)、中(16×32画素)、小(12×24画素)の3サイズの判定枠を用意しておき、これらのサイズから順次選択していく。   Next, in step 206, the size of the determination frame is selected. For example, three sizes of determination frames of large (20 × 40 pixels), medium (16 × 32 pixels), and small (12 × 24 pixels) are prepared, and these sizes are sequentially selected.

次に、ステップ208で、上記ステップ206で選択した判定枠のサイズに応じて、上記ステップ204で生成された差分画像から、対象物を識別するために最も適したウインドウ画像を選択する。例えば、上記ステップで選択した判定枠のサイズが「大」であれば、露光アンダーの差分画像、「中」であれば標準露光の差分画像、「小」であれば露光オーバーの差分画像を選択することができる。   Next, in step 208, the most suitable window image for identifying the object is selected from the difference image generated in step 204 according to the size of the determination frame selected in step 206. For example, if the size of the judgment frame selected in the above step is “Large”, select an underexposed difference image, if “Medium”, select a standard exposure difference image, and select “Low” an overexposed difference image. can do.

次に、ステップ212で、上記ステップ208で選択した差分画像に対して、上記ステップ206で選択したサイズの判定枠を画像上の所定位置(例えば、左上角)に設定し、判定枠内の画像をウインドウ画像として抽出し、次に、ステップ106で、識別モデル記憶部26に記憶された識別モデルと、抽出されたウインドウ画像とに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。   Next, in step 212, the determination frame of the size selected in step 206 is set to a predetermined position (for example, the upper left corner) on the image with respect to the difference image selected in step 208, and the image within the determination frame is set. Whether or not the window image is an image representing a pedestrian based on the identification model stored in the identification model storage unit 26 and the extracted window image in step 106. Identify

次に、ステップ108で、差分画像の全範囲について処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ110へ移行して、判定枠を1ステップ(所定画素分)移動させて、ステップ212へ戻る。一方、差分画像の全範囲について処理が終了したと判定された場合には、ステップ112へ移行して、判定枠の全てのサイズについて処理が終了したか否かを判定し、処理が終了していないと判定された場合には、ステップ114へ移行して、次のサイズの判定枠を選択して、ステップ208へ戻る。全ての判定枠のサイズについて処理が終了したと判定された場合には、ステップ116へ移行し、識別結果を表示する。   Next, in step 108, it is determined whether or not the process has been completed for the entire range of the difference image. If it is determined that the process has not been completed, the process proceeds to step 110 and the determination frame is set to one step. Move (predetermined pixels) and return to step 212. On the other hand, if it is determined that the process has been completed for the entire range of the difference image, the process proceeds to step 112, where it is determined whether the process has been completed for all sizes of the determination frame, and the process has been completed. If it is determined that there is not, the process proceeds to step 114, the determination frame of the next size is selected, and the process returns to step 208. When it is determined that the processing has been completed for all the determination frame sizes, the process proceeds to step 116, and the identification result is displayed.

以上説明したように、第2の実施の形態に係る対象物識別装置によれば、判定枠のサイズが小さいほど、すなわち対象物が遠方であるほど明るい画像を選択して、選択した画像からウインドウ画像を抽出して、対象物を示す画像か否かを識別するため、対象物の識別に適した画像を適切に選択して、誤判定を低減することができる。また、投光時−非投光時の差分画像を用いることで、街灯や対向車のライト等の他の発光体による照明成分を除外することができ、また、露光条件に対する画像上の対象物の輝度値の差を明確にすることができる。   As described above, according to the object identification device according to the second embodiment, a brighter image is selected as the size of the determination frame is smaller, that is, the object is farther away, and a window is selected from the selected image. Since the image is extracted to identify whether or not the image indicates the object, it is possible to appropriately select an image suitable for identifying the object and reduce erroneous determination. In addition, by using the difference image at the time of projection-non-projection, it is possible to exclude illumination components due to other light emitters such as street lights and oncoming light, and also the object on the image with respect to the exposure conditions It is possible to clarify the difference in luminance value.

なお、第2の実施の形態では、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別する場合について説明したが、投光制御を行うことなく、露光条件を異ならせた複数の撮像画像から、判定枠のサイズに応じて識別に用いる画像を選択するようにしてもよい。投光制御を行わずに撮像された撮像画像上においても、遠くの対象物ほど暗く撮像される性質があることに変わりないため、差分画像を用いなくても、本実施の形態を適用することができる。   In the second embodiment, the case of identifying an object using a difference image between a captured image at the time of projection and a captured image at the time of non-projection has been described. An image used for identification may be selected from a plurality of captured images with different exposure conditions according to the size of the determination frame. Even in the captured image captured without performing the light projection control, the distant object has the property of being captured darker, so the present embodiment can be applied without using the difference image. Can do.

また、第1の実施の形態においても、投光制御して、投光時の撮像画像と非投光時の撮像画像との差分画像を用いて対象物を識別するようにしてもよい。この場合、第1の実施の形態における対象物識別処理(図5)のステップ100に替えて、第2の実施の形態における対象物識別処理(図9)のステップ200〜204を実行し、ステップ102において、各露光条件の差分画像の各々からウインドウ画像を抽出するようにするとよい。   Also in the first embodiment, light projection control may be performed to identify an object using a difference image between a captured image during light projection and a captured image during non-light projection. In this case, instead of step 100 of the object identification process (FIG. 5) in the first embodiment, steps 200 to 204 of the object identification process (FIG. 9) in the second embodiment are executed. In 102, a window image may be extracted from each difference image of each exposure condition.

また、上記実施の形態では、露光条件を3種類とする場合について説明したが、これに限定されるものではない。また、絞り、露光時間、及びゲインにより露光条件を異ならせる場合に限定されず、絞り、露光時間、及びゲインによる露光条件の変更に替えて、または加えて、投光装置18の投光強度を異ならせることにより、明るさの異なる複数の撮像画像を撮像するようにしてもよい。投光を行うことにより、より遠くに存在する対象物の識別も可能となる。また、撮像装置による露光条件の変更と投光強度の変更とを組み合わせることにより、より細かく撮像画像の明るさを異ならせることができる。   In the above embodiment, the case where the exposure conditions are three types has been described. However, the present invention is not limited to this. Further, the present invention is not limited to the case where the exposure conditions are varied depending on the aperture, the exposure time, and the gain. Instead of or in addition to the change of the exposure conditions based on the aperture, the exposure time, and the gain, the light projection intensity of the light projecting device 18 is changed. By making them different, a plurality of captured images with different brightness may be captured. By performing the light projection, it is possible to identify an object that exists farther away. Further, the brightness of the captured image can be varied more finely by combining the change of the exposure condition by the imaging device and the change of the light projection intensity.

また、上記実施の形態では、投光時における露光条件の異なる複数の撮像画像を取得した後、非投光時における露光条件の異なる複数の撮像画像を取得する場合について説明したが、一つの露光条件で投光時の撮像画像及び非投光時の撮像画像を取得した後に、異なる露光条件で投光時の撮像画像及び非投光時の撮像画像を取得するようにしてもよい。   In the above embodiment, a case has been described in which a plurality of captured images with different exposure conditions at the time of light projection are acquired, and then a plurality of captured images with different exposure conditions at the time of non-light projection are acquired. After acquiring the captured image at the time of projection and the captured image at the time of non-projection under the conditions, the captured image at the time of projection and the captured image at the time of non-projection may be acquired under different exposure conditions.

また、上記実施の形態では、SVM識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法(例えば、最近傍識別、線形判別など)を用いて、画像の識別処理を行うようにしてもよい。   In the above-described embodiment, the case where the image identification process is performed using the SVM classifier has been described as an example. However, the present invention is not limited to this, and other conventionally known identification methods (for example, nearest neighbors) The image identification processing may be performed using identification, linear discrimination, or the like.

また、上実施の形態では、判定枠を撮像画像または差分画像の全範囲を走査してウインドウ画像を抽出する場合について説明したが、例えば路面領域を検出する等の事前処理を行って、判定枠を走査する範囲を制限するようにしてもよい。   In the above embodiment, the case where the window is extracted by scanning the entire range of the captured image or the difference image as the determination frame has been described. However, for example, the determination frame is detected by performing pre-processing such as detecting a road surface area. The scanning range may be limited.

また、上記実施の形態では、識別対象物として歩行者を識別する対象物識別装置に、本発明を適用した場合を例に説明したが、識別対象物は、自動車や二輪車等でもよい。   Moreover, although the case where this invention was applied to the target object identification apparatus which identifies a pedestrian as a target object in the said embodiment was demonstrated to the example, a motor vehicle, a two-wheeled vehicle, etc. may be sufficient as a target object.

なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをCDROM等の記憶媒体に格納して提供することも可能である。   In the specification of the present application, the embodiment has been described in which the program is installed in advance. However, the program may be provided by being stored in a storage medium such as a CDROM.

10、210 対象物識別装置
12 撮像装置
14、214 コンピュータ
16 表示装置
18 投光装置
20 露光条件設定部
22、222 ウインドウ画像抽出部
24 ウインドウ画像選択部
26 識別モデル記憶部
28 識別部
30 表示制御部
34 投光制御部
36 差分画像生成部
38 差分画像選択部
DESCRIPTION OF SYMBOLS 10,210 Object identification device 12 Imaging device 14, 214 Computer 16 Display device 18 Projection device 20 Exposure condition setting unit 22, 222 Window image extraction unit 24 Window image selection unit 26 Identification model storage unit 28 Identification unit 30 Display control unit 34 Light projection control unit 36 Difference image generation unit 38 Difference image selection unit

Claims (9)

各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段と、
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
Acquisition means for acquiring a plurality of captured images each captured under different exposure conditions;
An extraction unit that sets a determination frame for each of the plurality of captured images acquired by the acquisition unit, and extracts an image in the determination frame as a window image while changing the position and size of the determination frame;
Window image selection means for selecting, from each of window images of the same size extracted from the same position of each of the plurality of captured images, a window image that can easily identify an object based on the luminance distribution of each of the window images. When,
Identification means for identifying whether or not the window image is an image representing the object based on a window image selected by the window image selection means and an identification model generated in advance to identify the object; ,
An object identification device including:
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記抽出手段は、前記差分画像の各々からウインドウ画像を抽出する
請求項1記載の対象物識別装置。
The acquisition means acquires a plurality of captured images captured under different exposure conditions during light projection and a plurality of captured images captured under different exposure conditions during non-light projection,
Including generation means for generating a difference image between the captured image at the time of projection and the captured image at the time of non-projection of the same exposure condition acquired by the acquisition means,
The object identifying apparatus according to claim 1, wherein the extraction unit extracts a window image from each of the difference images.
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段と、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段と、
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物識別装置。
Acquisition means for acquiring a plurality of captured images each captured under different exposure conditions;
From each of the plurality of captured images acquired by the acquisition unit, a captured image selection unit that selects a brighter captured image as the size of the determination frame is smaller;
An extraction unit that sets the determination frame on the captured image selected by the captured image selection unit and extracts an image in the determination frame as a window image while changing the position of the determination frame;
Identification means for identifying whether the window image is an image representing the object based on a window image extracted by the extraction means and an identification model generated in advance to identify the object;
An object identification device including:
前記取得手段は、投光時に各々異なる露光条件で撮像された複数の撮像画像、及び非投光時に前記各々異なる露光条件で撮像された複数の撮像画像を取得し、
前記取得手段により取得された同一の露光条件の投光時の撮像画像と非投光時の撮像画像との差分画像を生成する生成手段を含み、
前記撮像画像選択手段は、前記差分画像の各々から対象物を識別し易い差分画像を選択する
請求項3記載の対象物識別装置。
The acquisition means acquires a plurality of captured images captured under different exposure conditions during light projection and a plurality of captured images captured under different exposure conditions during non-light projection,
Including generation means for generating a difference image between the captured image at the time of projection and the captured image at the time of non-projection of the same exposure condition acquired by the acquisition means,
The object identification device according to claim 3, wherein the captured image selection unit selects a difference image from which the object is easily identified from each of the difference images.
前記露光条件を、投光強度異ならせることにより異ならせた請求項1〜請求項4のいずれか1項記載の対象物識別装置。   The object identification device according to any one of claims 1 to 4, wherein the exposure condition is varied by varying a light projection intensity. 前記露光条件を、絞り、露光時間、及びゲインのいずれか1つを異ならせると共に、投光強度を異ならせることにより異ならせた請求項1〜請求項5のいずれか1項記載の対象物識別装置。   The object identification according to any one of claims 1 to 5, wherein the exposure condition is changed by changing any one of an aperture, an exposure time, and a gain, and by changing a light projection intensity. apparatus. コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々に判定枠を設定し、該判定枠の位置及びサイズを変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、
前記複数の撮像画像の各々の同一位置から抽出された同一サイズのウインドウ画像の各々から、該ウインドウ画像の各々の輝度分布に基づいて、対象物を識別し易いウインドウ画像を選択するウインドウ画像選択手段、及び
前記ウインドウ画像選択手段により選択されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
Computer
Acquisition means for acquiring a plurality of captured images each captured under different exposure conditions;
An extraction unit that sets a determination frame for each of the plurality of captured images acquired by the acquisition unit and extracts an image in the determination frame as a window image while changing the position and size of the determination frame;
Window image selection means for selecting, from each of window images of the same size extracted from the same position of each of the plurality of captured images, a window image that can easily identify an object based on the luminance distribution of each of the window images. And identifying whether or not the window image is an image representing the object based on a window image selected by the window image selecting means and an identification model generated in advance for identifying the object. An object identification program for functioning as a means.
コンピュータを、
各々異なる露光条件で撮像された複数の撮像画像を取得する取得手段、
前記取得手段により取得した複数の撮像画像の各々から、判定枠のサイズが小さいほど明るい撮像画像を選択する撮像画像選択手段、
前記撮像画像選択手段により選択された撮像画像に前記判定枠を設定し、該判定枠の位置を変更しながら判定枠内の画像をウインドウ画像として抽出する抽出手段、及び
前記抽出手段により抽出されたウインドウ画像と前記対象物を識別するために予め生成された識別モデルとに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるための対象物識別プログラム。
Computer
Acquisition means for acquiring a plurality of captured images each captured under different exposure conditions;
A captured image selection unit that selects a brighter captured image as the size of the determination frame is smaller from each of the plurality of captured images acquired by the acquisition unit;
An extraction unit that sets the determination frame on the captured image selected by the captured image selection unit, extracts an image in the determination frame as a window image while changing the position of the determination frame, and an image extracted by the extraction unit An object identification program for functioning as identification means for identifying whether or not the window image is an image representing the object based on a window image and an identification model generated in advance for identifying the object.
コンピュータを、請求項1〜請求項6のいずれか1項記載の対象物識別装置を構成する各手段として機能させるための対象物識別プログラム。   An object identification program for causing a computer to function as each means constituting the object identification device according to any one of claims 1 to 6.
JP2010232767A 2010-10-15 2010-10-15 Object identification device and program Pending JP2012088785A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010232767A JP2012088785A (en) 2010-10-15 2010-10-15 Object identification device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010232767A JP2012088785A (en) 2010-10-15 2010-10-15 Object identification device and program

Publications (1)

Publication Number Publication Date
JP2012088785A true JP2012088785A (en) 2012-05-10

Family

ID=46260375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010232767A Pending JP2012088785A (en) 2010-10-15 2010-10-15 Object identification device and program

Country Status (1)

Country Link
JP (1) JP2012088785A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626570B2 (en) 2013-09-26 2017-04-18 Denso Corporation Vehicle control system and image sensor
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
WO2018008461A1 (en) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 Image processing device
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
JP2021144689A (en) * 2020-03-12 2021-09-24 株式会社豊田中央研究所 On-vehicle sensing device and sensor parameter optimization device
CN114783041A (en) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 Target object recognition method, electronic device, and computer-readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175702A (en) * 1997-12-15 1999-07-02 Toyota Motor Corp Line detecting device for vehicle, on-road line detecting method, and medium recorded with program
JP2004123061A (en) * 2002-10-07 2004-04-22 Toyota Motor Corp Photographing system
JP2007166443A (en) * 2005-12-16 2007-06-28 Hitachi Ltd Imaging device
JP2009042098A (en) * 2007-08-09 2009-02-26 Tokai Rika Co Ltd Object detector of image processing type
JP2009289189A (en) * 2008-05-30 2009-12-10 Toyota Central R&D Labs Inc Apparatus and program for creating learning model, and apparatus and program for detecting object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175702A (en) * 1997-12-15 1999-07-02 Toyota Motor Corp Line detecting device for vehicle, on-road line detecting method, and medium recorded with program
JP2004123061A (en) * 2002-10-07 2004-04-22 Toyota Motor Corp Photographing system
JP2007166443A (en) * 2005-12-16 2007-06-28 Hitachi Ltd Imaging device
JP2009042098A (en) * 2007-08-09 2009-02-26 Tokai Rika Co Ltd Object detector of image processing type
JP2009289189A (en) * 2008-05-30 2009-12-10 Toyota Central R&D Labs Inc Apparatus and program for creating learning model, and apparatus and program for detecting object

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
US10377322B2 (en) 2011-02-10 2019-08-13 Denso Corporation In-vehicle camera and vehicle control system
US10406994B2 (en) 2011-02-10 2019-09-10 Denso Corporation In-vehicle camera and vehicle control system
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
US9626570B2 (en) 2013-09-26 2017-04-18 Denso Corporation Vehicle control system and image sensor
WO2018008461A1 (en) * 2016-07-05 2018-01-11 日立オートモティブシステムズ株式会社 Image processing device
JP2021144689A (en) * 2020-03-12 2021-09-24 株式会社豊田中央研究所 On-vehicle sensing device and sensor parameter optimization device
CN114783041A (en) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 Target object recognition method, electronic device, and computer-readable storage medium

Similar Documents

Publication Publication Date Title
US10475237B2 (en) Image processing apparatus and control method thereof
JP5747549B2 (en) Signal detector and program
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP5071198B2 (en) Signal recognition device, signal recognition method, and signal recognition program
JP5435307B2 (en) In-vehicle camera device
WO2016020970A1 (en) Position self-calculation device and position self-calculation method
JP4525812B2 (en) Exposure setting device, exposure setting program, and image processing device
JP2012088785A (en) Object identification device and program
US9569688B2 (en) Apparatus and method of detecting motion mask
US20120300074A1 (en) Detection apparatus and detection method
US10839236B2 (en) Vehicle exterior environment recognition apparatus
JP2013005234A5 (en)
JP6094252B2 (en) Road sign recognition device
JP2018078372A (en) Image output device
WO2013168744A1 (en) Method and device for detecting vehicle light sources
JP4084578B2 (en) Character recognition method and apparatus
CN111666869B (en) Face recognition method and device based on wide dynamic processing and electronic equipment
JP2012023572A (en) White balance coefficient calculating device and program
JP5882644B2 (en) Image processing apparatus, control method thereof, and program
JP2010152900A (en) Image processor and image processing program
US11882367B2 (en) Image processing method for producing a high dynamic range image of a scene
TWI630818B (en) Dynamic image feature enhancement method and system
KR102188163B1 (en) System for processing a low light level image and method thereof
JP6459745B2 (en) Self-position calculation device and self-position calculation method
KR101519162B1 (en) Method for Improving Night Vision of Camera for Car

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140902