JP2012053663A - Object kind determination device - Google Patents

Object kind determination device Download PDF

Info

Publication number
JP2012053663A
JP2012053663A JP2010195752A JP2010195752A JP2012053663A JP 2012053663 A JP2012053663 A JP 2012053663A JP 2010195752 A JP2010195752 A JP 2010195752A JP 2010195752 A JP2010195752 A JP 2010195752A JP 2012053663 A JP2012053663 A JP 2012053663A
Authority
JP
Japan
Prior art keywords
determination
image
element total
determination element
total point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010195752A
Other languages
Japanese (ja)
Inventor
Hideki Hashimoto
英樹 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010195752A priority Critical patent/JP2012053663A/en
Publication of JP2012053663A publication Critical patent/JP2012053663A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an object kind determination device which restrains an occurrence of a failure in detecting an object of a specific kind.SOLUTION: An object kind determination device comprises: an image section extraction section 13 to extract an image section of an object from a photographed image by an infrared camera 2; a determination element extraction section to extract a plurality of determination elements decided by assuming an object of a specific kind; a determination element total score calculation section 15 to give the plurality of the determination elements scores in accordance with respective extraction results and to calculate a determination element total score which is a total of the scores given to respective determination elements; and an object kind determination section 16 to determine that a kind of the object in a real space corresponding to the image section is the specific kind when the determination element total score is equal to or larger than a reference value.

Description

本発明は、カメラにより撮像された物体の画像に基づいて、物体の種別を判定する物体種別判定装置に関する。   The present invention relates to an object type determination apparatus that determines the type of an object based on an image of the object captured by a camera.

従来より、例えば車両に取り付けられたカメラによる撮像画像に含まれる画像部分について、予め設定された判定条件を満たしているか否かを判断することにより、画像部分に対応する実空間上の物体の種別を判定するようにした物体種別判定装置が提案されている（例えば、特許文献１参照）。   Conventionally, for example, by determining whether or not an image portion included in an image captured by a camera attached to a vehicle satisfies a predetermined determination condition, the type of object in the real space corresponding to the image portion An object type determination device has been proposed (see, for example, Patent Document 1).

特開２００３−２８４０５７号公報JP 2003-284057 A

上述した特許文献１に記載された物体種別判定装置においては、撮像画像中の画像部分について、グレースケール画像での輝度平均値及び時系列画像間での輝度変化、２値画像での高さ，幅，路面からの高さ等の複数の判断要素が、歩行者を想定して設定された適当な範囲内であるか否かを判断している。そして、これらの判断要素のうちの少なくとも１つが適当な範囲外となったときに、画像部分に対応する実空間上の物体は歩行者ではないと判定している。   In the object type determination device described in Patent Document 1 described above, with respect to the image portion in the captured image, the luminance average value in the grayscale image and the luminance change between the time-series images, the height in the binary image, It is determined whether or not a plurality of determination elements such as width and height from the road surface are within an appropriate range set assuming a pedestrian. When at least one of these determination elements is outside the appropriate range, it is determined that the object in the real space corresponding to the image portion is not a pedestrian.

そのため、撮像条件が悪化して、各判断要素のうちのいずれかの抽出精度が低下したときに、歩行者等の特定種別の物体の検出漏れが生じ易いという不都合があった。   For this reason, when the imaging conditions deteriorate and the extraction accuracy of any of the determination elements decreases, there is an inconvenience that detection failure of a specific type of object such as a pedestrian is likely to occur.

本発明は上記背景を鑑みてなされたものであり、特定種別の物体の検出漏れが生じることを抑制した物体種別判定装置を提供することを目的とする。   The present invention has been made in view of the above background, and an object of the present invention is to provide an object type determination apparatus that suppresses occurrence of omission of detection of a specific type of object.

本発明は上記目的を達成するためになされたものであり、カメラによる撮像画像から、該カメラの視野内に存在する物体の画像部分を抽出する画像部分抽出部と、前記画像部分について、特定種別の物体を想定して決定された複数の判定要素を抽出する判定要素抽出部と、前記複数の判定要素に対して抽出結果に応じた点数を付与すると共に、付与した点数の合計点である判定要素総合点を算出する判定要素総合点算出部と、前記判定要素総合点が基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定する物体種別判定部とを備えることを特徴とする（第１発明）。   The present invention has been made to achieve the above object, and an image part extraction unit that extracts an image part of an object existing in the field of view of the camera from an image captured by the camera, and a specific type of the image part. A determination element extraction unit that extracts a plurality of determination elements determined on the assumption of the object, and a score corresponding to the extraction result is assigned to the plurality of determination elements, and the determination is a total score of the given points A determination element total point calculation unit that calculates an element total point, and when the determination element total point is equal to or greater than a reference value, determines that the type of the object in the real space corresponding to the image portion is the specific type And an object type determination unit (first invention).

第１発明によれば、前記判定要素抽出部により、前記画像部分について前記特定種別用の複数の判定要素が抽出され、前記判定要素総合点算出部により、前記各判定要素の抽出結果に応じた点数が付与されて前記判定要素総合点が算出される。そして、前記物体種別判定部により、前記判定要素総合点が前記基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定される。   According to the first aspect, the determination element extraction unit extracts a plurality of determination elements for the specific type for the image portion, and the determination element total point calculation unit responds to the extraction result of each determination element. A score is given to calculate the determination element total score. The object type determination unit determines that the type of the object in the real space corresponding to the image portion is the specific type when the determination element total point is equal to or greater than the reference value.

このように、第１発明によれば、前記画像部分について、前記特定種別用の複数の判定要素を考慮して算出された前記判定要素総合点を用いて、前記画像部分に対応する実空間上の物体の種別が前記特定種別であるか否かが判定される。この場合、前記複数の判定要素のうちのいくつかの抽出レベルが低い場合であっても、他の判定要素の抽出レベルが高ければ前記特定種別であると判定されるため、前記特定種別の物体の検出漏れが生じることを抑制することができる。   As described above, according to the first aspect of the present invention, on the image portion, the determination element total point calculated in consideration of the plurality of determination elements for the specific type is used. It is determined whether the type of the object is the specific type. In this case, even if some extraction levels of the plurality of determination elements are low, if the extraction level of other determination elements is high, it is determined to be the specific type, so the object of the specific type It is possible to suppress the occurrence of detection omission.

また、第１発明又は第２発明において、前記判定要素総合点の値に応じて区分した複数の態様による報知を行なう物体報知部を備えたことを特徴とする（第２発明）。   Further, in the first invention or the second invention, an object notification unit for performing notification in a plurality of modes divided according to the value of the determination element total point is provided (second invention).

第２発明によれば、前記判定要素総合点は、前記画像部分に対応する実空間上の物体の種別が前記特定種別である可能性の高低を示すものであるため、前記判定要素総合点の値に応じて区分した複数の態様による報知を行なうことによって、使用者に該物体が前記特定種別の物体である可能性を認識させることができる。   According to the second invention, the determination element total point indicates the possibility that the type of the object in the real space corresponding to the image portion is the specific type. By performing notification in a plurality of modes divided according to values, the user can be made aware of the possibility that the object is the specific type of object.

また、第１発明又は第２発明において、前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部と、前記コントラストの低下に応じて前記基準値を減少させる基準値変更部とを備えることを特徴とする（第３発明）。   In addition, in the first invention or the second invention, a contrast detection unit that detects a contrast of at least a part of the captured image, and a reference value change unit that decreases the reference value according to a decrease in the contrast. Features (third invention).

また、第１発明又は第２発明において、前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部を備え、前記判定要素総合点算出部は、前記コントラストの低下に応じて、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第１点数補正処理を行うことを特徴とする（第４発明）。   In the first invention or the second invention, a contrast detection unit that detects a contrast of at least a part of the captured image is provided, and the determination element total point calculation unit is configured to determine the plurality of determinations according to a decrease in the contrast. A first point correction process for increasing the number of points given to an element or the determination element total point is performed (fourth invention).

第３発明又は第４発明において、前記撮像画像のコントラストが低下すると、前記複数の判定要素の抽出レベルが低くなって付与される点数が低くなると想定される。そのため、前記基準値変更部により前記基準値を減少させることによって、或いは、前記判定要素総合点算出部により前記第１点数補正処理を行うことによって、前記カメラの撮像状況に起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。   In 3rd invention or 4th invention, when the contrast of the said captured image falls, the extraction level of these determination elements will become low, and it is assumed that the number | score provided is reduced. Therefore, by reducing the reference value by the reference value changing unit, or by performing the first score correction process by the determination element total point calculating unit, the specific type of the specific type caused by the imaging state of the camera Occurrence of object detection omission can be suppressed.

また、第１発明から第４発明のいずれかにおいて、前記カメラから前記物体までの距離を検出する距離検出部を備え、前記判定要素総合点算出部は、前記カメラから前記物体までの距離が長いほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第２点数補正処理を行うことを特徴とする（第５発明）。   In any one of the first to fourth inventions, a distance detection unit that detects a distance from the camera to the object is provided, and the determination element total point calculation unit has a long distance from the camera to the object. The second point correction process for increasing the number of points given to the plurality of determination elements or the determination element total points is performed (fifth invention).

第５発明において、前記カメラから前記物体までの距離が長くなるに従って、前記カメラの撮像画像における前記物体の画像部分の大きさが小さくなり、画像部分の特徴量を抽出することが難しくなる。そこで、前記判定要素総合点算出部により前記第２点数補正処理を行うことによって、前記カメラから前記物体までの距離が長くなることに起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。   In the fifth invention, as the distance from the camera to the object becomes longer, the size of the image portion of the object in the captured image of the camera becomes smaller, and it becomes difficult to extract the feature amount of the image portion. Therefore, by performing the second score correction process by the determination element total point calculation unit, it is possible to suppress the detection omission of the specific type of object due to an increase in the distance from the camera to the object. be able to.

また、第１発明から第５発明のいずれかにおいて、前記判定要素総合点算出部は、前記物体の画像部分の大きさが小さいほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第３点数補正処理を行うことを特徴とする（第６発明）。   Further, in any one of the first to fifth inventions, the determination element total point calculation unit assigns points to the plurality of determination elements as the size of the image portion of the object is smaller, or the determination A third point correction process for increasing the element total points is performed (sixth invention).

第６発明において、前記カメラから前記物体までの距離が同じであれば、前記物体の大きさが小さくなるに従って、前記カメラの撮像画像における前記物体の画像部分の大きさが小さくなり、画像部分の特徴量を抽出することが難しくなる。そこで、前記判定要素総合点算出部により前記第３点数補正処理を行うことによって、前記物体の大きさに起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。   In the sixth invention, if the distance from the camera to the object is the same, the size of the image portion of the object in the captured image of the camera decreases as the size of the object decreases. It becomes difficult to extract feature amounts. Therefore, by performing the third point correction process by the determination element total point calculation unit, it is possible to suppress the detection omission of the specific type of object due to the size of the object.

車両周辺監視装置の車両への取付態様の説明図。Explanatory drawing of the attachment aspect to the vehicle of a vehicle periphery monitoring apparatus. 車両周辺監視装置の構成図。The block diagram of a vehicle periphery monitoring apparatus. 車両周辺監視装置の作動フローチャート。The operation | movement flowchart of a vehicle periphery monitoring apparatus. 形状による歩行者判定の説明図。Explanatory drawing of the pedestrian determination by a shape. 相似度合による歩行者判定の説明図。Explanatory drawing of pedestrian determination by similarity degree.

本発明の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）が備えられている。   An embodiment of the present invention will be described with reference to FIGS. Referring to FIG. 1, a vehicle periphery monitoring device 10 of this embodiment is used by being mounted on a vehicle 1, and the vehicle 1 includes an infrared camera 2 (corresponding to the camera of the present invention) capable of detecting far infrared rays. Is provided.

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。なお、赤外線カメラ２に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。   The infrared camera 2 is attached to the front portion of the vehicle 1 in order to image the front of the vehicle 1. The front portion of the vehicle 1 is the origin O, the left-right direction of the vehicle 1 is the X axis, the vertical direction is the Y axis, A real space coordinate system in which the front-rear direction is the Z axis is defined. Instead of the infrared camera 2, a camera having sensitivity in other wavelength regions such as visible light may be used.

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。   Next, referring to FIG. 2, the vehicle 1 includes a yaw rate sensor 3 that detects the yaw rate of the vehicle 1, a vehicle speed sensor 4 that detects the traveling speed of the vehicle 1, and a brake sensor that detects the amount of brake operation by the driver. 5. Head for displaying an image picked up by a speaker 6 for performing alerting by voice and the like and an infrared camera 2 and for allowing a driver to visually recognize an object that is likely to come into contact with the vehicle 1 An up display 7 (hereinafter referred to as HUD 7) is connected. As shown in FIG. 1, the HUD 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 1.

車両周辺監視装置１０は、赤外線カメラ２により撮像された物体の移動ベクトルを、ヨーレートセンサ３により検出される車両１のヨーレート及び車速センサ４により検出される車両１の走行速度等に基づいて算出する。そして、移動ベクトルにより車両１と接触する可能性がある物体を検知したときに、ブレーキセンサ５により検出されるブレーキ操作の有無を考慮して、ＨＵＤ７への表示及びスピーカ６からの音声出力によって、運転者に対する注意喚起を行う。   The vehicle periphery monitoring device 10 calculates the movement vector of the object imaged by the infrared camera 2 based on the yaw rate of the vehicle 1 detected by the yaw rate sensor 3 and the traveling speed of the vehicle 1 detected by the vehicle speed sensor 4. . Then, when an object that may come into contact with the vehicle 1 is detected by the movement vector, in consideration of the presence or absence of the brake operation detected by the brake sensor 5, the display on the HUD 7 and the sound output from the speaker 6 Raise attention to the driver.

車両周辺監視装置１０はＣＰＵ，メモリ（図示しない）等により構成された電子ユニットであり、本発明の物体種別判定装置の機能を含んでいる。車両周辺監視装置１０は、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方の撮像画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。   The vehicle periphery monitoring device 10 is an electronic unit composed of a CPU, a memory (not shown), and the like, and includes the function of the object type determination device of the present invention. The vehicle periphery monitoring device 10 converts the video signal output from the infrared camera 2 into digital data and captures it into an image memory (not shown). The captured image in front of the vehicle 1 captured in the image memory is processed by the CPU. It has a function of performing various arithmetic processes.

そして、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、赤外線カメラ２により撮像された画像のコントラストを検出するコントラスト検出部１１、画像のコントラストに応じて後述する歩行者判定に使用される基準値を変更する基準値変更部１２、赤外線カメラ２により撮像された画像から所定条件を有する画像部分を抽出する画像部分抽出部１３、画像部分抽出部１３により抽出された画像部分について、後述する歩行者判定に使用される複数の判定要素を抽出する判定要素抽出部１４、各判定要素に点数を付与して判定要素総合点を算出する判定要素総合点算出部１５、判定要素総合点と基準値とを比較して歩行者判定を行う物体種別判定部１６、及び、歩行者判定により画像部分に対応する実空間上の物体の種別が歩行者（本発明の特定種別に相当する）であると判定されたときに、ＨＵＤ７による歩行者の画像の強調表示とスピーカ６からの注意音の出力を行う物体報知部１７として機能する。   Then, by causing the CPU to execute the control program for the vehicle periphery monitoring device 10, the CPU detects the contrast of the image captured by the infrared camera 2, and a pedestrian described later according to the image contrast. A reference value changing unit 12 that changes a reference value used for determination, an image part extracting unit 13 that extracts an image part having a predetermined condition from an image captured by the infrared camera 2, and an image extracted by the image part extracting part 13 A determination element extraction unit 14 that extracts a plurality of determination elements used for pedestrian determination described later, a determination element total point calculation unit 15 that calculates a determination element total point by assigning points to each determination element, and a determination Object type determination unit 16 that performs pedestrian determination by comparing element total points and reference values, and corresponds to an image portion by pedestrian determination When it is determined that the type of the object in the space is a pedestrian (corresponding to a specific type of the present invention), the object notification that performs the highlighted display of the image of the pedestrian by the HUD 7 and the output of the caution sound from the speaker 6 It functions as the unit 17.

次に、図３に示したフローチャートに従って、車両周辺監視装置１０による歩行者判定の処理について説明する。車両周辺監視装置１０は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して、車両１の周辺に所在する歩行者を監視する。   Next, pedestrian determination processing by the vehicle periphery monitoring device 10 will be described according to the flowchart shown in FIG. The vehicle periphery monitoring device 10 executes processing according to the flowchart shown in FIG. 3 at every predetermined control cycle to monitor pedestrians located around the vehicle 1.

車両周辺監視装置１０は、ＳＴＥＰ１で赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。   The vehicle periphery monitoring apparatus 10 receives the video signal output from the infrared camera 2 in STEP 1 and takes in a grayscale image obtained by converting the video signal into digital gradation (luminance) data into the image memory.

続くＳＴＥＰ２は、コントラスト検出部１１及び基準値変更部１２による処理である。コントラスト検出部１１はグレースケール画像のコントラストを検出し、基準値変更部１２は、グレースケール画像のコントラストが低いときに、後述する歩行者判定用の基準値を減少させる。なお、グレースケール画像のコントラストとして、グレースケール画像全体のコントラストを検出してもよく、グレースケール画像中の一部の領域（物体の画像部分を含む局所領域等）のコントラストを検出してもよい。   The subsequent STEP 2 is processing by the contrast detection unit 11 and the reference value change unit 12. The contrast detection unit 11 detects the contrast of the grayscale image, and the reference value changing unit 12 decreases the reference value for pedestrian determination described later when the contrast of the grayscale image is low. As the contrast of the gray scale image, the contrast of the entire gray scale image may be detected, or the contrast of a part of the gray scale image (such as a local region including the image portion of the object) may be detected. .

続くＳＴＥＰ３〜ＳＴＥＰ５は画像部分抽出部１３による処理である。画像部分抽出部１３は、ＳＴＥＰ３で、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、画像部分抽出部１３は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って車両１の前方に存在する物体（以下、対象物という）の画像部分を抽出する。   Subsequent STEP 3 to STEP 5 are processes performed by the image portion extraction unit 13. In STEP 3, for each pixel of the grayscale image, the image partial extraction unit 13 sets a pixel having a luminance equal to or higher than a predetermined threshold to “1” (white), and sets a pixel having a luminance lower than the threshold to “0” (black). A binarization process is performed to obtain a binary image. Then, the image part extraction unit 13 calculates run length data of each white region in the binary image, performs a labeling process, etc., and an image part of an object (hereinafter referred to as a target object) existing in front of the vehicle 1. To extract.

次のＳＴＥＰ４で、画像部分抽出部１３は、車両１と対象物３との距離を算出する。この距離の算出は、例えば特開２００７−２１３５６１号公報等に開示された、単一のカメラの撮像画像に基づく周知の手法によるので、ここでは説明を省略する。   In the next STEP 4, the image part extraction unit 13 calculates the distance between the vehicle 1 and the object 3. The calculation of this distance is based on a well-known method based on the image captured by a single camera disclosed in, for example, Japanese Patent Application Laid-Open No. 2007-213561, and the description thereof is omitted here.

なお、ステレオカメラによる視差に基づいて距離を算出する構成、或いはレーダーにより距離を検出する構成を採用してもよい。また、続くＳＴＥＰ５で、画像部分抽出部１３は、赤外線カメラ２による時系列の撮像画像間で同一の対象物の画像部分を抽出して、対象物を追跡する。   Note that a configuration in which a distance is calculated based on parallax from a stereo camera or a configuration in which a distance is detected by a radar may be employed. In subsequent STEP 5, the image portion extraction unit 13 extracts the image portion of the same object between time-series captured images obtained by the infrared camera 2, and tracks the object.

次のＳＴＥＰ６〜ＳＴＥＰ１１は、判定要素抽出部１４による処理である。図４を参照して、判定要素抽出部１４は、ＳＴＥＰ６で、赤外線カメラ２の撮像画像Ｉm1から抽出された対象物の画像部分３０から、歩行者の頭部の形状特徴を有する画像部分ＨＰを認識する。   The next STEP 6 to STEP 11 are processes by the determination element extraction unit 14. Referring to FIG. 4, in STEP 6, determination element extraction unit 14 extracts an image portion HP having a shape feature of the pedestrian's head from image portion 30 of the object extracted from captured image Im 1 of infrared camera 2. recognize.

また、判定要素抽出部１４は、続くＳＴＥＰ７で、画像部分ＨＰの下方に存在して、肩を含む胴体の形状特徴を有する画像部分ＢＰを認識し、ＳＴＥＰ８で、脚の形状特徴を有する画像部分ＲＬＰ（右足）とＬＬＰ（左足）を認識する。さらに、ＳＴＥＰ９で、判定要素抽出部１４は、画像部分３０の形状特徴が歩行者として不自然なとき（例えば、画像部分３０の幅や高さが歩行者として不自然なとき）に、画像部分３０を歩行者判定の対象から除外する。   Further, the determination element extraction unit 14 recognizes an image portion BP that exists below the image portion HP and has a body shape feature including a shoulder in STEP 7, and in STEP 8, an image portion having a leg shape feature Recognizes RLP (right foot) and LLP (left foot). Furthermore, in STEP 9, the determination element extraction unit 14 determines that the image portion 30 is unnatural as a pedestrian (for example, when the width or height of the image portion 30 is unnatural as a pedestrian). 30 is excluded from the target of pedestrian determination.

続くＳＴＥＰ１０で、判定要素抽出部１４は、対象物の画像部分３０の外接四角形ＣＱＤの縦横比（Ｗb／Ｈb）を算出する。また、図５を参照して、判定要素抽出部１４は、赤外カメラ２によりdＴの時間間隔をもって撮像された時系列画像Ｉm2（撮像時点ｔ１），Ｉm3間（撮像時点ｔ２）での、同一の対象物の画像部分４０，４１の相似度合を算出する。なお、相似度合を算出する際には、車両１が対象物に接近することによる対象物の画像部分の大きさの変化分を、車両１と対象物との距離に基づいて補正する。 In subsequent STEP 10, the determination element extraction unit 14 calculates the aspect ratio (Wb / Hb) of the circumscribed rectangle CQD of the image portion 30 of the object. In addition, referring to FIG. 5, the determination element extraction unit 14 is between time series images Im2 (imaging time t 1 ) and Im3 (imaging time t 2 ) captured by the infrared camera 2 with a time interval of dT. The degree of similarity between the image portions 40 and 41 of the same object is calculated. When calculating the similarity degree, the change in the size of the image portion of the object due to the vehicle 1 approaching the object is corrected based on the distance between the vehicle 1 and the object.

以上説明したように、判定要素抽出部１４は、ＳＴＥＰ６〜ＳＴＥＰ１１の処理により、歩行者の判定要素として、頭部の形状特徴を有する画像部分の存否、胴部の形状特徴を有する画像の存否、脚部の形状特徴を有する画像の存否、外接四角形の縦横比、及び時系列画像間の対象物の画像部分の相似度合という、五つの判定要素を抽出する。なお、歩行者判定用の判定要素はこれら五つに限られず、他の判定要素を用いてもよい。   As described above, the determination element extraction unit 14 performs the processing of STEP 6 to STEP 11 as the determination element of the pedestrian, the presence / absence of the image part having the shape characteristic of the head, the presence / absence of the image having the shape characteristic of the trunk, Five determination elements are extracted: presence / absence of an image having a shape characteristic of a leg, aspect ratio of a circumscribed rectangle, and similarity of an image portion of an object between time-series images. In addition, the determination element for pedestrian determination is not restricted to these five, You may use another determination element.

次のＳＴＥＰ１２は判定要素総合点算出部１５による処理である。判定要素総合点算出部１５は、ＳＴＥＰ１２で、以下の表１に従って、各判定要素に点数を付与する。   The next STEP 12 is processing by the determination element total point calculation unit 15. The determination element total score calculation unit 15 assigns a score to each determination element in STEP 12 according to Table 1 below.

Figure 2012053663

そして、判定要素総合点算出部１５は、各判定要素の点数を合計して判定要素総合点を算出する。例えば、頭部と脚の画像部分が認識でき、対象物の外接四角形の縦横比が０．４で、時系列画像間での画像部分の相似度度合が０．７であったときには、判定要素総合点は以下の式（１）により算出される。
Figure 2012053663
Then, the determination element total point calculation unit 15 calculates the determination element total point by adding the scores of the respective determination elements. For example, when the image part of the head and the leg can be recognized, the aspect ratio of the circumscribed rectangle of the object is 0.4, and the degree of similarity of the image part between the time series images is 0.7, the determination element The total score is calculated by the following equation (1).

判定要素総合点＝３＋１＋３＋３＝１０ ・・・・・(1)
次のＳＴＥＰ１３は物体種別判定部１６による処理である。物体種別判定部１６は、以下の表２に従って、判定要素総合点の値（レベル）により、対象物が歩行者である可能性（対象物の歩行者らしさ）をＡ，Ｂ，Ｃの３段階に区分して求める。この場合、判定要素総合点がＡ又はＢの段階であるときに、対象物が歩行者であると判定される。 Judgment element total point = 3 + 1 + 3 + 3 = 10 (1)
The next STEP 13 is processing by the object type determination unit 16. According to the following Table 2, the object type determination unit 16 determines the possibility that the target object is a pedestrian (the pedestrian-likeness of the target object) from three levels A, B, and C according to the value (level) of the determination element total point Determined by dividing into In this case, it is determined that the object is a pedestrian when the determination element total point is in the A or B stage.

なお、各段階を区分するための基準値（５点、２点）は、上述したＳＴＥＰ２の処理により、撮像画像のコントラストが低いときに減少される。   Note that the reference values (5 points and 2 points) for classifying each stage are reduced when the contrast of the captured image is low by the processing of STEP 2 described above.

Figure 2012053663

次のＳＴＥＰ１４〜ＳＴＥＰ１５、ＳＴＥＰ２０〜ＳＴＥＰ２２、及びＳＴＥＰ３０〜ＳＴＥＰ３１は、物体報知部１７による処理である。物体報知部１７は、ＳＴＥＰ１４で、判定要素総合点のレベルがＣであるか否かを判断する。そして、判定要素総合点のレベルがＣであったとき、すなわち、対象物の人らしさが低いときはＳＴＥＰ１５に進み、物体報知１７は対象物の画像部分の周囲に白色の強調枠を表示する。この場合は、スピーカ６からの注意音の出力は行われない。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。
Figure 2012053663
The following STEP14 to STEP15, STEP20 to STEP22, and STEP30 to STEP31 are processes by the object notification unit 17. In step 14, the object notification unit 17 determines whether or not the level of the determination element total point is C. When the level of the determination element total point is C, that is, when the humanity of the object is low, the process proceeds to STEP 15 and the object notification 17 displays a white highlight frame around the image portion of the object. In this case, no caution sound is output from the speaker 6. And it progresses to STEP16 and the vehicle periphery monitoring apparatus 10 complete | finishes the process in 1 control period.

一方、ＳＴＥＰ１４で判定要素総合点のレベルがＣでなかったときにはＳＴＥＰ２０に分岐し、物体報知部１７は、判定要素総合点のレベルがＢであるか否かを判断する。そして、判定要素総合点のレベルがＢであったとき、すなわち、対象物の人らしさが中のときはＳＴＥＰ２１に進む。   On the other hand, if the level of the determination element total point is not C in STEP 14, the process branches to STEP 20, and the object notification unit 17 determines whether or not the level of the determination element total point is B. Then, when the level of the determination element total point is B, that is, when the humanity of the object is medium, the process proceeds to STEP 21.

ＳＴＥＰ２１で、物体報知部１７は、対象物の画像部分の周囲に黄色の強調枠を表示し、ＳＴＥＰ２２で低音の注意音をスピーカ６から出力して、運転者に歩行者に対する注意を促す。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。   In STEP 21, the object notification unit 17 displays a yellow emphasis frame around the image portion of the object, and outputs a low-pitched caution sound from the speaker 6 in STEP 22 to prompt the driver to pay attention to the pedestrian. And it progresses to STEP16 and the vehicle periphery monitoring apparatus 10 complete | finishes the process in 1 control period.

また、ＳＴＥＰ２０で、判定要素総合点のレベルがＢでなかったとき、すなわち、判定要素総合点のレベルがＡであって、対象物の人らしさが高であるときには、ＳＴＥＰ３０に分岐する。   Further, in STEP 20, when the level of the determination element total point is not B, that is, when the level of the determination element total point is A and the humanity of the object is high, the process branches to STEP 30.

ＳＴＥＰ３０で、物体報知部１７は、対象物の画像部分の周囲に赤色の強調枠を表示し、ＳＴＥＰ３１で高音の注意音をスピーカ６から出力して、運転者に歩行者に対する注意を促す程度を高くする。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。   In STEP 30, the object notification unit 17 displays a red emphasis frame around the image portion of the target object, and outputs a high-pitched caution sound from the speaker 6 in STEP 31, so that the driver is alerted to the pedestrian. Make it high. And it progresses to STEP16 and the vehicle periphery monitoring apparatus 10 complete | finishes the process in 1 control period.

なお、本実施の形態では、本発明の特定種別が歩行者である場合を示したが、大型の野生動物等の他の特定種別についての判定を行う場合であっても、各特定種別に対応した複数の判定要素を設定することで、本発明の適用が可能である。   In the present embodiment, the case where the specific type of the present invention is a pedestrian is shown. However, even when a determination is made for another specific type such as a large wild animal, it corresponds to each specific type. The present invention can be applied by setting a plurality of determination elements.

また、本実施の形態では、基準値変更部１２により、撮像画像のコントラストが低いときに上記表２の基準値を減少させたが、基準値は変更せずに、上記表１の点数又は判定要素総合点を増加させる第１点数補正処理を行うようにしてもよい。   In the present embodiment, the reference value changing unit 12 reduces the reference value in Table 2 when the contrast of the captured image is low. However, the reference value is not changed, and the score or determination in Table 1 is not changed. You may make it perform the 1st point correction | amendment process which increases an element total point.

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して、撮像された物体の種別を判定するようにしてもよい。   In the present embodiment, the configuration for imaging the front of the vehicle is shown. However, the type of the imaged object may be determined by imaging other directions such as the rear or side of the vehicle. .

また、赤外線カメラ２から対象物までの距離を検出する距離検出部を備え、判定要素総合点算出部１５により、赤外線カメラ２から対象物までの距離が長いほど、上記表１の点数又は判定要素総合点を増加させる第２点数補正処理を行うようにしてもよい。この場合、距離検出部は、赤外線カメラ２による時系列の撮像画像における対象物の画像部分の大きさの変化率に基づいて距離を算出する構成、或いはレーダー等の測距装置を用いた構成等とすることができる。   Moreover, the distance detection part which detects the distance from the infrared camera 2 to a target object is provided, and the point or determination element of the said Table 1 is determined, so that the distance from the infrared camera 2 to a target object is long by the determination element total point calculation part 15. You may make it perform the 2nd number | score correction | amendment process which increases a total score. In this case, the distance detection unit calculates the distance based on the rate of change of the size of the image portion of the object in the time-series captured image by the infrared camera 2, or uses a ranging device such as a radar. It can be.

また、判定要素総合点算出部１５により、赤外線カメラ２の撮像画像における対象物の画像部分の大きさが小さいほど、上記表１の点数又は判定要素総合点を増加させる第３点数補正処理を行うようにしてもよい。   In addition, the determination element total point calculation unit 15 performs a third point correction process for increasing the number of points in Table 1 or the determination element total point as the size of the image portion of the object in the captured image of the infrared camera 2 is smaller. You may do it.

１…車両、２…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…車両周辺監視装置、１１…コントラスト検出部、１２…基準値変更部、１３…画像部分抽出部、１４…判定要素抽出部、１５…判定要素総合点算出部、１６…物体種別判定部、１７…物体報知部。   DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2 ... Infrared camera (imaging means), 3 ... Yaw rate sensor, 4 ... Vehicle speed sensor, 5 ... Brake sensor, 6 ... Speaker, 7 ... HUD, 10 ... Vehicle periphery monitoring apparatus, 11 ... Contrast detection part, 12 Reference value changing unit, 13 Image portion extracting unit, 14 Determination element extracting unit, 15 Determination element total point calculating unit, 16 Object type determining unit, 17 Object notifying unit.

Claims (6)

カメラによる撮像画像から、該カメラの視野内に存在する物体の画像部分を抽出する画像部分抽出部と、
前記画像部分について、特定種別の物体を想定して決定された複数の判定要素を算出する判定要素抽出部と、
前記複数の判定要素に対して算出結果に応じた点数を付与すると共に、付与した点数の合計点である判定要素総合点を算出する判定要素総合点算出部と、
前記判定要素総合点が基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定する物体種別判定部と
を備えることを特徴とする物体種別判定装置。 An image part extraction unit that extracts an image part of an object existing in the field of view of the camera from an image captured by the camera;
A determination element extraction unit that calculates a plurality of determination elements determined assuming a specific type of object for the image portion;
A determination element total point calculation unit that calculates a determination element total point that is a total point of the given points, while giving a score according to a calculation result to the plurality of determination elements;
An object type determining unit that determines that the type of an object in real space corresponding to the image portion is the specific type when the determination element total point is equal to or greater than a reference value; Judgment device. 請求項１記載の物体種別判定装置において、
前記判定要素総合点の値に応じて区分した複数の態様による報知を行なう物体報知部を備えたことを特徴とする物体種別判定装置。 The object type determination apparatus according to claim 1,
An object type determination apparatus comprising an object notification unit that performs notification in a plurality of modes divided according to the value of the determination element total point. 請求項１又は請求項２記載の物体種別判定装置において、
前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部と、
前記コントラストの低下に応じて前記基準値を減少させる基準値変更部を備えることを特徴とする物体種別判定装置。 The object type determination device according to claim 1 or 2,
A contrast detection unit for detecting a contrast of at least a part of the captured image;
An object type determination apparatus comprising: a reference value changing unit that decreases the reference value in accordance with a decrease in the contrast. 請求項１又は請求項２記載の物体種別判定装置において、
前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部を備え、
前記判定要素総合点算出部は、前記コントラストの低下に応じて、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第１点数補正処理を行うことを特徴とする物体種別判定装置。 The object type determination device according to claim 1 or 2,
A contrast detection unit for detecting a contrast of at least a part of the captured image;
The determination element total point calculation unit performs a first point correction process for increasing the number of points to be given to the plurality of determination elements or the determination element total point according to the decrease in the contrast. Object type determination device. 請求項１から請求項４のうちいずれか１項記載の物体種別判定装置において、
前記カメラから前記物体までの距離を検出する距離検出部を備え、
前記判定要素総合点算出部は、前記カメラから前記物体までの距離が長いほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第２点数補正処理を行うことを特徴とする物体種別判定装置。 The object type determination apparatus according to any one of claims 1 to 4,
A distance detection unit for detecting a distance from the camera to the object;
The determination element total point calculation unit performs a second point correction process for increasing the number of points to be given to the plurality of determination elements or the determination element total point as the distance from the camera to the object is longer. An object type determination device characterized by the above. 請求項１から請求項５のうちいずれか１項記載の物体種別判定装置において、
前記判定要素総合点算出部は、前記物体の画像部分の大きさが小さいほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第３点数補正処理を行うことを特徴とする物体種別判定装置。 The object type determination device according to any one of claims 1 to 5,
The determination element total point calculation unit performs a third point correction process for increasing the number of points given to the plurality of determination elements or the determination element total points as the size of the image portion of the object is smaller. An object type determination device characterized by the above.
JP2010195752A 2010-09-01 2010-09-01 Object kind determination device Pending JP2012053663A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010195752A JP2012053663A (en) 2010-09-01 2010-09-01 Object kind determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010195752A JP2012053663A (en) 2010-09-01 2010-09-01 Object kind determination device

Publications (1)

Publication Number Publication Date
JP2012053663A true JP2012053663A (en) 2012-03-15

Family

ID=45906908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010195752A Pending JP2012053663A (en) 2010-09-01 2010-09-01 Object kind determination device

Country Status (1)

Country Link
JP (1) JP2012053663A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069379A (en) * 2013-09-27 2015-04-13 富士重工業株式会社 Vehicle exterior environment recognition device
JP2015150940A (en) * 2014-02-12 2015-08-24 富士重工業株式会社 vehicle control device
US9826166B2 (en) 2013-03-28 2017-11-21 Denso Corporation Vehicular surrounding-monitoring control apparatus
WO2022044396A1 (en) * 2020-08-28 2022-03-03 株式会社Ｊｖｃケンウッド Object recognition control device and object recognition method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098113A (en) * 2001-09-26 2003-04-03 Hitachi Ltd Method for inspecting defect and apparatus therefor
JP2006229465A (en) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd Monitoring apparatus, monitoring method, and monitoring program
JP2007243411A (en) * 2006-03-07 2007-09-20 Fujifilm Corp Image processing apparatus, method and program
JP2008021034A (en) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd Image recognition device, image recognition method, pedestrian recognition device and vehicle controller
JP2008289189A (en) * 2008-08-15 2008-11-27 Sony Corp Imaging apparatus and expression evaluating device
JP2010066815A (en) * 2008-09-08 2010-03-25 Denso Corp Person detecting device, person detecting program, operation controller, and collision mitigation device
JP2010109859A (en) * 2008-10-31 2010-05-13 Mitsubishi Electric Corp Monitoring image processing apparatus
JP2010141764A (en) * 2008-12-15 2010-06-24 Victor Co Of Japan Ltd Imaging apparatus, imaging method, image signal reproducing device, and image signal reproducing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098113A (en) * 2001-09-26 2003-04-03 Hitachi Ltd Method for inspecting defect and apparatus therefor
JP2006229465A (en) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd Monitoring apparatus, monitoring method, and monitoring program
JP2007243411A (en) * 2006-03-07 2007-09-20 Fujifilm Corp Image processing apparatus, method and program
JP2008021034A (en) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd Image recognition device, image recognition method, pedestrian recognition device and vehicle controller
JP2008289189A (en) * 2008-08-15 2008-11-27 Sony Corp Imaging apparatus and expression evaluating device
JP2010066815A (en) * 2008-09-08 2010-03-25 Denso Corp Person detecting device, person detecting program, operation controller, and collision mitigation device
JP2010109859A (en) * 2008-10-31 2010-05-13 Mitsubishi Electric Corp Monitoring image processing apparatus
JP2010141764A (en) * 2008-12-15 2010-06-24 Victor Co Of Japan Ltd Imaging apparatus, imaging method, image signal reproducing device, and image signal reproducing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826166B2 (en) 2013-03-28 2017-11-21 Denso Corporation Vehicular surrounding-monitoring control apparatus
JP2015069379A (en) * 2013-09-27 2015-04-13 富士重工業株式会社 Vehicle exterior environment recognition device
CN104517118A (en) * 2013-09-27 2015-04-15 富士重工业株式会社 Vehicle external environment recognition device
CN104517118B (en) * 2013-09-27 2017-05-03 富士重工业株式会社 Vehicle external environment recognition device
JP2015150940A (en) * 2014-02-12 2015-08-24 富士重工業株式会社 vehicle control device
WO2022044396A1 (en) * 2020-08-28 2022-03-03 株式会社Ｊｖｃケンウッド Object recognition control device and object recognition method

Similar Documents

Publication Publication Date Title
JP5687702B2 (en) Vehicle periphery monitoring device
JP5577398B2 (en) Vehicle periphery monitoring device
US8810653B2 (en) Vehicle surroundings monitoring apparatus
US7949151B2 (en) Vehicle surroundings monitoring apparatus
JP5809751B2 (en) Object recognition device
WO2010050090A1 (en) System for monitoring the area around a vehicle
JP2007334751A (en) Vehicle periphery monitoring device
JP5760090B2 (en) Biological recognition device
JP4644273B2 (en) Vehicle periphery monitoring device
US20150186735A1 (en) Object detection method with a rising classifier effect and object detection device with the same
JP2012053663A (en) Object kind determination device
JP5502149B2 (en) Vehicle periphery monitoring device
JP5345992B2 (en) Vehicle periphery monitoring device
JP5004923B2 (en) Vehicle driving support device
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4615061B2 (en) Vehicle periphery monitoring device
JP4627305B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle periphery monitoring program
JP2014006820A (en) Vehicle periphery monitoring device
JP5802183B2 (en) Vehicle periphery monitoring device
JP2008040724A (en) Image processing device and image processing method
JP5904927B2 (en) Vehicle periphery monitoring device
JP5903003B2 (en) Vehicle periphery monitoring device
JP5885640B2 (en) Vehicle periphery monitoring device
JP5026398B2 (en) Vehicle periphery monitoring device
JP2010257229A (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130611