JP2021163222A - Object detection apparatus - Google Patents

Object detection apparatus Download PDF

Info

Publication number
JP2021163222A
JP2021163222A JP2020064398A JP2020064398A JP2021163222A JP 2021163222 A JP2021163222 A JP 2021163222A JP 2020064398 A JP2020064398 A JP 2020064398A JP 2020064398 A JP2020064398 A JP 2020064398A JP 2021163222 A JP2021163222 A JP 2021163222A
Authority
JP
Japan
Prior art keywords
image data
far
identification
infrared
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020064398A
Other languages
Japanese (ja)
Other versions
JP7400599B2 (en
Inventor
道則 安藤
Michinori Ando
勇 高井
Isamu Takai
弘幸 松原
Hiroyuki Matsubara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2020064398A priority Critical patent/JP7400599B2/en
Publication of JP2021163222A publication Critical patent/JP2021163222A/en
Application granted granted Critical
Publication of JP7400599B2 publication Critical patent/JP7400599B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To accurately identify an object, such as a pedestrian, from a background in image data.SOLUTION: An image pre-processing unit 22 generates inverted image data obtained by applying grayscale conversion on captured image data obtained by a far-infrared camera 10. An object discriminator 24 performs object identification processing based on a result obtained by learning each of the captured image data and the inverted image data using learning data in advance, to output an identification result including information on object type identification in each of the captured image data and the inverted image data and accuracy information indicating reliability of the identification in each of the captured image data and the inverted image data. An image post-processing unit 26 finally identifies the object in the captured image data on the basis of the identification result obtained by the object discriminator 24.SELECTED DRAWING: Figure 1

Description

本発明は物体検出装置に関する。 The present invention relates to an object detection device.

特許文献1には、遠赤外線画像等の輝度値のレベルシフトによるシフト画像の生成、当該画像の反転画像の生成、及びシフト画像の各々の画素の輝度値を反転画像の対応する画素の輝度値で減算又は除算することにより画像のコントラストを拡大して、歩行者等の物体と背景との識別を容易にする技術が開示されている。 Patent Document 1 describes the generation of a shift image by level-shifting the brightness value of a far-infrared image or the like, the generation of an inverted image of the image, and the brightness value of each pixel of the shifted image as the brightness value of the corresponding pixel of the inverted image. Disclosed is a technique for enlarging the contrast of an image by subtracting or dividing with, and facilitating the distinction between an object such as a pedestrian and the background.

特許文献2には、遠赤外線画像を検出対象画像として用いるときは、温度が高い人の領域の輝度値が大きくなり、人と比べて温度が低い周辺領域の輝度が小さくなることを利用して遠赤外線画像から人物等を検出する人物検出装置の発明が開示されている。 Patent Document 2 utilizes the fact that when a far-infrared image is used as a detection target image, the brightness value of the region of a person having a high temperature becomes large, and the brightness of a peripheral region having a low temperature becomes smaller than that of a person. The invention of a person detection device for detecting a person or the like from a far-infrared image is disclosed.

特許第5664551号公報Japanese Patent No. 5664551 特許第6627680号公報Japanese Patent No. 6627680

しかしながら、遠赤外画像は、夏と冬とでは、歩行者と道路等の背景との明暗が逆転する。従って、特許文献2に開示された技術によって年間を通じて遠赤外線画像から歩行者と背景との識別の精度を担保するには、季節に応じた学習データを準備し、当該学習データによって装置を学習させることが望ましいが、当該学習データの準備及び装置の学習に多大なコストと労力とを要するという問題があった。 However, in the far-infrared image, the brightness of the pedestrian and the background of the road or the like is reversed between summer and winter. Therefore, in order to ensure the accuracy of discrimination between the pedestrian and the background from the far-infrared image by the technique disclosed in Patent Document 2, the learning data according to the season is prepared and the device is trained by the learning data. However, there is a problem that a great deal of cost and labor are required to prepare the training data and learn the device.

また、特許文献1に開示された技術は、背景が、海又は空等のように、一定の輝度範囲内に入るようなテクスチャの少ない画像であれば有効であるが、走行時の路面、道路周辺の建造物、又は森林等が背景として混在する場合、背景と物体とのコントラストを効果的に強調することが困難であるという問題があった。 Further, the technique disclosed in Patent Document 1 is effective if the background is an image with few textures such as the sea or the sky that falls within a certain brightness range, but the road surface and road during traveling are effective. When surrounding buildings or forests coexist as a background, there is a problem that it is difficult to effectively emphasize the contrast between the background and an object.

本発明は上記事実を考慮して成されたもので、画像データにおいて歩行者等の物体を背景から精度よく識別できる物体検出装置を得ることが目的である。 The present invention has been made in consideration of the above facts, and an object of the present invention is to obtain an object detection device capable of accurately identifying an object such as a pedestrian from the background in image data.

第1の態様に係る物体検出装置は、周辺環境の遠赤外画像データを取得する撮影部と、前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、を含んでいる。 The object detection device according to the first aspect is an image processing unit that acquires far-infrared image data of the surrounding environment and an image process that generates converted image data obtained by gradation-converting the far-infrared image data acquired by the photographing unit. The far-infrared image data and the converted image data are obtained by performing object identification processing based on the results previously learned using the training data for each of the unit, the far-infrared image data, and the converted image data. Object identification that executes an identification process that outputs an identification result including information on identification of the type of object in each of the above and accuracy information indicating the reliability of the identification in each of the far-infrared image data and the converted image data. A unit and an object determination unit that finally identifies an object in the far-infrared image data based on the identification result by the object identification unit are included.

遠赤外画像は、夏と冬とでは、歩行者等の物体と背景(主に道路)との明暗が逆転するが、第1の態様では、撮影画像データ及び撮影画像データを階調変換して得た変換画像データの各々について同じ学習データに基づいた物体識別を行うことにより、おデータ及び変換画像データのいずれかにおいて、良好な物体識別の結果を得ることができる。 In the far-infrared image, the brightness of an object such as a pedestrian and the background (mainly a road) is reversed between summer and winter, but in the first aspect, the captured image data and the captured image data are gradation-converted. By performing object identification based on the same learning data for each of the converted image data obtained in the above, a good object identification result can be obtained in either the data or the converted image data.

第2の態様は、第1の態様において、前記画像処理部は、前記撮影部で取得した遠赤外画像データの輝度値の明暗を反転させて前記変換画像データを生成する。 In the second aspect, in the first aspect, the image processing unit generates the converted image data by inverting the brightness value of the far infrared image data acquired by the photographing unit.

これにより、夏と冬とでは、物体と背景との明暗が逆転する遠赤外画像データの特性に対応した物体識別が可能となる。 As a result, in summer and winter, it is possible to identify an object corresponding to the characteristics of far-infrared image data in which the light and darkness of the object and the background are reversed.

第3の態様は、第1の態様において、前記画像処理部は、予め定められた前記遠赤外画像データの階調と前記変換画像データの階調との対応関係に基づいて、前記遠赤外画像データから前記変換画像データを生成する。 In the third aspect, in the first aspect, the image processing unit uses the far-infrared image based on the correspondence between the predetermined gradation of the far-infrared image data and the gradation of the converted image data. The converted image data is generated from the external image data.

これにより、遠赤外画像データの階調の明暗を反転させる特性を変更することにより、物体識別に至適な反転画像データを生成することが可能となる。 As a result, it is possible to generate inverted image data that is optimal for object identification by changing the characteristic of inverting the brightness of the gradation of the far infrared image data.

第4の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、該同定した物体の位置情報を含む前記識別結果を出力し前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う。 In the fourth aspect, in any one of the first to third aspects, the object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data. The identification result including the position information of the identified object is output, and the object determination unit includes the position information of the object and the accuracy information in each of the far-infrared image data and the converted image data included in the identification result. The final object identification is performed based on.

これにより、遠赤外画像データ内の物体の位置及び当該物体の特定が容易となる。 This makes it easy to identify the position of the object and the object in the far-infrared image data.

第5の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、前記遠赤外画像データ及び前記変換画像データの各々における確度情報を該同定した前記遠赤外画像データ及び前記変換画像データの各々における物体の位置に対応付けたマッピング画像を前記識別結果として生成し、前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う。 In the fifth aspect, in any one of the first to third aspects, the object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data. , A mapping image in which the accuracy information in each of the far-infrared image data and the converted image data is associated with the position of the object in each of the identified far-infrared image data and the converted image data is generated as the identification result. Then, the object determination unit superimposes the mapping images generated from each of the far-infrared image data and the converted image data, thereby superimposing the identification result in the far-infrared image data and the identification result in the converted image data. And are integrated to perform final object identification.

前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合することにより、物体識別の精度が向上する。 By integrating the identification result in the far-infrared image data and the identification result in the converted image data, the accuracy of object identification is improved.

第6の態様は、第1の態様〜第5の態様のいずれか1つの態様において、前記学習データは、学習用の前記遠赤外画像データ、学習用の前記変換画像データ、及び学習用の可視光画像データの少なくともいずれかである。 A sixth aspect is, in any one of the first to fifth aspects, the learning data is the far-infrared image data for learning, the converted image data for learning, and the learning data. At least one of the visible light image data.

第7の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記撮影部は、周辺環境の可視光画像データをさらに取得し、前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する。 In the seventh aspect, in any one of the first to third aspects, the photographing unit further acquires visible light image data of the surrounding environment, and the object identification unit obtains the far infrared data. Information on identification of the type of object in each of the image data, the converted image data, and the visible light image data, and the reliability of the identification in each of the far infrared image data, the converted image data, and the visible light image data. The identification process for outputting the identification result including the accuracy information representing the above is executed, and the object determination unit finally identifies the object in the far-infrared image data based on the identification result by the object identification unit. ..

これにより、遠赤外画像の撮影画像データ及び変換画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別部であっても、物体識別を精度よく行うことが可能となる。 As a result, the identification results of the captured image data and the converted image data of the far-infrared image are integrated with the identification results in the visible light image data, and the reliability of the final object identification is determined, thereby determining the visible light image. Even the object identification unit learned from the data can perform object identification with high accuracy.

第8の態様は、第7の態様において、前記学習データは、学習用の前記可視光画像データである。 In the eighth aspect, in the seventh aspect, the learning data is the visible light image data for learning.

画像データにおいて歩行者等の物体を背景から精度よく識別できる、という効果を有する。 It has the effect of being able to accurately identify an object such as a pedestrian from the background in the image data.

本発明の第1実施形態に係る物体検出装置の一例を示したブロック図である。It is a block diagram which showed an example of the object detection apparatus which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る物体検出装置の処理の一例を示したフローチャートである。It is a flowchart which showed an example of the processing of the object detection apparatus which concerns on 1st Embodiment of this invention. (A)は、物体識別器による撮影画像データにおける物体識別の一例を、(B)は、物体識別器による反転画像データにおける物体識別の一例を各々示し、(C)は、撮影画像データにおける識別信頼度を抽出して作成される撮影画像データのマッピング画像の一例を、(D)は、反転画像データにおける識別信頼度を抽出して作成される反転画像データのマッピング画像の一例を、各々示し、(E)は、撮影画像データと反転画像データの各々における識別結果を統合の一例を示した概略図である。(A) shows an example of object identification in captured image data by an object classifier, (B) shows an example of object identification in inverted image data by an object classifier, and (C) shows an example of object identification in captured image data. An example of a mapping image of captured image data created by extracting the reliability is shown, and (D) shows an example of a mapping image of the inverted image data created by extracting the identification reliability in the inverted image data. , (E) are schematic views showing an example of integration of identification results in each of the captured image data and the inverted image data. 本発明の第2実施形態における、撮影画像データの階調の明暗の反転の説明図である。It is explanatory drawing of the inversion of the gradation of the photographed image data in the 2nd Embodiment of this invention. 本発明の第3実施形態に係る物体検出装置の一例を示したブロック図である。It is a block diagram which showed an example of the object detection apparatus which concerns on 3rd Embodiment of this invention. 本発明の第4実施形態に係る物体検出装置の一例を示した機能ブロック図である。It is a functional block diagram which showed an example of the object detection apparatus which concerns on 4th Embodiment of this invention.

[第1実施形態]
以下、図面を参照して本発明の第1実施形態の一例を詳細に説明する。
[First Embodiment]
Hereinafter, an example of the first embodiment of the present invention will be described in detail with reference to the drawings.

図1に示すように、本実施形態に係る物体検出装置100は、遠赤外カメラ10とコンピュータ20と含んでいる。遠赤外カメラ10は、車両に搭載され、車両の周辺を検知範囲とし、設定された測定パラメータ及び処理パラメータに従って検知範囲内の遠赤外画像データを取得し、取得した遠赤外画像データを映像信号としてコンピュータ20に出力すると共に、測定パラメータ及び処理パラメータの設定が外部から変更可能に構成されている。遠赤外カメラ10は、レンズ等の光学系と感光特性が遠赤外線に特化した撮像素子とを備えた一般的な遠赤外カメラ以外にも、遠赤外線に対応した単一フォトダイオード等をアレイ化した装置等でもよい。従って、遠赤外カメラ10は、物体の検出及び分類が可能な1次元的、2次元的な遠赤外画像データを取得可能で、当該遠赤外画像データの取得に影響を及ぼす測定パラメータ及び処理パラメータを変更可能な装置を全て含む。 As shown in FIG. 1, the object detection device 100 according to the present embodiment includes a far-infrared camera 10 and a computer 20. The far-infrared camera 10 is mounted on a vehicle, has a detection range around the vehicle, acquires far-infrared image data within the detection range according to set measurement parameters and processing parameters, and obtains the acquired far-infrared image data. It is configured to be output to the computer 20 as a video signal, and the measurement parameter and processing parameter settings can be changed from the outside. The far-infrared camera 10 includes a single photodiode or the like corresponding to far-infrared rays, in addition to a general far-infrared camera equipped with an optical system such as a lens and an imaging element having a photosensitive characteristic specialized for far-infrared rays. It may be an arrayed device or the like. Therefore, the far-infrared camera 10 can acquire one-dimensional and two-dimensional far-infrared image data capable of detecting and classifying an object, and has measurement parameters and measurement parameters that affect the acquisition of the far-infrared image data. Includes all devices whose processing parameters can be changed.

一例として、遠赤外カメラ10は、レンズ等の光学系と受光の強度に応じた信号を出力する撮像素子とを含むセンサデバイスと、センサデバイスが出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器とを含む。遠赤外カメラ10の測定パラメータとしては、センサデバイスに対するシャッタ速度(露光時間)、ゲイン(感度)、画角、絞り(Fナンバー)、フォーカス(焦点)及びフレームレート(測定周期)等である。 As an example, the far-infrared camera 10 has a sensor device including an optical system such as a lens and an image sensor that outputs a signal according to the intensity of light reception, and a so-called image that converts the signal output by the sensor device into an image file. Includes a pretreatment device that is an engine. The measurement parameters of the far-infrared camera 10 include shutter speed (exposure time), gain (sensitivity), angle of view, aperture (F number), focus (focus), frame rate (measurement cycle), and the like with respect to the sensor device.

前処理器に対する処理パラメータは、ホワイトバランス、コントラスト、空間解像度(画素数)、などが挙げられる。 Processing parameters for the preprocessing device include white balance, contrast, spatial resolution (number of pixels), and the like.

センサデバイスと前処理器とが一体で構成されている場合は、ホワイトバランス等の処理をセンサデバイスで行うことと同義となる。また、フレームレートの変更をセンサデバイスでのフレームの間引きであるコマ落としで行うことも可能な場合があるので、測定パラメータと処理パラメータとを峻別することが困難となる。従って、測定パラメータと処理パラメータとを特段区別せずに扱ってもよい。 When the sensor device and the preprocessing device are integrally configured, it is synonymous with performing processing such as white balance on the sensor device. Further, since it may be possible to change the frame rate by time-lapse, which is the thinning of frames in the sensor device, it becomes difficult to distinguish between the measurement parameter and the processing parameter. Therefore, the measurement parameter and the processing parameter may be treated without any particular distinction.

コンピュータ20は、CPU、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。コンピュータ20は、機能的には、遠赤外カメラ10で取得した遠赤外画像データ(以下、「撮影画像データ」と称する)が入力され、当該遠赤外画像データの反転画像データを生成する画像処理を行う画像前処理部22と、撮影画像データ及び反転画像データ内の物体の種類を推定する物体識別を行う物体識別器24と、撮影画像データ及び反転画像データの各々における物体識別結果を統合した識別結果を出力する画像後処理部26とを含んで構成される。 The computer 20 includes a CPU, a memory, a non-volatile storage unit that stores programs for executing various processes, a network interface, and the like. Functionally, the computer 20 receives far-infrared image data (hereinafter referred to as “captured image data”) acquired by the far-infrared camera 10 and generates inverted image data of the far-infrared image data. The image preprocessing unit 22 that performs image processing, the object classifier 24 that performs object identification that estimates the type of object in the captured image data and the inverted image data, and the object identification results in each of the captured image data and the inverted image data. It includes an image post-processing unit 26 that outputs an integrated identification result.

画像前処理部22は、記憶装置である画像メモリを備え、撮影画像データをそのまま画像メモリに記憶すると共に、撮影画像データの階調の明暗を反転させた反転画像データを作成して画像メモリに記憶する。 The image preprocessing unit 22 is provided with an image memory which is a storage device, stores the captured image data as it is in the image memory, and creates inverted image data in which the gradation of the captured image data is inverted to be stored in the image memory. Remember.

物体識別器24は、画像前処理部22の画像メモリに記憶された撮影画像データ及び反転画像データの各々について路面等の背景から歩行者等の物体を識別する物体識別を行う。 The object classifier 24 identifies an object such as a pedestrian from a background such as a road surface for each of the captured image data and the inverted image data stored in the image memory of the image preprocessing unit 22.

物体識別器24は、学習データを用いて予め学習されたものであり、一例として、DNN(Deep Neural Network)に基づいた信号処理を行う。また、物体識別器24を学習するための学習データとして、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いる。物体識別器24を学習するための学習データは、可視光画像データを用いてもよい。 The object classifier 24 has been trained in advance using the training data, and as an example, performs signal processing based on a DNN (Deep Neural Network). Further, as learning data for learning the object classifier 24, photographed image data and inverted image data in which the positions of objects such as pedestrians are assigned in advance are used. Visible light image data may be used as the learning data for learning the object classifier 24.

画像後処理部26は、物体識別器24での撮影画像データ及び反転画像データの各々についての物体識別の結果を統合して物体識別結果として出力する。識別結果の統合は、後述するように、一例として、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定し、最終的な物体識別を行う。 The image post-processing unit 26 integrates the object identification results for each of the captured image data and the inverted image data of the object classifier 24 and outputs the object identification results. As described later, the integration of the identification results is performed by superimposing the identification result of the captured image data and the identification result of the inverted image data and adding the reliability of the identification associated with each identification result. Based on the numerical values obtained above, the reliability of object identification is determined, and final object identification is performed.

図2は、本実施形態に係る物体検出装置100の処理の一例を示したフローチャートである。学習データとしての、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いて、物体識別器24が予め学習されているものとする。 FIG. 2 is a flowchart showing an example of processing of the object detection device 100 according to the present embodiment. It is assumed that the object classifier 24 has been trained in advance by using the photographed image data and the inverted image data in which the positions of objects such as pedestrians are given in advance as the training data.

ステップ200では、遠赤外カメラ10により例えば車両前方の走行路を撮影する等により、車両周辺の遠赤外画像データを取得する。取得した遠赤外画像データは撮影画像データとして画像前処理部22の画像メモリに記憶する。 In step 200, far-infrared image data around the vehicle is acquired by, for example, photographing the traveling path in front of the vehicle with the far-infrared camera 10. The acquired far-infrared image data is stored in the image memory of the image preprocessing unit 22 as captured image data.

ステップ204では、画像前処理部22において、撮影画像データの階調の明暗を反転させた反転画像データを作成し、画像メモリに記憶する。 In step 204, the image preprocessing unit 22 creates inverted image data in which the contrast of the gradation of the captured image data is inverted and stores it in the image memory.

ステップ206では、画像前処理部22の画像メモリに記憶された撮影画像データと反転画像データの各々を物体識別器24に入力し、物体識別器24で各々の画像データについての識別結果を出力する。 In step 206, each of the captured image data and the inverted image data stored in the image memory of the image preprocessing unit 22 is input to the object classifier 24, and the object classifier 24 outputs the identification result for each image data. ..

ステップ208では、画像後処理部26で、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得る。そして、ステップ210では、ステップ208で得た最終的な識別結果を出力して処理を終了する。 In step 208, the image post-processing unit 26 integrates the identification results of the captured image data and the inverted image data to obtain the final identification result. Then, in step 210, the final identification result obtained in step 208 is output to end the process.

図3は、物体識別器24における物体識別の一例と、画像後処理部26における識別結果の統合の一例を各々示した説明図である。図3(A)は、物体識別器24による撮影画像データにおける物体識別の一例を、図3(B)は、物体識別器24による反転画像データにおける物体識別の一例を各々示している。図3(A)に示したように、撮影画像データにおける物体識別では、車が識別信頼度70%で識別されると共に、人が識別信頼度40%で識別されている。また、図3(B)に示したように、反転画像データにおける物体識別では、車が識別信頼度50%で識別されると共に、人が識別信頼度80%で識別されている。 FIG. 3 is an explanatory diagram showing an example of object identification in the object classifier 24 and an example of integration of identification results in the image post-processing unit 26. FIG. 3A shows an example of object identification in the captured image data by the object classifier 24, and FIG. 3B shows an example of object identification in the inverted image data by the object classifier 24. As shown in FIG. 3A, in the object identification in the photographed image data, the car is identified with the identification reliability of 70%, and the person is identified with the identification reliability of 40%. Further, as shown in FIG. 3B, in the object identification in the inverted image data, the car is identified with the identification reliability of 50%, and the person is identified with the identification reliability of 80%.

図3(C)は、撮影画像データにおける識別信頼度を抽出して作成される撮影画像データのマッピング画像の一例を、図3(D)は、反転画像データにおける識別信頼度を抽出して作成される反転画像データのマッピング画像の一例を、各々示した概略図である。図3(C)及び図3(D)に各々示したマッピング画像は、例えば物体識別器24で作成され、撮影画像及び反転画像の各々において同定された物体の位置に相当する領域に識別信頼度が対応付けられる。 FIG. 3C is an example of a mapping image of the captured image data created by extracting the identification reliability in the captured image data, and FIG. 3D is created by extracting the identification reliability in the inverted image data. It is the schematic which showed an example of the mapping image of the inverted image data to be done, respectively. The mapping images shown in FIGS. 3 (C) and 3 (D) are created by, for example, the object classifier 24, and the identification reliability is determined in the region corresponding to the position of the object identified in each of the photographed image and the inverted image. Is associated with.

図3(C)に示したように、撮影画像データにおける物体識別では、車は高い信頼度で識別できているものの、人の識別信頼度は低くなっている。また、図3(D)に示したように、反転画像データにおける物体識別では、人は高い信頼度で識別できているものの、車の識別信頼度は低くなっている。本実施形態では、前述のように、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得ることにより、車及び人等の物体を背景から精度よく識別する。 As shown in FIG. 3C, in the object identification in the photographed image data, although the car can be identified with high reliability, the identification reliability of the person is low. Further, as shown in FIG. 3D, in the object identification in the inverted image data, although the person can be identified with high reliability, the identification reliability of the car is low. In the present embodiment, as described above, by integrating the identification results of each of the photographed image data and the inverted image data to obtain the final identification result, an object such as a car or a person is accurately identified from the background.

図3(E)は、撮影画像データと反転画像データの各々における識別結果を統合の一例を示した概略図である。本実施形態では、一例として、撮影画像データ及び反転画像データの各々から生成したマッピング画像同士を重ね合わせることにより、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。図3(E)では、重ね合わせた部分はハッチングを付して示している。図3(E)において、ハッチングで示した領域の識別信頼度は、撮影画像データと反転画像データの各々における識別信頼度の合計である。合計した識別信頼度は、車で120%、人で120%であり、物体識別の信頼度がかなりの程度で高いことを示し、遠赤外画像の背景から歩行者等の物体を精度よく識別することができる。 FIG. 3 (E) is a schematic view showing an example of integration of identification results in each of the captured image data and the inverted image data. In the present embodiment, as an example, by superimposing the mapping images generated from each of the captured image data and the inverted image data, the identification result of the captured image data and the identification result of the inverted image data are superimposed, and each of them is superimposed. The reliability of object identification is determined based on the numerical value obtained by adding the reliability of identification associated with the identification result of. In FIG. 3 (E), the overlapped portion is shown with hatching. In FIG. 3E, the identification reliability of the region shown by hatching is the total of the identification reliability of each of the photographed image data and the inverted image data. The total identification reliability is 120% for cars and 120% for people, indicating that the reliability of object identification is fairly high, and accurately identifies objects such as pedestrians from the background of far-infrared images. can do.

以上説明したように、本実施形態では、通常の遠赤外画像の輝度画像データに加えて、輝度値の明暗を反転させた反転画像データを追加することにより、通常の輝度画像データのみでは物体検出ができない場合においても、物体検出することが可能になる。 As described above, in the present embodiment, by adding the inverted image data in which the brightness value is inverted in addition to the brightness image data of the normal far-infrared image, the object is only the normal brightness image data. Even when detection is not possible, it is possible to detect an object.

前述のように、遠赤外画像の特徴として、夏と冬とでは、歩行者と背景(主に道路)との明暗が逆転する。従って、遠赤外画像データを用いて装置を学習させる場合、かかる広範囲な温度環境に対応した学習データを準備することが求められる。しかしながら、広範囲な温度環境に対応した学習データの準備には、膨大な時間、コスト及び労力を要し、事実上は困難と考えられる。 As described above, as a feature of far-infrared images, the brightness of pedestrians and the background (mainly roads) is reversed between summer and winter. Therefore, when the device is trained using the far-infrared image data, it is required to prepare the training data corresponding to such a wide range of temperature environments. However, it takes a huge amount of time, cost, and labor to prepare learning data corresponding to a wide range of temperature environments, and it is considered to be practically difficult.

本実施形態では、撮影画像データの反転画像データを生成して、撮影画像データ及び反転画像データを共に物体識別器24に入力する。物体識別器24は、季節を問わない学習データで学習済みであり、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行う。前述のように、遠赤外画像は、夏と冬とでは、歩行者と背景との明暗が逆転するが、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行うのであれば、撮影画像データ及び反転画像データのいずれかにおいて、良好な物体識別の結果が期待できる可能性がある。従って、本実施形態では、季節に応じて異なる学習データを用いて物体識別器24を再学習することを要しない。 In the present embodiment, the inverted image data of the captured image data is generated, and both the captured image data and the inverted image data are input to the object classifier 24. The object classifier 24 has been trained with training data regardless of the season, and performs object identification based on the same training data for each of the captured image data and the inverted image data. As described above, in the far-infrared image, the brightness of the pedestrian and the background is reversed in summer and winter, but the captured image data and the inverted image data are each identified as an object based on the same learning data. If there is, there is a possibility that good object identification results can be expected in either the captured image data or the inverted image data. Therefore, in the present embodiment, it is not necessary to relearn the object classifier 24 using different learning data depending on the season.

[第2実施形態]
続いて本発明の第2実施形態について説明する。図4は、本実施形態における、撮影画像データの階調の明暗の反転の説明図である。本実施形態は、画像前処理部22での撮影画像データから反転画像データの生成において第1実施形態と相違するが、その他については第1実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。
[Second Embodiment]
Subsequently, the second embodiment of the present invention will be described. FIG. 4 is an explanatory diagram of inversion of the gradation of the captured image data in the present embodiment. This embodiment is different from the first embodiment in the generation of inverted image data from the captured image data by the image preprocessing unit 22, but is the same as the first embodiment in other respects, so that the same configuration has the same reference numerals. A detailed description will be omitted.

第1実施形態では、画像前処理部22において、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成した。図4の傾き=−1で示した直線は、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合の撮影画像データの階調と、反転画像データの階調との対応を示している。傾き=−1の場合は、例えば、撮影画像データの最も明るい画素は、反転画像データで最も暗い画素となり、撮影画像データの最も暗い画素は、反転画像データで最も明るい画素となる。 In the first embodiment, the image preprocessing unit 22 simply inverts the contrast of the gradation of the captured image data to generate the inverted image data. The straight line shown by the inclination = -1 in FIG. 4 shows the gradation of the captured image data when the contrast of the gradation of the captured image data is simply inverted to generate the inverted image data, and the gradation of the inverted image data. Indicates the correspondence of. When the inclination = -1, for example, the brightest pixel of the captured image data is the darkest pixel of the inverted image data, and the darkest pixel of the captured image data is the brightest pixel of the inverted image data.

本実施形態では、傾き≦−1又は傾き≧−1で示した直線のような特性で撮影画像データから反転画像データを生成する。傾き≦−1又は傾き≧−1で示した直線のような特性で撮影画像データから反転画像データを生成する場合、撮影画像データの暗い画素に対応する反転画像データの画素のコントラストを、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合よりも向上させることができる。例えば、図4に示したような傾き≦−1の特性で撮影画像データから反転画像データを生成する場合、特性を示す実線と図4の横軸との交点が示す輝度値から撮影画像データの最大輝度値を各々示す画素の輝度値は、反転画像データにおいて最も輝度値が小さい、すなわち最も暗い画素に変換される。その結果、生成される反転画像データは、傾き=−1の特性で生成される反転画像データよりも暗部が顕著な画像を示す。また、傾き≧−1の特性で撮影画像データから反転画像データを生成する場合、生成される反転画像データは、傾き=−1の特性で生成される反転画像データよりも明部が顕著な画像を示す。 In the present embodiment, the inverted image data is generated from the captured image data with characteristics such as a straight line shown by the inclination ≤ -1 or the inclination ≥ -1. When the inverted image data is generated from the captured image data with characteristics such as a straight line indicated by tilt ≤ -1 or tilt ≥ -1, the contrast of the pixels of the inverted image data corresponding to the dark pixels of the captured image data is determined by the captured image. It can be improved as compared with the case where the contrast of the gradation of the data is simply inverted to generate the inverted image data. For example, when the inverted image data is generated from the captured image data with the characteristic of inclination ≤ -1 as shown in FIG. 4, the captured image data is obtained from the luminance value indicated by the intersection of the solid line showing the characteristic and the horizontal axis of FIG. The brightness value of each pixel showing the maximum brightness value is converted into the pixel having the smallest brightness value, that is, the darkest pixel in the inverted image data. As a result, the generated inverted image data shows an image in which the dark part is more remarkable than the inverted image data generated with the characteristic of inclination = -1. Further, when the inverted image data is generated from the captured image data with the characteristic of inclination ≧ -1, the generated inverted image data is an image in which the bright part is more remarkable than the inverted image data generated with the characteristic of inclination = -1. Is shown.

撮影画像データの階調の明暗を反転させる特性は、図4に示したような直線ではなく、上に凸な曲線、又は下に凸な曲線であってもよい。本実施形態では、直線状、又は曲線状を問わず、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データを反転画像データに変換してもよい。 The characteristic of reversing the lightness and darkness of the gradation of the captured image data may be an upwardly convex curve or a downwardly convex curve instead of the straight line shown in FIG. In the present embodiment, the captured image data is converted into the inverted image data based on the correspondence between the predetermined gradation of the captured image data and the gradation of the inverted image data regardless of whether it is linear or curved. You may.

前述のように、撮影画像と反転画像との各々の識別結果は、車及び人といった物体の違によって異なる場合が考えられる。図4に示したように、撮影画像データの階調の明暗を反転させる特性を変更することにより、物体識別の精度を向上させることが可能となる。 As described above, the identification results of the photographed image and the inverted image may differ depending on the difference between objects such as a car and a person. As shown in FIG. 4, it is possible to improve the accuracy of object identification by changing the characteristic of reversing the brightness of the gradation of the captured image data.

物体識別の精度を向上させるには、物体検出装置100の学習データを改善する等の手法が考えられるが、新たな学習データの準備と当該画像データによる物体検出装置100の学習は煩雑でコストもかかる。しかしながら、撮影画像データの階調の明暗を反転させる特性を図4に示したように変更することは、比較的容易である。従って、本実施形態によれば、新たな学習データで装置を再学習させる場合よりも、容易に物体識別の精度を向上させることができる。 In order to improve the accuracy of object identification, a method such as improving the learning data of the object detection device 100 can be considered, but preparation of new learning data and learning of the object detection device 100 using the image data are complicated and costly. It takes. However, it is relatively easy to change the characteristic of reversing the brightness of the gradation of the captured image data as shown in FIG. Therefore, according to the present embodiment, the accuracy of object identification can be easily improved as compared with the case where the device is relearned with new learning data.

[第3実施形態]
続いて本発明の第3実施形態について説明する。図5は、本実施形態に係る物体検出装置200の一例を示したブロック図である。本実施形態は、可視光画像を取得する可視光カメラ12と、可視光画像を用いて学習された物体識別器124を備えるコンピュータ120とを有する点で第1実施形態と相違するが、その他については第1実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。
[Third Embodiment]
Subsequently, a third embodiment of the present invention will be described. FIG. 5 is a block diagram showing an example of the object detection device 200 according to the present embodiment. The present embodiment differs from the first embodiment in that it has a visible light camera 12 that acquires a visible light image and a computer 120 that includes an object classifier 124 that has been trained using the visible light image. Is the same as that of the first embodiment, so that the same configuration is designated by the same reference numerals and detailed description thereof will be omitted.

画像前処理部122で、遠赤外カメラ10で取得した撮影画像データから反転画像データを生成し、生成した反転画像データと撮影画像データとが物体識別器124に入力されるのは、第1実施形態と同様である。本実施形態では、物体識別器124には、遠赤外カメラで取得した撮影画像データ及び当該撮影画像データから生成した反転画像データのみならず、可視光カメラ12で取得した可視光画像データも入力される。 The image preprocessing unit 122 generates inverted image data from the captured image data acquired by the far-infrared camera 10, and the generated inverted image data and captured image data are input to the object classifier 124. It is the same as the embodiment. In the present embodiment, not only the captured image data acquired by the far-infrared camera and the inverted image data generated from the captured image data, but also the visible light image data acquired by the visible light camera 12 is input to the object classifier 124. Will be done.

物体識別器124は、画像前処理部122から入力された遠赤外カメラ10の撮影画像データ、遠赤外画像の反転画像データ、及び可視光カメラ12から入力された可視光画像データの各々について物体識別を行う。 The object classifier 124 describes each of the captured image data of the far-infrared camera 10 input from the image preprocessing unit 122, the inverted image data of the far-infrared image, and the visible light image data input from the visible light camera 12. Perform object identification.

物体識別器124は、学習データを用いて予め学習されたものであり、一例として、DNNに基づいた信号処理を行う。また、物体識別器124を学習するための学習データとして、歩行者等の物体の位置が予め付与された可視光画像データを用いる。なお、学習データとして、更に、撮影画像データ及び反転画像データを用いてもよい。 The object classifier 124 has been trained in advance using the training data, and as an example, performs signal processing based on DNN. Further, as the learning data for learning the object classifier 124, visible light image data to which the position of an object such as a pedestrian is assigned in advance is used. Further, as the learning data, photographed image data and inverted image data may be used.

そして、画像後処理部126では、撮影画像データでの識別結果と反転画像データでの識別結果と可視光画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。 Then, the image post-processing unit 126 superimposes the identification result of the captured image data, the identification result of the inverted image data, and the identification result of the visible light image data, and the reliability of the identification associated with each identification result. The reliability of object identification is determined based on the numerical value obtained by adding the degrees.

一般に、車両の自動運転用の認識システムにおいては、物体識別器は可視光画像データを用いて学習される。可視光画像データを用いて学習された物体識別器を、遠赤外画像データの認識に使うことができれば、新たに遠赤外画像データに特化した物体認識器を用意する必要はなく、コスト的に有利である。可視光画像データで学習した物体認識器では、遠赤外画像の撮影画像データ及び反転画像データのどちらがより認識に適しているかは予想できないが、遠赤外画像の撮影画像データ及び反転画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別器であっても、物体識別を精度よく行うことが可能になる。また、本実施形態によれば、遠赤外画像データを用いた物体識別により、夜間での歩行者等の物体、又は遠方に存在する歩行者等の物体が、可視光画像データにおける物体識別よりも、より明瞭に識別できる。 Generally, in a recognition system for automatic driving of a vehicle, an object classifier is learned using visible light image data. If the object classifier learned using visible light image data can be used for recognition of far-infrared image data, there is no need to prepare a new object recognizer specialized for far-infrared image data, and the cost is high. It is advantageous. With the object recognizer learned from the visible light image data, it is not possible to predict which of the far-infrared image captured image data and the inverted image data is more suitable for recognition, but the far-infrared image captured image data and the inverted image data By integrating each identification result with the identification result in the visible light image data and determining the reliability of the final object identification, object identification can be performed even with an object classifier learned from the visible light image data. It becomes possible to do it with high accuracy. Further, according to the present embodiment, by object identification using far-infrared image data, an object such as a pedestrian at night or an object such as a pedestrian existing in a distant place can be identified by object identification in visible light image data. Can be identified more clearly.

[第4実施形態]
続いて本発明の第4実施形態について説明する。図6は、本実施形態に係る物体検出装置の一例を示した機能ブロック図である。本実施形態は、撮影画像データ及び反転画像データに加えて反転画像データの例えば画像中央部から切り出した所定の画素数の矩形領域の画像データを物体識別器224に入力して、物体識別を行う。
[Fourth Embodiment]
Subsequently, a fourth embodiment of the present invention will be described. FIG. 6 is a functional block diagram showing an example of the object detection device according to the present embodiment. In the present embodiment, in addition to the captured image data and the inverted image data, the inverted image data, for example, the image data of a rectangular region having a predetermined number of pixels cut out from the center of the image is input to the object classifier 224 to identify the object. ..

撮影画像データ及び反転画像データの画像中央部には、遠赤外カメラ10からの距離が遠い物体、又はサイズが小さい物体が存在する可能性が高い。本実施形態では、図8に示したような、反転画像データの画像中央部付近の矩形領域から切り出した画像データも物体識別に供することにより、遠赤外カメラ10から遠方に存在する物体、又は歩行者のようなサイズが小さい物体を精度よく識別することができる。 There is a high possibility that an object far from the far-infrared camera 10 or an object having a small size exists in the central portion of the captured image data and the inverted image data. In the present embodiment, the image data cut out from the rectangular region near the center of the image of the inverted image data as shown in FIG. 8 is also used for object identification, so that an object existing far from the far infrared camera 10 or an object or an object existing far from the far infrared camera 10 or It is possible to accurately identify small objects such as pedestrians.

本実施形態では、撮影画像データに基づいた識別結果(1)、反転画像データに基づいた識別結果(2)、及び反転画像データの矩形領域の画像データに基づいた識別結果(3)の各々について、物体の分類、当該物体の位置、及び当該物体の識別の尤度を各々算出し、識別結果(1)、(2)、(3)を統合して、最終的な物体識別を行う。 In the present embodiment, each of the identification result (1) based on the captured image data, the identification result (2) based on the inverted image data, and the identification result (3) based on the image data in the rectangular region of the inverted image data. , The classification of the object, the position of the object, and the likelihood of identification of the object are calculated, and the identification results (1), (2), and (3) are integrated to perform the final object identification.

撮影画像データ、反転画像データ、及び反転画像データの矩形領域の画像データの各々は、各々重複した領域を含んでいる。かかる重複した領域における各々の画像に基づいた識別結果を総合的に判定することにより、物体識別の精度を担保できる。 Each of the captured image data, the inverted image data, and the image data of the rectangular region of the inverted image data includes an overlapping region. The accuracy of object identification can be ensured by comprehensively determining the identification result based on each image in the overlapping region.

本実施形態では、自車の進行方向上に相当する領域の画像データとして反転画像データの画像中央部付近の矩形領域から切り出した画像データから物体検出を行うことにより、車道上に存在する歩行者等をより高い精度で検出することが可能となる。 In the present embodiment, a pedestrian existing on the roadway is detected by detecting an object from the image data cut out from the rectangular area near the center of the image of the inverted image data as the image data of the area corresponding to the traveling direction of the own vehicle. Etc. can be detected with higher accuracy.

上述のように、第1実施形態では、撮影画像データの輝度値の明暗を反転させて反転換画像データを生成し、第2実施形態では、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データから反転画像データを生成した。しかしながら、本発明は、これらに限定されない。例えば、撮影画像データ及び反転画像データの各々にコントラスト強調、輪郭抽出などの前処理を行ってもよいし、かかる前処理に加えて、既知の他の画像処理方法を組み合わせてもよい。また、超解像処理等により撮影画像データ及び反転画像データの各々の解像度を拡大してもよい。 As described above, in the first embodiment, the brightness value of the captured image data is inverted to generate the anti-conversion image data, and in the second embodiment, the gradation of the captured image data and the inverted image are predetermined. Inverted image data was generated from the captured image data based on the correspondence with the gradation of the data. However, the present invention is not limited to these. For example, preprocessing such as contrast enhancement and contour extraction may be performed on each of the captured image data and the inverted image data, or in addition to such preprocessing, other known image processing methods may be combined. Further, the resolutions of the captured image data and the inverted image data may be enlarged by super-resolution processing or the like.

上記では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる態様を説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。 In the above, the mode in which the neural network model as an example of the model is trained by deep learning has been described, but the present invention is not limited to this. For example, another model different from the neural network model may be trained by another learning method different from deep learning.

10 遠赤外カメラ
12 可視光カメラ
20 コンピュータ
22 画像前処理部
24 物体識別器
26 画像後処理部
100 物体検出装置
120 コンピュータ
122 画像前処理部
124 物体識別器
126 画像後処理部
200 物体検出装置
10 Far-infrared camera 12 Visible light camera 20 Computer 22 Image pre-processing unit 24 Object classifier 26 Image post-processing unit 100 Object detection device 120 Computer 122 Image pre-processing unit 124 Object classifier 126 Image post-processing unit 200 Object detection device

Claims (8)

周辺環境の遠赤外画像データを取得する撮影部と、
前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、
前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、
前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、
を含む物体検出装置。
An imaging unit that acquires far-infrared image data of the surrounding environment,
An image processing unit that generates converted image data obtained by gradation-converting the far-infrared image data acquired by the photographing unit, and an image processing unit.
By performing object identification processing on each of the far-infrared image data and the converted image data based on the result learned in advance using the training data, the far-infrared image data and the converted image data are each subjected to the object identification process. An object identification unit that executes an identification process that outputs an identification result including information on identification of an object type and accuracy information indicating the reliability of the identification in each of the far-infrared image data and the converted image data.
An object determination unit that finally identifies an object in the far-infrared image data based on the identification result by the object identification unit, and an object determination unit.
Object detector including.
前記画像処理部は、前記撮影部で取得した遠赤外画像データの輝度値の明暗を反転させて前記変換画像データを生成する請求項1に記載の物体検出装置。 The object detection device according to claim 1, wherein the image processing unit inverts the brightness value of the far-infrared image data acquired by the photographing unit to generate the converted image data. 前記画像処理部は、予め定められた前記遠赤外画像データの階調と前記変換画像データの階調との対応関係に基づいて、前記遠赤外画像データから前記変換画像データを生成する請求項1に記載の物体検出装置。 The image processing unit is requested to generate the converted image data from the far-infrared image data based on a predetermined correspondence between the gradation of the far-infrared image data and the gradation of the converted image data. Item 2. The object detection device according to item 1. 前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、該同定した物体の位置情報を含む前記識別結果を出力し
前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う請求項1〜3のいずれか1項に記載の物体検出装置。
The object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data, and outputs the identification result including the position information of the identified object, and the object determination unit outputs the identification result including the position information of the identified object. The invention according to any one of claims 1 to 3, wherein the final object identification is performed based on the position information of the object and the accuracy information in each of the far-infrared image data and the converted image data included in the identification result. Object detector.
前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、前記遠赤外画像データ及び前記変換画像データの各々における確度情報を該同定した前記遠赤外画像データ及び前記変換画像データの各々における物体の位置に対応付けたマッピング画像を前記識別結果として生成し、
前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う請求項1〜3のいずれか1項に記載の物体検出装置。
The object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data, and identifies the accuracy information in each of the far-infrared image data and the converted image data. A mapping image associated with the position of the object in each of the infrared image data and the converted image data is generated as the identification result.
The object determination unit superimposes mapping images generated from each of the far-infrared image data and the converted image data to obtain an identification result in the far-infrared image data and an identification result in the converted image data. The object detection device according to any one of claims 1 to 3, wherein the object detection device is integrated to perform final object identification.
前記学習データは、学習用の前記遠赤外画像データ、学習用の前記変換画像データ、及び学習用の可視光画像データの少なくともいずれかである請求項1〜5のいずれか1項に記載の物体検出装置。 The learning data according to any one of claims 1 to 5, which is at least one of the far-infrared image data for learning, the converted image data for learning, and visible light image data for learning. Object detector. 前記撮影部は、周辺環境の可視光画像データをさらに取得し、
前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、
前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する請求項1〜3のいずれか1項に記載の物体検出装置。
The photographing unit further acquires visible light image data of the surrounding environment, and obtains the visible light image data.
The object identification unit includes information on identifying the type of object in each of the far-infrared image data, the converted image data, and the visible light image data, and the far-infrared image data, the converted image data, and the visible light. An identification process is executed to output an identification result including accuracy information indicating the reliability of the identification in each of the image data.
The object detection device according to any one of claims 1 to 3, wherein the object determination unit finally identifies an object in the far-infrared image data based on the identification result by the object identification unit.
前記学習データは、学習用の前記可視光画像データである請求項7に記載の物体検出装置。 The object detection device according to claim 7, wherein the learning data is the visible light image data for learning.
JP2020064398A 2020-03-31 2020-03-31 object detection device Active JP7400599B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020064398A JP7400599B2 (en) 2020-03-31 2020-03-31 object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020064398A JP7400599B2 (en) 2020-03-31 2020-03-31 object detection device

Publications (2)

Publication Number Publication Date
JP2021163222A true JP2021163222A (en) 2021-10-11
JP7400599B2 JP7400599B2 (en) 2023-12-19

Family

ID=78003507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020064398A Active JP7400599B2 (en) 2020-03-31 2020-03-31 object detection device

Country Status (1)

Country Link
JP (1) JP7400599B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303442A (en) 2004-04-07 2005-10-27 Honda Motor Co Ltd Vision assisting system for vehicle
WO2011024865A1 (en) 2009-08-27 2011-03-03 日本電気株式会社 Image target identification device, image target identification method, and image target identification program
CN103797528A (en) 2011-09-28 2014-05-14 本田技研工业株式会社 Biometric device

Also Published As

Publication number Publication date
JP7400599B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
JP5867807B2 (en) Vehicle identification device
JP4970516B2 (en) Surrounding confirmation support device
JP5423631B2 (en) Image recognition device
JP6819996B2 (en) Traffic signal recognition method and traffic signal recognition device
WO2016113983A1 (en) Image processing device, image processing method, program, and system
JP7268001B2 (en) Arithmetic processing unit, object identification system, learning method, automobile, vehicle lamp
JP5223675B2 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
CN109409186B (en) Driver assistance system and method for object detection and notification
CN111325769B (en) Target object detection method and device
JP5071198B2 (en) Signal recognition device, signal recognition method, and signal recognition program
CN106686280A (en) Image repairing system and method thereof
CN111965636A (en) Night target detection method based on millimeter wave radar and vision fusion
KR101553589B1 (en) Appratus and method for improvement of low level image and restoration of smear based on adaptive probability in license plate recognition system
US20240029444A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
KR102338912B1 (en) Recognition method of vehicles license plate using super resolution
CN114266993A (en) Image-based road environment detection method and device
JP5083164B2 (en) Image processing apparatus and image processing method
CN113255797B (en) Dangerous goods detection method and system based on deep learning model
CN117496319A (en) All-weather target detection system and method based on unregistered bimodal image fusion
JP4668863B2 (en) Imaging device
JP7400599B2 (en) object detection device
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
JP6825299B2 (en) Information processing equipment, information processing methods and programs
JP2023548127A (en) Correcting camera images in the presence of rain, intruding light and dirt
JP6874315B2 (en) Information processing equipment, information processing methods and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R150 Certificate of patent or registration of utility model

Ref document number: 7400599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150