JP2021163222A - Object detection apparatus - Google Patents
Object detection apparatus Download PDFInfo
- Publication number
- JP2021163222A JP2021163222A JP2020064398A JP2020064398A JP2021163222A JP 2021163222 A JP2021163222 A JP 2021163222A JP 2020064398 A JP2020064398 A JP 2020064398A JP 2020064398 A JP2020064398 A JP 2020064398A JP 2021163222 A JP2021163222 A JP 2021163222A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- far
- identification
- infrared
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 17
- 238000012805 post-processing Methods 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Abstract
Description
本発明は物体検出装置に関する。 The present invention relates to an object detection device.
特許文献1には、遠赤外線画像等の輝度値のレベルシフトによるシフト画像の生成、当該画像の反転画像の生成、及びシフト画像の各々の画素の輝度値を反転画像の対応する画素の輝度値で減算又は除算することにより画像のコントラストを拡大して、歩行者等の物体と背景との識別を容易にする技術が開示されている。 Patent Document 1 describes the generation of a shift image by level-shifting the brightness value of a far-infrared image or the like, the generation of an inverted image of the image, and the brightness value of each pixel of the shifted image as the brightness value of the corresponding pixel of the inverted image. Disclosed is a technique for enlarging the contrast of an image by subtracting or dividing with, and facilitating the distinction between an object such as a pedestrian and the background.
特許文献2には、遠赤外線画像を検出対象画像として用いるときは、温度が高い人の領域の輝度値が大きくなり、人と比べて温度が低い周辺領域の輝度が小さくなることを利用して遠赤外線画像から人物等を検出する人物検出装置の発明が開示されている。
しかしながら、遠赤外画像は、夏と冬とでは、歩行者と道路等の背景との明暗が逆転する。従って、特許文献2に開示された技術によって年間を通じて遠赤外線画像から歩行者と背景との識別の精度を担保するには、季節に応じた学習データを準備し、当該学習データによって装置を学習させることが望ましいが、当該学習データの準備及び装置の学習に多大なコストと労力とを要するという問題があった。
However, in the far-infrared image, the brightness of the pedestrian and the background of the road or the like is reversed between summer and winter. Therefore, in order to ensure the accuracy of discrimination between the pedestrian and the background from the far-infrared image by the technique disclosed in
また、特許文献1に開示された技術は、背景が、海又は空等のように、一定の輝度範囲内に入るようなテクスチャの少ない画像であれば有効であるが、走行時の路面、道路周辺の建造物、又は森林等が背景として混在する場合、背景と物体とのコントラストを効果的に強調することが困難であるという問題があった。 Further, the technique disclosed in Patent Document 1 is effective if the background is an image with few textures such as the sea or the sky that falls within a certain brightness range, but the road surface and road during traveling are effective. When surrounding buildings or forests coexist as a background, there is a problem that it is difficult to effectively emphasize the contrast between the background and an object.
本発明は上記事実を考慮して成されたもので、画像データにおいて歩行者等の物体を背景から精度よく識別できる物体検出装置を得ることが目的である。 The present invention has been made in consideration of the above facts, and an object of the present invention is to obtain an object detection device capable of accurately identifying an object such as a pedestrian from the background in image data.
第1の態様に係る物体検出装置は、周辺環境の遠赤外画像データを取得する撮影部と、前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、を含んでいる。 The object detection device according to the first aspect is an image processing unit that acquires far-infrared image data of the surrounding environment and an image process that generates converted image data obtained by gradation-converting the far-infrared image data acquired by the photographing unit. The far-infrared image data and the converted image data are obtained by performing object identification processing based on the results previously learned using the training data for each of the unit, the far-infrared image data, and the converted image data. Object identification that executes an identification process that outputs an identification result including information on identification of the type of object in each of the above and accuracy information indicating the reliability of the identification in each of the far-infrared image data and the converted image data. A unit and an object determination unit that finally identifies an object in the far-infrared image data based on the identification result by the object identification unit are included.
遠赤外画像は、夏と冬とでは、歩行者等の物体と背景(主に道路)との明暗が逆転するが、第1の態様では、撮影画像データ及び撮影画像データを階調変換して得た変換画像データの各々について同じ学習データに基づいた物体識別を行うことにより、おデータ及び変換画像データのいずれかにおいて、良好な物体識別の結果を得ることができる。 In the far-infrared image, the brightness of an object such as a pedestrian and the background (mainly a road) is reversed between summer and winter, but in the first aspect, the captured image data and the captured image data are gradation-converted. By performing object identification based on the same learning data for each of the converted image data obtained in the above, a good object identification result can be obtained in either the data or the converted image data.
第2の態様は、第1の態様において、前記画像処理部は、前記撮影部で取得した遠赤外画像データの輝度値の明暗を反転させて前記変換画像データを生成する。 In the second aspect, in the first aspect, the image processing unit generates the converted image data by inverting the brightness value of the far infrared image data acquired by the photographing unit.
これにより、夏と冬とでは、物体と背景との明暗が逆転する遠赤外画像データの特性に対応した物体識別が可能となる。 As a result, in summer and winter, it is possible to identify an object corresponding to the characteristics of far-infrared image data in which the light and darkness of the object and the background are reversed.
第3の態様は、第1の態様において、前記画像処理部は、予め定められた前記遠赤外画像データの階調と前記変換画像データの階調との対応関係に基づいて、前記遠赤外画像データから前記変換画像データを生成する。 In the third aspect, in the first aspect, the image processing unit uses the far-infrared image based on the correspondence between the predetermined gradation of the far-infrared image data and the gradation of the converted image data. The converted image data is generated from the external image data.
これにより、遠赤外画像データの階調の明暗を反転させる特性を変更することにより、物体識別に至適な反転画像データを生成することが可能となる。 As a result, it is possible to generate inverted image data that is optimal for object identification by changing the characteristic of inverting the brightness of the gradation of the far infrared image data.
第4の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、該同定した物体の位置情報を含む前記識別結果を出力し前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う。 In the fourth aspect, in any one of the first to third aspects, the object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data. The identification result including the position information of the identified object is output, and the object determination unit includes the position information of the object and the accuracy information in each of the far-infrared image data and the converted image data included in the identification result. The final object identification is performed based on.
これにより、遠赤外画像データ内の物体の位置及び当該物体の特定が容易となる。 This makes it easy to identify the position of the object and the object in the far-infrared image data.
第5の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、前記遠赤外画像データ及び前記変換画像データの各々における確度情報を該同定した前記遠赤外画像データ及び前記変換画像データの各々における物体の位置に対応付けたマッピング画像を前記識別結果として生成し、前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う。 In the fifth aspect, in any one of the first to third aspects, the object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data. , A mapping image in which the accuracy information in each of the far-infrared image data and the converted image data is associated with the position of the object in each of the identified far-infrared image data and the converted image data is generated as the identification result. Then, the object determination unit superimposes the mapping images generated from each of the far-infrared image data and the converted image data, thereby superimposing the identification result in the far-infrared image data and the identification result in the converted image data. And are integrated to perform final object identification.
前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合することにより、物体識別の精度が向上する。 By integrating the identification result in the far-infrared image data and the identification result in the converted image data, the accuracy of object identification is improved.
第6の態様は、第1の態様〜第5の態様のいずれか1つの態様において、前記学習データは、学習用の前記遠赤外画像データ、学習用の前記変換画像データ、及び学習用の可視光画像データの少なくともいずれかである。 A sixth aspect is, in any one of the first to fifth aspects, the learning data is the far-infrared image data for learning, the converted image data for learning, and the learning data. At least one of the visible light image data.
第7の態様は、第1の態様〜第3の態様のいずれか1つの態様において、前記撮影部は、周辺環境の可視光画像データをさらに取得し、前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する。 In the seventh aspect, in any one of the first to third aspects, the photographing unit further acquires visible light image data of the surrounding environment, and the object identification unit obtains the far infrared data. Information on identification of the type of object in each of the image data, the converted image data, and the visible light image data, and the reliability of the identification in each of the far infrared image data, the converted image data, and the visible light image data. The identification process for outputting the identification result including the accuracy information representing the above is executed, and the object determination unit finally identifies the object in the far-infrared image data based on the identification result by the object identification unit. ..
これにより、遠赤外画像の撮影画像データ及び変換画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別部であっても、物体識別を精度よく行うことが可能となる。 As a result, the identification results of the captured image data and the converted image data of the far-infrared image are integrated with the identification results in the visible light image data, and the reliability of the final object identification is determined, thereby determining the visible light image. Even the object identification unit learned from the data can perform object identification with high accuracy.
第8の態様は、第7の態様において、前記学習データは、学習用の前記可視光画像データである。 In the eighth aspect, in the seventh aspect, the learning data is the visible light image data for learning.
画像データにおいて歩行者等の物体を背景から精度よく識別できる、という効果を有する。 It has the effect of being able to accurately identify an object such as a pedestrian from the background in the image data.
[第1実施形態]
以下、図面を参照して本発明の第1実施形態の一例を詳細に説明する。
[First Embodiment]
Hereinafter, an example of the first embodiment of the present invention will be described in detail with reference to the drawings.
図1に示すように、本実施形態に係る物体検出装置100は、遠赤外カメラ10とコンピュータ20と含んでいる。遠赤外カメラ10は、車両に搭載され、車両の周辺を検知範囲とし、設定された測定パラメータ及び処理パラメータに従って検知範囲内の遠赤外画像データを取得し、取得した遠赤外画像データを映像信号としてコンピュータ20に出力すると共に、測定パラメータ及び処理パラメータの設定が外部から変更可能に構成されている。遠赤外カメラ10は、レンズ等の光学系と感光特性が遠赤外線に特化した撮像素子とを備えた一般的な遠赤外カメラ以外にも、遠赤外線に対応した単一フォトダイオード等をアレイ化した装置等でもよい。従って、遠赤外カメラ10は、物体の検出及び分類が可能な1次元的、2次元的な遠赤外画像データを取得可能で、当該遠赤外画像データの取得に影響を及ぼす測定パラメータ及び処理パラメータを変更可能な装置を全て含む。
As shown in FIG. 1, the
一例として、遠赤外カメラ10は、レンズ等の光学系と受光の強度に応じた信号を出力する撮像素子とを含むセンサデバイスと、センサデバイスが出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器とを含む。遠赤外カメラ10の測定パラメータとしては、センサデバイスに対するシャッタ速度(露光時間)、ゲイン(感度)、画角、絞り(Fナンバー)、フォーカス(焦点)及びフレームレート(測定周期)等である。
As an example, the far-
前処理器に対する処理パラメータは、ホワイトバランス、コントラスト、空間解像度(画素数)、などが挙げられる。 Processing parameters for the preprocessing device include white balance, contrast, spatial resolution (number of pixels), and the like.
センサデバイスと前処理器とが一体で構成されている場合は、ホワイトバランス等の処理をセンサデバイスで行うことと同義となる。また、フレームレートの変更をセンサデバイスでのフレームの間引きであるコマ落としで行うことも可能な場合があるので、測定パラメータと処理パラメータとを峻別することが困難となる。従って、測定パラメータと処理パラメータとを特段区別せずに扱ってもよい。 When the sensor device and the preprocessing device are integrally configured, it is synonymous with performing processing such as white balance on the sensor device. Further, since it may be possible to change the frame rate by time-lapse, which is the thinning of frames in the sensor device, it becomes difficult to distinguish between the measurement parameter and the processing parameter. Therefore, the measurement parameter and the processing parameter may be treated without any particular distinction.
コンピュータ20は、CPU、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。コンピュータ20は、機能的には、遠赤外カメラ10で取得した遠赤外画像データ(以下、「撮影画像データ」と称する)が入力され、当該遠赤外画像データの反転画像データを生成する画像処理を行う画像前処理部22と、撮影画像データ及び反転画像データ内の物体の種類を推定する物体識別を行う物体識別器24と、撮影画像データ及び反転画像データの各々における物体識別結果を統合した識別結果を出力する画像後処理部26とを含んで構成される。
The
画像前処理部22は、記憶装置である画像メモリを備え、撮影画像データをそのまま画像メモリに記憶すると共に、撮影画像データの階調の明暗を反転させた反転画像データを作成して画像メモリに記憶する。
The
物体識別器24は、画像前処理部22の画像メモリに記憶された撮影画像データ及び反転画像データの各々について路面等の背景から歩行者等の物体を識別する物体識別を行う。
The
物体識別器24は、学習データを用いて予め学習されたものであり、一例として、DNN(Deep Neural Network)に基づいた信号処理を行う。また、物体識別器24を学習するための学習データとして、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いる。物体識別器24を学習するための学習データは、可視光画像データを用いてもよい。
The
画像後処理部26は、物体識別器24での撮影画像データ及び反転画像データの各々についての物体識別の結果を統合して物体識別結果として出力する。識別結果の統合は、後述するように、一例として、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定し、最終的な物体識別を行う。
The
図2は、本実施形態に係る物体検出装置100の処理の一例を示したフローチャートである。学習データとしての、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いて、物体識別器24が予め学習されているものとする。
FIG. 2 is a flowchart showing an example of processing of the
ステップ200では、遠赤外カメラ10により例えば車両前方の走行路を撮影する等により、車両周辺の遠赤外画像データを取得する。取得した遠赤外画像データは撮影画像データとして画像前処理部22の画像メモリに記憶する。
In
ステップ204では、画像前処理部22において、撮影画像データの階調の明暗を反転させた反転画像データを作成し、画像メモリに記憶する。
In
ステップ206では、画像前処理部22の画像メモリに記憶された撮影画像データと反転画像データの各々を物体識別器24に入力し、物体識別器24で各々の画像データについての識別結果を出力する。
In
ステップ208では、画像後処理部26で、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得る。そして、ステップ210では、ステップ208で得た最終的な識別結果を出力して処理を終了する。
In
図3は、物体識別器24における物体識別の一例と、画像後処理部26における識別結果の統合の一例を各々示した説明図である。図3(A)は、物体識別器24による撮影画像データにおける物体識別の一例を、図3(B)は、物体識別器24による反転画像データにおける物体識別の一例を各々示している。図3(A)に示したように、撮影画像データにおける物体識別では、車が識別信頼度70%で識別されると共に、人が識別信頼度40%で識別されている。また、図3(B)に示したように、反転画像データにおける物体識別では、車が識別信頼度50%で識別されると共に、人が識別信頼度80%で識別されている。
FIG. 3 is an explanatory diagram showing an example of object identification in the
図3(C)は、撮影画像データにおける識別信頼度を抽出して作成される撮影画像データのマッピング画像の一例を、図3(D)は、反転画像データにおける識別信頼度を抽出して作成される反転画像データのマッピング画像の一例を、各々示した概略図である。図3(C)及び図3(D)に各々示したマッピング画像は、例えば物体識別器24で作成され、撮影画像及び反転画像の各々において同定された物体の位置に相当する領域に識別信頼度が対応付けられる。
FIG. 3C is an example of a mapping image of the captured image data created by extracting the identification reliability in the captured image data, and FIG. 3D is created by extracting the identification reliability in the inverted image data. It is the schematic which showed an example of the mapping image of the inverted image data to be done, respectively. The mapping images shown in FIGS. 3 (C) and 3 (D) are created by, for example, the
図3(C)に示したように、撮影画像データにおける物体識別では、車は高い信頼度で識別できているものの、人の識別信頼度は低くなっている。また、図3(D)に示したように、反転画像データにおける物体識別では、人は高い信頼度で識別できているものの、車の識別信頼度は低くなっている。本実施形態では、前述のように、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得ることにより、車及び人等の物体を背景から精度よく識別する。 As shown in FIG. 3C, in the object identification in the photographed image data, although the car can be identified with high reliability, the identification reliability of the person is low. Further, as shown in FIG. 3D, in the object identification in the inverted image data, although the person can be identified with high reliability, the identification reliability of the car is low. In the present embodiment, as described above, by integrating the identification results of each of the photographed image data and the inverted image data to obtain the final identification result, an object such as a car or a person is accurately identified from the background.
図3(E)は、撮影画像データと反転画像データの各々における識別結果を統合の一例を示した概略図である。本実施形態では、一例として、撮影画像データ及び反転画像データの各々から生成したマッピング画像同士を重ね合わせることにより、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。図3(E)では、重ね合わせた部分はハッチングを付して示している。図3(E)において、ハッチングで示した領域の識別信頼度は、撮影画像データと反転画像データの各々における識別信頼度の合計である。合計した識別信頼度は、車で120%、人で120%であり、物体識別の信頼度がかなりの程度で高いことを示し、遠赤外画像の背景から歩行者等の物体を精度よく識別することができる。 FIG. 3 (E) is a schematic view showing an example of integration of identification results in each of the captured image data and the inverted image data. In the present embodiment, as an example, by superimposing the mapping images generated from each of the captured image data and the inverted image data, the identification result of the captured image data and the identification result of the inverted image data are superimposed, and each of them is superimposed. The reliability of object identification is determined based on the numerical value obtained by adding the reliability of identification associated with the identification result of. In FIG. 3 (E), the overlapped portion is shown with hatching. In FIG. 3E, the identification reliability of the region shown by hatching is the total of the identification reliability of each of the photographed image data and the inverted image data. The total identification reliability is 120% for cars and 120% for people, indicating that the reliability of object identification is fairly high, and accurately identifies objects such as pedestrians from the background of far-infrared images. can do.
以上説明したように、本実施形態では、通常の遠赤外画像の輝度画像データに加えて、輝度値の明暗を反転させた反転画像データを追加することにより、通常の輝度画像データのみでは物体検出ができない場合においても、物体検出することが可能になる。 As described above, in the present embodiment, by adding the inverted image data in which the brightness value is inverted in addition to the brightness image data of the normal far-infrared image, the object is only the normal brightness image data. Even when detection is not possible, it is possible to detect an object.
前述のように、遠赤外画像の特徴として、夏と冬とでは、歩行者と背景(主に道路)との明暗が逆転する。従って、遠赤外画像データを用いて装置を学習させる場合、かかる広範囲な温度環境に対応した学習データを準備することが求められる。しかしながら、広範囲な温度環境に対応した学習データの準備には、膨大な時間、コスト及び労力を要し、事実上は困難と考えられる。 As described above, as a feature of far-infrared images, the brightness of pedestrians and the background (mainly roads) is reversed between summer and winter. Therefore, when the device is trained using the far-infrared image data, it is required to prepare the training data corresponding to such a wide range of temperature environments. However, it takes a huge amount of time, cost, and labor to prepare learning data corresponding to a wide range of temperature environments, and it is considered to be practically difficult.
本実施形態では、撮影画像データの反転画像データを生成して、撮影画像データ及び反転画像データを共に物体識別器24に入力する。物体識別器24は、季節を問わない学習データで学習済みであり、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行う。前述のように、遠赤外画像は、夏と冬とでは、歩行者と背景との明暗が逆転するが、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行うのであれば、撮影画像データ及び反転画像データのいずれかにおいて、良好な物体識別の結果が期待できる可能性がある。従って、本実施形態では、季節に応じて異なる学習データを用いて物体識別器24を再学習することを要しない。
In the present embodiment, the inverted image data of the captured image data is generated, and both the captured image data and the inverted image data are input to the
[第2実施形態]
続いて本発明の第2実施形態について説明する。図4は、本実施形態における、撮影画像データの階調の明暗の反転の説明図である。本実施形態は、画像前処理部22での撮影画像データから反転画像データの生成において第1実施形態と相違するが、その他については第1実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。
[Second Embodiment]
Subsequently, the second embodiment of the present invention will be described. FIG. 4 is an explanatory diagram of inversion of the gradation of the captured image data in the present embodiment. This embodiment is different from the first embodiment in the generation of inverted image data from the captured image data by the
第1実施形態では、画像前処理部22において、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成した。図4の傾き=−1で示した直線は、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合の撮影画像データの階調と、反転画像データの階調との対応を示している。傾き=−1の場合は、例えば、撮影画像データの最も明るい画素は、反転画像データで最も暗い画素となり、撮影画像データの最も暗い画素は、反転画像データで最も明るい画素となる。
In the first embodiment, the
本実施形態では、傾き≦−1又は傾き≧−1で示した直線のような特性で撮影画像データから反転画像データを生成する。傾き≦−1又は傾き≧−1で示した直線のような特性で撮影画像データから反転画像データを生成する場合、撮影画像データの暗い画素に対応する反転画像データの画素のコントラストを、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合よりも向上させることができる。例えば、図4に示したような傾き≦−1の特性で撮影画像データから反転画像データを生成する場合、特性を示す実線と図4の横軸との交点が示す輝度値から撮影画像データの最大輝度値を各々示す画素の輝度値は、反転画像データにおいて最も輝度値が小さい、すなわち最も暗い画素に変換される。その結果、生成される反転画像データは、傾き=−1の特性で生成される反転画像データよりも暗部が顕著な画像を示す。また、傾き≧−1の特性で撮影画像データから反転画像データを生成する場合、生成される反転画像データは、傾き=−1の特性で生成される反転画像データよりも明部が顕著な画像を示す。 In the present embodiment, the inverted image data is generated from the captured image data with characteristics such as a straight line shown by the inclination ≤ -1 or the inclination ≥ -1. When the inverted image data is generated from the captured image data with characteristics such as a straight line indicated by tilt ≤ -1 or tilt ≥ -1, the contrast of the pixels of the inverted image data corresponding to the dark pixels of the captured image data is determined by the captured image. It can be improved as compared with the case where the contrast of the gradation of the data is simply inverted to generate the inverted image data. For example, when the inverted image data is generated from the captured image data with the characteristic of inclination ≤ -1 as shown in FIG. 4, the captured image data is obtained from the luminance value indicated by the intersection of the solid line showing the characteristic and the horizontal axis of FIG. The brightness value of each pixel showing the maximum brightness value is converted into the pixel having the smallest brightness value, that is, the darkest pixel in the inverted image data. As a result, the generated inverted image data shows an image in which the dark part is more remarkable than the inverted image data generated with the characteristic of inclination = -1. Further, when the inverted image data is generated from the captured image data with the characteristic of inclination ≧ -1, the generated inverted image data is an image in which the bright part is more remarkable than the inverted image data generated with the characteristic of inclination = -1. Is shown.
撮影画像データの階調の明暗を反転させる特性は、図4に示したような直線ではなく、上に凸な曲線、又は下に凸な曲線であってもよい。本実施形態では、直線状、又は曲線状を問わず、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データを反転画像データに変換してもよい。 The characteristic of reversing the lightness and darkness of the gradation of the captured image data may be an upwardly convex curve or a downwardly convex curve instead of the straight line shown in FIG. In the present embodiment, the captured image data is converted into the inverted image data based on the correspondence between the predetermined gradation of the captured image data and the gradation of the inverted image data regardless of whether it is linear or curved. You may.
前述のように、撮影画像と反転画像との各々の識別結果は、車及び人といった物体の違によって異なる場合が考えられる。図4に示したように、撮影画像データの階調の明暗を反転させる特性を変更することにより、物体識別の精度を向上させることが可能となる。 As described above, the identification results of the photographed image and the inverted image may differ depending on the difference between objects such as a car and a person. As shown in FIG. 4, it is possible to improve the accuracy of object identification by changing the characteristic of reversing the brightness of the gradation of the captured image data.
物体識別の精度を向上させるには、物体検出装置100の学習データを改善する等の手法が考えられるが、新たな学習データの準備と当該画像データによる物体検出装置100の学習は煩雑でコストもかかる。しかしながら、撮影画像データの階調の明暗を反転させる特性を図4に示したように変更することは、比較的容易である。従って、本実施形態によれば、新たな学習データで装置を再学習させる場合よりも、容易に物体識別の精度を向上させることができる。
In order to improve the accuracy of object identification, a method such as improving the learning data of the
[第3実施形態]
続いて本発明の第3実施形態について説明する。図5は、本実施形態に係る物体検出装置200の一例を示したブロック図である。本実施形態は、可視光画像を取得する可視光カメラ12と、可視光画像を用いて学習された物体識別器124を備えるコンピュータ120とを有する点で第1実施形態と相違するが、その他については第1実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。
[Third Embodiment]
Subsequently, a third embodiment of the present invention will be described. FIG. 5 is a block diagram showing an example of the
画像前処理部122で、遠赤外カメラ10で取得した撮影画像データから反転画像データを生成し、生成した反転画像データと撮影画像データとが物体識別器124に入力されるのは、第1実施形態と同様である。本実施形態では、物体識別器124には、遠赤外カメラで取得した撮影画像データ及び当該撮影画像データから生成した反転画像データのみならず、可視光カメラ12で取得した可視光画像データも入力される。
The
物体識別器124は、画像前処理部122から入力された遠赤外カメラ10の撮影画像データ、遠赤外画像の反転画像データ、及び可視光カメラ12から入力された可視光画像データの各々について物体識別を行う。
The
物体識別器124は、学習データを用いて予め学習されたものであり、一例として、DNNに基づいた信号処理を行う。また、物体識別器124を学習するための学習データとして、歩行者等の物体の位置が予め付与された可視光画像データを用いる。なお、学習データとして、更に、撮影画像データ及び反転画像データを用いてもよい。
The
そして、画像後処理部126では、撮影画像データでの識別結果と反転画像データでの識別結果と可視光画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。
Then, the
一般に、車両の自動運転用の認識システムにおいては、物体識別器は可視光画像データを用いて学習される。可視光画像データを用いて学習された物体識別器を、遠赤外画像データの認識に使うことができれば、新たに遠赤外画像データに特化した物体認識器を用意する必要はなく、コスト的に有利である。可視光画像データで学習した物体認識器では、遠赤外画像の撮影画像データ及び反転画像データのどちらがより認識に適しているかは予想できないが、遠赤外画像の撮影画像データ及び反転画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別器であっても、物体識別を精度よく行うことが可能になる。また、本実施形態によれば、遠赤外画像データを用いた物体識別により、夜間での歩行者等の物体、又は遠方に存在する歩行者等の物体が、可視光画像データにおける物体識別よりも、より明瞭に識別できる。 Generally, in a recognition system for automatic driving of a vehicle, an object classifier is learned using visible light image data. If the object classifier learned using visible light image data can be used for recognition of far-infrared image data, there is no need to prepare a new object recognizer specialized for far-infrared image data, and the cost is high. It is advantageous. With the object recognizer learned from the visible light image data, it is not possible to predict which of the far-infrared image captured image data and the inverted image data is more suitable for recognition, but the far-infrared image captured image data and the inverted image data By integrating each identification result with the identification result in the visible light image data and determining the reliability of the final object identification, object identification can be performed even with an object classifier learned from the visible light image data. It becomes possible to do it with high accuracy. Further, according to the present embodiment, by object identification using far-infrared image data, an object such as a pedestrian at night or an object such as a pedestrian existing in a distant place can be identified by object identification in visible light image data. Can be identified more clearly.
[第4実施形態]
続いて本発明の第4実施形態について説明する。図6は、本実施形態に係る物体検出装置の一例を示した機能ブロック図である。本実施形態は、撮影画像データ及び反転画像データに加えて反転画像データの例えば画像中央部から切り出した所定の画素数の矩形領域の画像データを物体識別器224に入力して、物体識別を行う。
[Fourth Embodiment]
Subsequently, a fourth embodiment of the present invention will be described. FIG. 6 is a functional block diagram showing an example of the object detection device according to the present embodiment. In the present embodiment, in addition to the captured image data and the inverted image data, the inverted image data, for example, the image data of a rectangular region having a predetermined number of pixels cut out from the center of the image is input to the
撮影画像データ及び反転画像データの画像中央部には、遠赤外カメラ10からの距離が遠い物体、又はサイズが小さい物体が存在する可能性が高い。本実施形態では、図8に示したような、反転画像データの画像中央部付近の矩形領域から切り出した画像データも物体識別に供することにより、遠赤外カメラ10から遠方に存在する物体、又は歩行者のようなサイズが小さい物体を精度よく識別することができる。
There is a high possibility that an object far from the far-
本実施形態では、撮影画像データに基づいた識別結果(1)、反転画像データに基づいた識別結果(2)、及び反転画像データの矩形領域の画像データに基づいた識別結果(3)の各々について、物体の分類、当該物体の位置、及び当該物体の識別の尤度を各々算出し、識別結果(1)、(2)、(3)を統合して、最終的な物体識別を行う。 In the present embodiment, each of the identification result (1) based on the captured image data, the identification result (2) based on the inverted image data, and the identification result (3) based on the image data in the rectangular region of the inverted image data. , The classification of the object, the position of the object, and the likelihood of identification of the object are calculated, and the identification results (1), (2), and (3) are integrated to perform the final object identification.
撮影画像データ、反転画像データ、及び反転画像データの矩形領域の画像データの各々は、各々重複した領域を含んでいる。かかる重複した領域における各々の画像に基づいた識別結果を総合的に判定することにより、物体識別の精度を担保できる。 Each of the captured image data, the inverted image data, and the image data of the rectangular region of the inverted image data includes an overlapping region. The accuracy of object identification can be ensured by comprehensively determining the identification result based on each image in the overlapping region.
本実施形態では、自車の進行方向上に相当する領域の画像データとして反転画像データの画像中央部付近の矩形領域から切り出した画像データから物体検出を行うことにより、車道上に存在する歩行者等をより高い精度で検出することが可能となる。 In the present embodiment, a pedestrian existing on the roadway is detected by detecting an object from the image data cut out from the rectangular area near the center of the image of the inverted image data as the image data of the area corresponding to the traveling direction of the own vehicle. Etc. can be detected with higher accuracy.
上述のように、第1実施形態では、撮影画像データの輝度値の明暗を反転させて反転換画像データを生成し、第2実施形態では、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データから反転画像データを生成した。しかしながら、本発明は、これらに限定されない。例えば、撮影画像データ及び反転画像データの各々にコントラスト強調、輪郭抽出などの前処理を行ってもよいし、かかる前処理に加えて、既知の他の画像処理方法を組み合わせてもよい。また、超解像処理等により撮影画像データ及び反転画像データの各々の解像度を拡大してもよい。 As described above, in the first embodiment, the brightness value of the captured image data is inverted to generate the anti-conversion image data, and in the second embodiment, the gradation of the captured image data and the inverted image are predetermined. Inverted image data was generated from the captured image data based on the correspondence with the gradation of the data. However, the present invention is not limited to these. For example, preprocessing such as contrast enhancement and contour extraction may be performed on each of the captured image data and the inverted image data, or in addition to such preprocessing, other known image processing methods may be combined. Further, the resolutions of the captured image data and the inverted image data may be enlarged by super-resolution processing or the like.
上記では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる態様を説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。 In the above, the mode in which the neural network model as an example of the model is trained by deep learning has been described, but the present invention is not limited to this. For example, another model different from the neural network model may be trained by another learning method different from deep learning.
10 遠赤外カメラ
12 可視光カメラ
20 コンピュータ
22 画像前処理部
24 物体識別器
26 画像後処理部
100 物体検出装置
120 コンピュータ
122 画像前処理部
124 物体識別器
126 画像後処理部
200 物体検出装置
10 Far-
Claims (8)
前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、
前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、
前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、
を含む物体検出装置。 An imaging unit that acquires far-infrared image data of the surrounding environment,
An image processing unit that generates converted image data obtained by gradation-converting the far-infrared image data acquired by the photographing unit, and an image processing unit.
By performing object identification processing on each of the far-infrared image data and the converted image data based on the result learned in advance using the training data, the far-infrared image data and the converted image data are each subjected to the object identification process. An object identification unit that executes an identification process that outputs an identification result including information on identification of an object type and accuracy information indicating the reliability of the identification in each of the far-infrared image data and the converted image data.
An object determination unit that finally identifies an object in the far-infrared image data based on the identification result by the object identification unit, and an object determination unit.
Object detector including.
前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う請求項1〜3のいずれか1項に記載の物体検出装置。 The object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data, and outputs the identification result including the position information of the identified object, and the object determination unit outputs the identification result including the position information of the identified object. The invention according to any one of claims 1 to 3, wherein the final object identification is performed based on the position information of the object and the accuracy information in each of the far-infrared image data and the converted image data included in the identification result. Object detector.
前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う請求項1〜3のいずれか1項に記載の物体検出装置。 The object identification unit identifies the position of the object in each of the far-infrared image data and the converted image data, and identifies the accuracy information in each of the far-infrared image data and the converted image data. A mapping image associated with the position of the object in each of the infrared image data and the converted image data is generated as the identification result.
The object determination unit superimposes mapping images generated from each of the far-infrared image data and the converted image data to obtain an identification result in the far-infrared image data and an identification result in the converted image data. The object detection device according to any one of claims 1 to 3, wherein the object detection device is integrated to perform final object identification.
前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、
前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する請求項1〜3のいずれか1項に記載の物体検出装置。 The photographing unit further acquires visible light image data of the surrounding environment, and obtains the visible light image data.
The object identification unit includes information on identifying the type of object in each of the far-infrared image data, the converted image data, and the visible light image data, and the far-infrared image data, the converted image data, and the visible light. An identification process is executed to output an identification result including accuracy information indicating the reliability of the identification in each of the image data.
The object detection device according to any one of claims 1 to 3, wherein the object determination unit finally identifies an object in the far-infrared image data based on the identification result by the object identification unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020064398A JP7400599B2 (en) | 2020-03-31 | 2020-03-31 | object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020064398A JP7400599B2 (en) | 2020-03-31 | 2020-03-31 | object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163222A true JP2021163222A (en) | 2021-10-11 |
JP7400599B2 JP7400599B2 (en) | 2023-12-19 |
Family
ID=78003507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020064398A Active JP7400599B2 (en) | 2020-03-31 | 2020-03-31 | object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7400599B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005303442A (en) | 2004-04-07 | 2005-10-27 | Honda Motor Co Ltd | Vision assisting system for vehicle |
WO2011024865A1 (en) | 2009-08-27 | 2011-03-03 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
CN103797528A (en) | 2011-09-28 | 2014-05-14 | 本田技研工业株式会社 | Biometric device |
-
2020
- 2020-03-31 JP JP2020064398A patent/JP7400599B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7400599B2 (en) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5867807B2 (en) | Vehicle identification device | |
JP4970516B2 (en) | Surrounding confirmation support device | |
JP5423631B2 (en) | Image recognition device | |
JP6819996B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
WO2016113983A1 (en) | Image processing device, image processing method, program, and system | |
JP7268001B2 (en) | Arithmetic processing unit, object identification system, learning method, automobile, vehicle lamp | |
JP5223675B2 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
CN109409186B (en) | Driver assistance system and method for object detection and notification | |
CN111325769B (en) | Target object detection method and device | |
JP5071198B2 (en) | Signal recognition device, signal recognition method, and signal recognition program | |
CN106686280A (en) | Image repairing system and method thereof | |
CN111965636A (en) | Night target detection method based on millimeter wave radar and vision fusion | |
KR101553589B1 (en) | Appratus and method for improvement of low level image and restoration of smear based on adaptive probability in license plate recognition system | |
US20240029444A1 (en) | Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination | |
KR102338912B1 (en) | Recognition method of vehicles license plate using super resolution | |
CN114266993A (en) | Image-based road environment detection method and device | |
JP5083164B2 (en) | Image processing apparatus and image processing method | |
CN113255797B (en) | Dangerous goods detection method and system based on deep learning model | |
CN117496319A (en) | All-weather target detection system and method based on unregistered bimodal image fusion | |
JP4668863B2 (en) | Imaging device | |
JP7400599B2 (en) | object detection device | |
Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
JP6825299B2 (en) | Information processing equipment, information processing methods and programs | |
JP2023548127A (en) | Correcting camera images in the presence of rain, intruding light and dirt | |
JP6874315B2 (en) | Information processing equipment, information processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7400599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |