JP2022042239A - Object recognition controller and method for controlling object recognition - Google Patents

Object recognition controller and method for controlling object recognition Download PDF

Info

Publication number
JP2022042239A
JP2022042239A JP2020147571A JP2020147571A JP2022042239A JP 2022042239 A JP2022042239 A JP 2022042239A JP 2020147571 A JP2020147571 A JP 2020147571A JP 2020147571 A JP2020147571 A JP 2020147571A JP 2022042239 A JP2022042239 A JP 2022042239A
Authority
JP
Japan
Prior art keywords
driver
video data
vehicle
recognition
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020147571A
Other languages
Japanese (ja)
Inventor
康利 酒井
Yasutoshi Sakai
啓太 林
Keita Hayashi
紘史 谷山
Hiroshi Taniyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020147571A priority Critical patent/JP2022042239A/en
Publication of JP2022042239A publication Critical patent/JP2022042239A/en
Pending legal-status Critical Current

Links

Images

Abstract

To properly recognize a person.SOLUTION: A controller 20 as an object recognition controller includes: a picture data acquisition unit 21 for acquiring picture data taken by a camera 11 for imaging around a vehicle; a driver information acquisition unit 22 for acquiring driver information showing a degree of focus of the driver of a vehicle; a recognition processing unit 23 for determining that there is a specific object when a score which shows a possibility that there is the specific object for the picture data acquired by the picture data acquisition unit 21 is at least a threshold value; and a presentation processing unit 24 for presenting information of the specific object recognized by the recognition processing unit 23 to the driver of the vehicle. The recognition processing unit 23 changes the threshold value of the score on the basis of the driver information acquired by the driver information acquisition unit 22.SELECTED DRAWING: Figure 1

Description

本発明は、オブジェクト認識制御装置およびオブジェクト認識制御方法に関する。 The present invention relates to an object recognition control device and an object recognition control method.

撮影画像における人物認識は、人物認識辞書を用いた認識処理において、人物らしさを示すスコアが所定の閾値以上である場合、人物であると判断する。撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が知られている(例えば、特許文献1参照)。 In the recognition process using the person recognition dictionary, the person recognition in the captured image is determined to be a person when the score indicating the person-likeness is equal to or higher than a predetermined threshold value. There is known a technique for determining that an object is a pedestrian based on a high score indicating pedestrian-likeness using a recognition dictionary for captured images (see, for example, Patent Document 1).

特開2016-015029号公報Japanese Unexamined Patent Publication No. 2016-015029

通常は、車両の運転者の目視によって人物及び人物が乗車している自転車など注意を要する対象となる特定オブジェクトを確認しながら運転する。運転者の集中力が低下した場合、人物及び人物が乗車している自転車などの特定オブジェクトの存在に気が付くのが遅れたり、見落としたりするおそれがある。このような状態で、人物及び人物が乗車している自転車などの特定オブジェクトの認識処理において認識漏れが生じた場合、安全を損なう可能性がある。 Normally, the driver of the vehicle visually confirms a person and a specific object that requires attention, such as a bicycle on which the person is riding, while driving. When the driver's concentration is reduced, the presence of a person or a specific object such as a bicycle on which the person is riding may be delayed or overlooked. In such a state, if a recognition omission occurs in the recognition processing of a person and a specific object such as a bicycle on which the person is riding, safety may be impaired.

本発明は、上記に鑑みてなされたものであって、オブジェクトの認識を適切に行うことを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to appropriately recognize an object.

上述した課題を解決し、目的を達成するために、本発明に係るオブジェクト認識制御装置は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得部と、前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記運転者情報取得部が取得した前記運転者情報に基づいて、前記閾値を変化させる。 In order to solve the above-mentioned problems and achieve the object, the object recognition control device according to the present invention includes a video data acquisition unit that acquires video data taken by a shooting unit that shoots the periphery of the vehicle, and an operation of the vehicle. When the score indicating the specific object-likeness is equal to or higher than the threshold value for the driver information acquisition unit that acquires the driver information indicating the degree of concentration of the person and the video data acquired by the video data acquisition unit, the specific object. The recognition processing unit includes a recognition processing unit that presents the information of the specific object recognized by the recognition processing unit to the driver of the vehicle, and the recognition processing unit includes the driver information acquisition unit. The threshold value is changed based on the acquired driver information.

本発明に係るオブジェクト認識制御装置が実行するオブジェクト認識制御方法は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得ステップと、前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、を含み、前記認識処理ステップにおいては、前記運転者情報取得ステップで取得した前記運転者情報に基づいて、前記閾値を変化させる。 The object recognition control method executed by the object recognition control device according to the present invention includes a video data acquisition step of acquiring video data taken by a shooting unit that shoots the periphery of the vehicle, and an operation indicating the degree of concentration of the driver of the vehicle. A driver information acquisition step for acquiring person information, and a recognition processing step for recognizing the video data acquired in the video data acquisition step as a specific object when the score indicating the specific object is equal to or higher than the threshold value. The recognition processing step includes the presentation processing step of presenting the information of the specific object recognized in the recognition processing step to the driver of the vehicle, and in the recognition processing step, the driver information acquired in the driver information acquisition step is included. Based on this, the threshold value is changed.

本発明によれば、オブジェクトの認識を適切に行うことができるという効果を奏する。 According to the present invention, there is an effect that the object can be recognized appropriately.

図1は、第一実施形態に係るオブジェクト認識制御装置を有するオブジェクト認識装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of an object recognition device having an object recognition control device according to the first embodiment. 図2は、第一実施形態に係るオブジェクト認識制御装置における処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing a processing flow in the object recognition control device according to the first embodiment. 図3は、第二実施形態に係るオブジェクト認識制御装置を有するオブジェクト認識装置の構成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of an object recognition device having the object recognition control device according to the second embodiment.

以下に添付図面を参照して、本発明に係るオブジェクト認識制御装置およびオブジェクト認識制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Hereinafter, embodiments of the object recognition control device and the object recognition control method according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the following embodiments.

[第一実施形態]
<オブジェクト認識装置>
図1は、第一実施形態に係るオブジェクト認識制御装置である制御部20を有するオブジェクト認識装置10の構成例を示すブロック図である。オブジェクト認識装置10は、映像データに対してオブジェクト認識辞書を用いた認識処理を行って、特定オブジェクトを認識する。オブジェクト認識装置10は、認識した特定オブジェクトに関する情報を運転者に通知する。
[First Embodiment]
<Object recognition device>
FIG. 1 is a block diagram showing a configuration example of an object recognition device 10 having a control unit 20 which is an object recognition control device according to the first embodiment. The object recognition device 10 recognizes a specific object by performing recognition processing using an object recognition dictionary on the video data. The object recognition device 10 notifies the driver of information about the recognized specific object.

オブジェクト認識装置10は、カメラ(撮影部)11と、車内カメラ12と、認識辞書記憶部13と、表示部14と、制御部(オブジェクト認識制御装置)20とを有する。オブジェクト認識装置10は、例えば、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダー等の機能として実装されていてもよい。 The object recognition device 10 includes a camera (shooting unit) 11, an in-vehicle camera 12, a recognition dictionary storage unit 13, a display unit 14, and a control unit (object recognition control device) 20. The object recognition device 10 may be implemented as a function of, for example, a device having a safe driving support function, a navigation device, a drive recorder, etc., which are installed in advance in the vehicle.

カメラ11は、車両の周辺を撮影するカメラである。カメラ11は、車両に搭載され、車両の進行方向を撮影する。カメラ11は、遠赤外線カメラ、可視光カメラ、または遠赤外線カメラおよび可視光カメラの組み合わせで構成される。カメラ11は、例えば、車両の進行方向である前方を撮影可能な位置に配置されている。カメラ11は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。カメラ11は、撮影した映像データを制御部20の映像データ取得部21へ出力する。映像データは、例えば毎秒30フレームの画像から構成される動画像である。本実施形態では、カメラ11は、車両の前方に配置されている。 The camera 11 is a camera that photographs the periphery of the vehicle. The camera 11 is mounted on the vehicle and photographs the traveling direction of the vehicle. The camera 11 is composed of a far-infrared camera, a visible light camera, or a combination of a far-infrared camera and a visible light camera. The camera 11 is arranged, for example, at a position where the front of the vehicle, which is the traveling direction of the vehicle, can be photographed. The camera 11 constantly captures images from the start of the engine to the stop of the engine, that is, while the vehicle is in operation. The camera 11 outputs the captured video data to the video data acquisition unit 21 of the control unit 20. The video data is, for example, a moving image composed of an image of 30 frames per second. In this embodiment, the camera 11 is arranged in front of the vehicle.

車内カメラ12は、車両の車室内を撮影するカメラである。車内カメラ12は、運転席に着座している運転者の顔部を撮影可能な位置に配置されている。車内カメラ12は、例えば、可視光カメラまたは遠赤外線カメラ、または近赤外線カメラで構成される。車内カメラ12は、例えば、可視光カメラと遠赤外線カメラまたは近赤外線カメラとの組み合わせで構成されてもよい。車内カメラ12は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。車内カメラ12は、撮影した車内映像データを制御部20の映像データ取得部21へ出力する。車内映像データは、例えば毎秒30フレームの画像から構成される動画像である。 The in-vehicle camera 12 is a camera that photographs the interior of the vehicle. The in-vehicle camera 12 is arranged at a position where the face of the driver sitting in the driver's seat can be photographed. The in-vehicle camera 12 is composed of, for example, a visible light camera, a far-infrared camera, or a near-infrared camera. The in-vehicle camera 12 may be composed of, for example, a combination of a visible light camera and a far-infrared camera or a near-infrared camera. The in-vehicle camera 12 constantly captures an image from the start of the engine to the stop of the engine, that is, while the vehicle is in operation. The in-vehicle camera 12 outputs the captured in-vehicle video data to the video data acquisition unit 21 of the control unit 20. The in-vehicle video data is, for example, a moving image composed of an image of 30 frames per second.

認識辞書記憶部13は、映像データから各種のオブジェクトを認識するための辞書データ記憶している。認識辞書記憶部13は、例えば、特定オブジェクトが撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが特定オブジェクトであることを照合可能なオブジェクト認識辞書を記憶している。認識辞書記憶部13は、例えば、ROM(Read Only Memory)、フラッシュメモリなどの半導体メモリ素子、または、ネットワークを介した外部記憶装置などの記憶装置である。 The recognition dictionary storage unit 13 stores dictionary data for recognizing various objects from video data. The recognition dictionary storage unit 13 stores, for example, an object recognition dictionary capable of machine learning various images captured by a specific object and collating that the object included in the image data is a specific object. The recognition dictionary storage unit 13 is, for example, a storage device such as a ROM (Read Only Memory), a semiconductor memory element such as a flash memory, or an external storage device via a network.

表示部14は、各種の情報を表示する装置であり、一例としては、オブジェクト認識装置10に固有の表示装置、または、ドライブレコーダー及びナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部14は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部14は、制御部20の提示処理部24から出力された映像信号に基づいて、映像を表示する。本実施形態では、表示部14は、車両の運転者が運転中に目視可能な位置に配置されている。 The display unit 14 is a device that displays various types of information, and as an example, is a display device unique to the object recognition device 10, or a display device shared with other systems including a drive recorder and a navigation system. The display unit 14 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Electro-luminescence) display. The display unit 14 displays a video based on the video signal output from the presentation processing unit 24 of the control unit 20. In the present embodiment, the display unit 14 is arranged at a position that can be visually recognized by the driver of the vehicle while driving.

<オブジェクト認識制御装置>
制御部20は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置(制御装置)である。制御部20は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部20には図示しない内部メモリが含まれ、内部メモリは制御部20におけるデータの一時記憶などに用いられる。このため、制御部20は、オブジェクト認識装置10によるオブジェクト認識方法を実行させる。また、制御部20は、本発明にかかるプログラムを動作させるコンピュータである。制御部20は、バス20Xに接続された、映像データ取得部21と、運転者情報取得部22と、認識処理部23と、提示処理部24とを有する。
<Object recognition control device>
The control unit 20 is, for example, an arithmetic processing unit (control device) configured by a CPU (Central Processing Unit) or the like. The control unit 20 loads the stored program into the memory and executes an instruction included in the program. The control unit 20 includes an internal memory (not shown), and the internal memory is used for temporary storage of data in the control unit 20 and the like. Therefore, the control unit 20 causes the object recognition device 10 to execute the object recognition method. Further, the control unit 20 is a computer that operates the program according to the present invention. The control unit 20 includes a video data acquisition unit 21, a driver information acquisition unit 22, a recognition processing unit 23, and a presentation processing unit 24, which are connected to the bus 20X.

映像データ取得部21は、カメラ11が撮影した映像データを取得する。より詳しくは、映像データ取得部21は、カメラ11が出力した、車両の進行方向である前方を撮影した映像データを取得する。 The video data acquisition unit 21 acquires video data taken by the camera 11. More specifically, the video data acquisition unit 21 acquires video data output by the camera 11 and captured in front of the vehicle in the traveling direction.

映像データ取得部21は、車内カメラ12が撮影した映像データを取得する。より詳しくは、映像データ取得部21は、車内カメラ12が出力した車内映像データであり、車両の運転者の顔が撮影された映像データを取得する。 The video data acquisition unit 21 acquires video data taken by the in-vehicle camera 12. More specifically, the video data acquisition unit 21 acquires in-vehicle video data output by the in-vehicle camera 12 and acquires video data in which the face of the driver of the vehicle is photographed.

運転者情報取得部22は、車両の運転者の集中度を示す運転者情報を取得する。本実施形態では、運転者情報取得部22は、車内カメラ12が撮影した車内映像データに画像処理を行って、運転者の顔部を認識した運転者認識結果から運転者情報を取得する。より詳しくは、運転者情報取得部22は、例えば、車内映像データから運転者の眼を認識して、眼の開度を示す情報を取得する。運転者情報取得部22は、例えば、車内映像データから運転者の眼を認識して、視線の動きを示す情報を取得する。 The driver information acquisition unit 22 acquires driver information indicating the degree of concentration of the driver of the vehicle. In the present embodiment, the driver information acquisition unit 22 performs image processing on the in-vehicle video data taken by the in-vehicle camera 12 and acquires the driver information from the driver recognition result of recognizing the driver's face. More specifically, the driver information acquisition unit 22 recognizes the driver's eyes from, for example, in-vehicle video data, and acquires information indicating the opening degree of the eyes. The driver information acquisition unit 22 recognizes the driver's eyes from, for example, in-vehicle video data, and acquires information indicating the movement of the line of sight.

運転者情報とは、運転者の集中度が高いか、低いかを判定可能な情報である。集中度が高いとは、例えば、運転者が眠気を感じていない通常の状態である。集中度が低いとは、例えば、運転者が眠気を感じていて、運転者による車両の周辺の確認が疎かになるおそれがある状態である。 The driver information is information that can determine whether the concentration ratio of the driver is high or low. High concentration is, for example, a normal condition in which the driver does not feel drowsy. The low concentration is, for example, a state in which the driver feels drowsy and the driver may not be able to confirm the surroundings of the vehicle.

認識処理部23は、映像データ取得部21が取得した映像データから、車両の周辺の特定オブジェクトを認識する。認識処理部23は、映像データに対して、認識辞書記憶部13が記憶しているオブジェクト認識辞書を用いたパターンマッチングを行って、特定オブジェクトを認識するオブジェクト認識処理を行う。オブジェクト認識処理においては、公知の方法を使用可能である。認識処理部23は、オブジェクト認識装置10が起動している間は、常時処理を行ってもよい。 The recognition processing unit 23 recognizes a specific object around the vehicle from the video data acquired by the video data acquisition unit 21. The recognition processing unit 23 performs pattern matching on the video data using the object recognition dictionary stored in the recognition dictionary storage unit 13 to perform object recognition processing for recognizing a specific object. A known method can be used in the object recognition process. The recognition processing unit 23 may always perform processing while the object recognition device 10 is running.

特定オブジェクトとは、人物、人物が乗車している自転車を含む二輪車、および、他車両を含む。 The specific object includes a person, a two-wheeled vehicle including a bicycle on which the person is riding, and another vehicle.

認識処理部23は、映像データ取得部21が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定の閾値以上である場合、特定オブジェクトとして認識する。通常時のスコアの閾値をA(規定値)とする。スコアの閾値は、運転者情報取得部22によって取得された運転者情報に応じて変更される。変更されたスコアの閾値をB(B<A)とする。 The recognition processing unit 23 recognizes the video data acquired by the video data acquisition unit 21 as a specific object when the score indicating the specific object-likeness is equal to or higher than a predetermined threshold value. Let A (specified value) be the threshold value of the score at normal times. The score threshold is changed according to the driver information acquired by the driver information acquisition unit 22. Let B (B <A) be the threshold of the changed score.

認識処理部23は、運転者情報取得部22が取得した運転者情報に基づいて、スコアの閾値を変化させて特定オブジェクトを認識する。認識処理部23は、運転者を撮影した映像データに対する運転者認識結果、運転者の生体情報、および、運転者による連続運転時間の少なくともいずれかに基づいて、運転者情報を取得する。本実施形態では、認識処理部23は、運転者を撮影した映像データに対する運転者認識結果から運転者情報を取得する。認識処理部23は、運転者情報が、運転者の集中度が低くなっていることを示す場合、通常時のスコアの閾値Aよりも低い閾値Bを用いて特定オブジェクトとして認識する。これにより、運転者の集中度が低くなっていることを示す場合、特定オブジェクトとして認識されやすくする。認識処理部23は、運転者情報が、運転者の集中度が高いことを示す場合、通常時のスコアの閾値Aを用いて特定オブジェクトとして認識する。 The recognition processing unit 23 recognizes a specific object by changing the threshold value of the score based on the driver information acquired by the driver information acquisition unit 22. The recognition processing unit 23 acquires the driver information based on at least one of the driver recognition result for the video data captured by the driver, the driver's biometric information, and the continuous driving time by the driver. In the present embodiment, the recognition processing unit 23 acquires the driver information from the driver recognition result for the video data obtained by photographing the driver. When the driver information indicates that the concentration of the driver is low, the recognition processing unit 23 recognizes the driver information as a specific object by using a threshold value B lower than the threshold value A of the normal score. This makes it easier to recognize as a specific object when it indicates that the concentration of the driver is low. When the driver information indicates that the concentration of the driver is high, the recognition processing unit 23 recognizes the driver information as a specific object by using the threshold value A of the score at the normal time.

認識処理部23は、例えば、運転者情報が、運転者の眼の開度が小さくなった状態が所定期間継続していることを示す場合、集中度が低くなっていると判定する。認識処理部23は、例えば、運転者情報が、運転者の視線の動きが小さくなった状態が所定期間継続していることを示す場合、集中度が低くなっていると判定する。 The recognition processing unit 23 determines that the concentration level is low, for example, when the driver information indicates that the state in which the opening degree of the driver's eyes is small continues for a predetermined period. The recognition processing unit 23 determines that the concentration level is low, for example, when the driver information indicates that the state in which the movement of the driver's line of sight is small continues for a predetermined period.

例えば、特定オブジェクトらしさを示すスコアは最大1.0である。一例として、閾値Aを0.9、閾値Bを0.7とする。例えば、認識処理部23は、通常時は、スコアが0.9以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。例えば、認識処理部23は、運転者の集中度が低くなっているときは、スコアが0.7以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。例えば、認識処理部23は、スコアが0.7以上であることを条件としてオブジェクト認識を行っているときは、運転者の集中度が高くなったときに、通常のスコアの閾値を用いる認識処理に戻る。 For example, the maximum score indicating the uniqueness of a specific object is 1.0. As an example, the threshold value A is 0.9 and the threshold value B is 0.7. For example, the recognition processing unit 23 normally determines that the detected object is a specific object when the score is 0.9 or more. For example, when the concentration of the driver is low, the recognition processing unit 23 determines that the detected object is a specific object when the score is 0.7 or more. For example, when the recognition processing unit 23 performs object recognition on the condition that the score is 0.7 or more, the recognition processing using a normal score threshold value when the driver's concentration level becomes high. Return to.

スコアの閾値は、特定オブジェクトごとに、言い換えると、オブジェクト認識辞書ごとに設定されていてもよい。 The score threshold value may be set for each specific object, in other words, for each object recognition dictionary.

スコアの閾値は、段階的に変化させてもよいし、運転者の集中度に比例してリニアに変化させてもよい。 The score threshold may be changed stepwise or linearly in proportion to the driver's concentration.

提示処理部24は、認識処理部23が認識した特定オブジェクトの情報を車両の運転者に提示する。提示処理部24が認識した特定オブジェクトの情報を提示することによって、車両の運転者に対して、特定オブジェクトへの注意を促す。提示処理部24は、表示部14による表示または図示しない音声出力部から出力される音声を用いて、認識した特定オブジェクトの情報を運転者に提示する。このため、提示処理部24は、表示部14による表示で特定オブジェクトの情報を運転者に提示する場合は、表示制御部として機能する。より詳しくは、提示処理部24は、車両の運転者に情報を提示する映像を生成する。提示処理部24は、例えば、映像データに対して、認識された特定オブジェクトの範囲に枠線を重ねて表示させる提示用映像データを生成する。提示処理部24は、例えば、特定オブジェクトへの注意を促す文字またはアイコンを表示させる提示用映像データを生成してもよい。提示処理部24は、映像とともに出力する警告音などの音声を生成してもよい。提示処理部24は、生成した映像を表示させる映像信号を表示部14に出力して、映像を表示させる。提示処理部24は、映像ともに生成した音声を出力させる音声信号を図示しないスピーカに出力してもよい。 The presentation processing unit 24 presents the information of the specific object recognized by the recognition processing unit 23 to the driver of the vehicle. By presenting the information of the specific object recognized by the presentation processing unit 24, the driver of the vehicle is alerted to the specific object. The presentation processing unit 24 presents the recognized specific object information to the driver by using the display by the display unit 14 or the voice output from the voice output unit (not shown). Therefore, the presentation processing unit 24 functions as a display control unit when the information of the specific object is presented to the driver by the display by the display unit 14. More specifically, the presentation processing unit 24 generates an image that presents information to the driver of the vehicle. The presentation processing unit 24 generates, for example, presentation video data for displaying video data by superimposing a frame line on a recognized specific object range. The presentation processing unit 24 may generate presentation video data for displaying characters or icons that call attention to a specific object, for example. The presentation processing unit 24 may generate audio such as a warning sound to be output together with the video. The presentation processing unit 24 outputs a video signal for displaying the generated video to the display unit 14 to display the video. The presentation processing unit 24 may output an audio signal for outputting the audio generated together with the video to a speaker (not shown).

<制御部における処理>
次に、図2を用いて、制御部20における処理の流れについて説明する。図2は、第一実施形態に係るオブジェクト認識制御装置である制御部20における処理の流れを示すフローチャートである。オブジェクト認識装置10が起動されると、図2に示すフローチャートの処理が開示される。図2の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置10を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置10の動作が開始されたときなどである。また、ステップS101の処理は、車両が走行していることを条件として実行されてもよい。
<Processing in the control unit>
Next, the flow of processing in the control unit 20 will be described with reference to FIG. FIG. 2 is a flowchart showing a processing flow in the control unit 20 which is the object recognition control device according to the first embodiment. When the object recognition device 10 is activated, the processing of the flowchart shown in FIG. 2 is disclosed. The start of the process of FIG. 2 is started under arbitrary conditions. For example, when the vehicle becomes available, such as when the engine of the vehicle equipped with the object recognition device 10 starts, or when the operation of the object recognition device 10 is started by the user's operation. Further, the process of step S101 may be executed on condition that the vehicle is running.

図2の処理の開始に伴い、制御部20は、撮影及びオブジェクト認識処理を開始する(ステップS101)。より詳しくは、制御部20は、カメラ11によって撮影を開始させる。制御部20は、映像データ取得部21によって、カメラ11が出力した映像データを取得する。制御部20は、認識処理部23によって、映像データ取得部21が取得した映像データから、車両の周辺の特定オブジェクトを認識する。ステップS101におけるオブジェクト認識処理のスコアの閾値は、通常時のスコアの閾値Aである。例えば、制御部20は、認識処理部23によって、スコアが0.9以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。また、制御部20は、車内カメラ12によって撮影を開始させる。制御部20は、映像データ取得部21によって、車内カメラ12が出力した車内映像データを取得する。制御部20は、ステップS102に進む。 With the start of the process of FIG. 2, the control unit 20 starts shooting and object recognition processing (step S101). More specifically, the control unit 20 starts shooting by the camera 11. The control unit 20 acquires the video data output by the camera 11 by the video data acquisition unit 21. The control unit 20 recognizes a specific object around the vehicle from the video data acquired by the video data acquisition unit 21 by the recognition processing unit 23. The threshold value of the score of the object recognition process in step S101 is the threshold value A of the score at the normal time. For example, the control unit 20 determines that the detected object is a specific object when the score is 0.9 or more by the recognition processing unit 23. Further, the control unit 20 starts shooting by the in-vehicle camera 12. The control unit 20 acquires the in-vehicle video data output by the in-vehicle camera 12 by the video data acquisition unit 21. The control unit 20 proceeds to step S102.

ステップS101による処理が開始されるとともに、制御部20は、集中度が低下しているか否かを判定する(ステップS102)。より詳しくは、制御部20は、運転者情報取得部22によって、映像データ取得部21が取得した映像データから、運転者の状態を認識して運転者情報を取得する。制御部20は、取得した運転者情報が、運転者の集中度が低くなっていることを示す場合(ステップS102でYes)、ステップS104へ進む。制御部20は、取得した運転者情報が、運転者の集中度が低くなっていないことを示す場合(ステップS102でNo)、ステップS103へ進む。 At the same time as the processing in step S101 is started, the control unit 20 determines whether or not the concentration ratio is reduced (step S102). More specifically, the control unit 20 recognizes the driver's state from the video data acquired by the video data acquisition unit 21 by the driver information acquisition unit 22 and acquires the driver information. When the acquired driver information indicates that the concentration ratio of the driver is low (Yes in step S102), the control unit 20 proceeds to step S104. When the acquired driver information indicates that the concentration level of the driver is not low (No in step S102), the control unit 20 proceeds to step S103.

運転者の集中度が低下していないことを示す場合(ステップS102でNo)、制御部20は、認識処理部23によって、通常時のスコアの閾値Aを用いて特定オブジェクト認識処理を実行する(ステップS104)。より詳しくは、認識処理部23は、映像データに対してパターンマッチングを行い、特定オブジェクトらしさを示すスコアが0.9以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。制御部20は、ステップS105へ進む。 When it is shown that the concentration of the driver has not decreased (No in step S102), the control unit 20 executes the specific object recognition process by the recognition process unit 23 using the threshold value A of the normal score (No). Step S104). More specifically, the recognition processing unit 23 performs pattern matching on the video data, and if the score indicating the specific object-likeness is 0.9 or more, the recognition processing unit 23 determines that the detected object is the specific object. The control unit 20 proceeds to step S105.

運転者の集中度が低下していることを示す場合(ステップS102でYes)、制御部20は、認識処理部23によって、通常時のスコアの閾値Aよりも低い閾値Bを用いて特定オブジェクト認識処理を実行する(ステップS104)。より詳しくは、認識処理部23は、映像データに対してパターンマッチングを行い、特定オブジェクトらしさを示すスコアが0.7以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。これにより、集中度が低下している場合、通常時に比べて、検出したオブジェクトが特定オブジェクトと認識されやすくなる。制御部20は、ステップS105へ進む。 When it indicates that the concentration of the driver is low (Yes in step S102), the control unit 20 recognizes the specific object by the recognition processing unit 23 using a threshold value B lower than the threshold value A of the normal score. The process is executed (step S104). More specifically, the recognition processing unit 23 performs pattern matching on the video data, and if the score indicating the specific object-likeness is 0.7 or more, the recognition processing unit 23 determines that the detected object is the specific object. As a result, when the degree of concentration is low, the detected object is more likely to be recognized as a specific object as compared with the normal time. The control unit 20 proceeds to step S105.

制御部20は、認識処理部23のオブジェクト認識結果に基づいて、特定オブジェクトを認識したか否かを判定する(ステップS105)。制御部20は、特定オブジェクトを認識したと判定する場合(ステップS105でYes)、ステップS106へ進む。制御部20は、特定オブジェクトを認識したと判定しない場合(ステップS105でNo)、ステップS107へ進む。 The control unit 20 determines whether or not the specific object has been recognized based on the object recognition result of the recognition processing unit 23 (step S105). When the control unit 20 determines that the specific object has been recognized (Yes in step S105), the control unit 20 proceeds to step S106. If the control unit 20 does not determine that the specific object has been recognized (No in step S105), the control unit 20 proceeds to step S107.

制御部20は、提示処理部24によって、認識された特定オブジェクトの範囲に枠線を表示する(ステップS106)。より詳しくは、制御部20は、提示処理部24によって、映像データに、車両の周辺の特定オブジェクトを囲う枠線を重ねて表示部14に表示させる。制御部20は、ステップS107へ進む。 The control unit 20 displays a frame line in the range of the specific object recognized by the presentation processing unit 24 (step S106). More specifically, the control unit 20 causes the presentation processing unit 24 to superimpose a frame line surrounding a specific object around the vehicle on the video data and display it on the display unit 14. The control unit 20 proceeds to step S107.

制御部20は、撮影及びオブジェクト認識処理を終了するか否かを判定する(ステップS107)。制御部20は、例えば、オブジェクト認識処理を終了する操作を検出した場合、または、車両が停止してエンジンがOFFされた場合などは、撮影及びオブジェクト認識処理を終了すると判定する。制御部20は、撮影及びオブジェクト認識処理を終了すると判定する場合(ステップS107でYes)、処理を終了する。制御部20は、撮影及びオブジェクト認識処理を終了すると判定しない場合(ステップS107でNo)、ステップS102の処理を再度実行する。 The control unit 20 determines whether or not to end the shooting and object recognition processing (step S107). The control unit 20 determines that the shooting and the object recognition process are finished, for example, when the operation for ending the object recognition process is detected, or when the vehicle is stopped and the engine is turned off. When the control unit 20 determines that the shooting and the object recognition process are completed (Yes in step S107), the control unit 20 ends the process. If the control unit 20 does not determine that the photographing and object recognition processing is completed (No in step S107), the control unit 20 re-executes the processing in step S102.

<効果>
上述したように、本実施形態では、車両の運転者の集中度に応じて、オブジェクト認識処理におけるスコアの閾値を変化させる。本実施形態によれば、運転者の集中度に応じて、特定オブジェクトの認識を適切に行うことができる。
<Effect>
As described above, in the present embodiment, the threshold value of the score in the object recognition process is changed according to the concentration degree of the driver of the vehicle. According to the present embodiment, it is possible to appropriately recognize a specific object according to the degree of concentration of the driver.

本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くする。本実施形態によれば、運転者の集中度が低下し、運転者の人物などに対する注意が疎かになる可能性がある場合、特定オブジェクトを認識しやすくすることができる。本実施形態によれば、より安全な運転を支援することができる。 In the present embodiment, when it is shown that the concentration of the driver is low, the threshold value of the score in the object recognition process is lowered. According to the present embodiment, when the concentration of the driver is lowered and there is a possibility that the driver's attention to the person or the like is distracted, it is possible to make it easier to recognize the specific object. According to this embodiment, safer driving can be supported.

本実施形態では、運転者を撮影した映像データに対する運転者認識結果に基づいて、運転者情報を取得する。本実施形態によれば、運転者が撮影された車内映像データから、運転者の集中度が低下している状態を検出することができる。 In the present embodiment, the driver information is acquired based on the driver recognition result for the video data of the driver. According to the present embodiment, it is possible to detect a state in which the driver's concentration is reduced from the in-vehicle video data captured by the driver.

本実施形態は、認識した特定オブジェクトに関する情報を運転者に提示する。本実施形態は、運転者の特定オブジェクトに対する注意が疎かになる可能性がある場合、オブジェクト認識処理において特定オブジェクトを認識しやすくする。これらにより、本実施形態によれば、運転者の特定オブジェクトに対する注意が疎かになる可能性がある場合、車両の運転者に対して、特定オブジェクトへの注意を促す機会を増やすことができる。 The present embodiment presents to the driver information about the recognized specific object. This embodiment makes it easier for the driver to recognize a specific object in the object recognition process when there is a possibility that the driver's attention to the specific object may be distracted. As a result, according to the present embodiment, when there is a possibility that the driver's attention to the specific object may be distracted, it is possible to increase the opportunity to call the driver of the vehicle to pay attention to the specific object.

また、本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くするため、物体の陰に一部が隠れた人物などの特定オブジェクトように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。 Further, in the present embodiment, when it is shown that the concentration of the driver is low, in order to lower the threshold value of the score in the object recognition process, a specific object such as a person who is partially hidden behind the object is used. Even if it is not recognized as a specific object in a normal score, it is recognized as a specific object. Therefore, the driver of the vehicle can more appropriately know the existence of the specific object.

さらに、本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くするため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。 Further, in the present embodiment, when it is shown that the concentration of the driver is low, the threshold value of the score in the object recognition process is lowered, so that the erroneous recognition of determining an object that is not a specific object as a specific object increases. .. However, even if it is a misrecognition, it is presented as the existence of a specific object, so that the driver of the vehicle can be made to drive with more emphasis on safety.

[第二実施形態]
図3を参照しながら、本実施形態に係るオブジェクト認識装置10Aについて説明する。図3は、第二実施形態に係るオブジェクト認識制御装置である制御部20Aを有するオブジェクト認識装置10Aの構成例を示すブロック図である。オブジェクト認識装置10Aは、基本的な構成は第一実施形態のオブジェクト認識装置10と同様である。以下の説明においては、オブジェクト認識装置10と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。オブジェクト認識装置10Aは、生体センサ15Aを有する点と、制御部20Aの運転者情報取得部22Aと認識処理部23Aとにおける処理とが第一実施形態と異なる。
[Second Embodiment]
The object recognition device 10A according to the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing a configuration example of an object recognition device 10A having a control unit 20A, which is an object recognition control device according to the second embodiment. The object recognition device 10A has the same basic configuration as the object recognition device 10 of the first embodiment. In the following description, the same components as those of the object recognition device 10 are designated by the same reference numerals or corresponding reference numerals, and detailed description thereof will be omitted. The object recognition device 10A is different from the first embodiment in that it has the biological sensor 15A and the processing in the driver information acquisition unit 22A and the recognition processing unit 23A of the control unit 20A.

生体センサ15Aは、運転者の生体情報を検出するセンサである。生体センサ15Aは、例えば、運転者の心拍を示す心拍情報、運転者の脳波を示す脳波情報、または、呼吸数を示す呼吸数情報を取得可能なデータを検出する。生体センサ15Aは、例えば、ステアリングに配置されている。生体センサ15Aは、例えば、運転者が手首に装着している携帯用電子機器に実装されている機能であってもよい。生体センサ15Aは、オブジェクト認識装置10Aと無線または有線でデータを通信可能に接続されている。 The biological sensor 15A is a sensor that detects the biological information of the driver. The biological sensor 15A detects, for example, data capable of acquiring heart rate information indicating the driver's heartbeat, electroencephalogram information indicating the driver's brain wave, or respiratory rate information indicating the respiratory rate. The biosensor 15A is arranged, for example, on the steering. The biosensor 15A may be, for example, a function implemented in a portable electronic device worn by the driver on the wrist. The biosensor 15A is connected to the object recognition device 10A so as to be able to communicate data wirelessly or by wire.

運転者情報取得部22Aは、生体センサ15Aが取得した生体情報に基づいて、運転者情報を取得する。より詳しくは、運転者情報取得部22Aは、例えば、生体センサ15Aの検出結果から、運転者の心拍を示す心拍情報、運転者の血中酸素濃度を示す情報、または、呼吸数を示す呼吸数情報などを取得する。 The driver information acquisition unit 22A acquires driver information based on the biometric information acquired by the biosensor 15A. More specifically, the driver information acquisition unit 22A, for example, from the detection result of the biological sensor 15A, the heart rate information indicating the driver's heart rate, the information indicating the driver's blood oxygen concentration, or the respiratory rate indicating the respiratory rate. Get information etc.

認識処理部23Aは、運転者の生体情報から運転者情報を取得する。認識処理部23Aは、運転者情報が、運転者の心拍の揺らぎ分析によって、運転者が眠気を感じていることを示す場合、集中度が低くなっていると判定してもよい。認識処理部23Aは、運転者情報が、運転者の血中酸素濃度を示す情報が低下傾向にある場合、運転者が眠気を感じていることを示す場合、集中度が低くなっていると判定してもよい。認識処理部23Aは、運転者情報が、運転者の呼吸数が少なくっていることを示す場合、集中度が低くなっていると判定してもよい。 The recognition processing unit 23A acquires the driver information from the driver's biological information. When the driver information indicates that the driver feels drowsy by the fluctuation analysis of the driver's heartbeat, the recognition processing unit 23A may determine that the concentration level is low. The recognition processing unit 23A determines that the concentration level is low when the driver information indicates that the information indicating the blood oxygen concentration of the driver tends to decrease or the driver feels drowsy. You may. When the driver information indicates that the driver's respiratory rate is low, the recognition processing unit 23A may determine that the concentration level is low.

上述したように、本実施形態では、生体情報が、運転者の集中度が低下していることを示す場合、オブジェクト認識処理のスコアの閾値を低くする。本実施形態では、運転者の生体情報に基づいて、運転者の集中度が低下している状態を検出することができる。本実施形態によれば、特定オブジェクトの認識を適切に行うことができる。 As described above, in the present embodiment, when the biometric information indicates that the concentration of the driver is reduced, the threshold value of the score of the object recognition process is lowered. In the present embodiment, it is possible to detect a state in which the concentration of the driver is reduced based on the biological information of the driver. According to this embodiment, it is possible to appropriately recognize a specific object.

[第三実施形態]
本実施形態に係るオブジェクト認識装置10について説明する。オブジェクト認識装置10は、制御部20の運転者情報取得部22と認識処理部23とにおける処理とが第一実施形態と異なる。
[Third Embodiment]
The object recognition device 10 according to the present embodiment will be described. The object recognition device 10 differs from the first embodiment in the processing in the driver information acquisition unit 22 and the recognition processing unit 23 of the control unit 20.

運転者情報取得部22は、運転者による連続運転時間を運転者情報として取得する。より詳しくは、運転者情報取得部22は、車内映像データから運転者の顔を認識する。運転者情報取得部22は、認識した顔について、顔の輪郭、顔を構成する各部の配置、形状および大きさなどを含む特徴点から、運転者の同一性を認識する。運転者情報取得部22は、同一の運転者が継続して検出されている間、連続運転時間を加算する。車両の一時停止、または、数分間程度の短時間のエンジン停止が検出された場合、連続運転時間を継続して加算する。運転者情報取得部22は、運転者が変わったことが検出されると、連続運転時間をリセットする。 The driver information acquisition unit 22 acquires the continuous operation time by the driver as driver information. More specifically, the driver information acquisition unit 22 recognizes the driver's face from the in-vehicle video data. The driver information acquisition unit 22 recognizes the identity of the driver for the recognized face from the feature points including the contour of the face, the arrangement of the parts constituting the face, the shape and the size, and the like. The driver information acquisition unit 22 adds the continuous operation time while the same driver is continuously detected. When a temporary stop of the vehicle or a short engine stop of about several minutes is detected, the continuous operation time is continuously added. The driver information acquisition unit 22 resets the continuous operation time when it is detected that the driver has changed.

認識処理部23は、運転者による連続運転時間を運転者情報として取得する。認識処理部23は、例えば、連続運転時間が2時間以上である場合、集中度が低くなっていると判定してもよい。連続運転時間が2時間以上であるとは、同一運転者が、2時間以上休憩せずに運転を継続した場合である。 The recognition processing unit 23 acquires the continuous operation time by the driver as driver information. For example, when the continuous operation time is 2 hours or more, the recognition processing unit 23 may determine that the concentration level is low. The continuous operation time of 2 hours or more is a case where the same driver continues the operation without a break for 2 hours or more.

上述したように、本実施形態では、運転者による連続運転時間が長くなると、オブジェクト認識処理のスコアの閾値を低くする。本実施形態では、運転者による連続運転時間に基づいて、運転者の集中度が低下している状態を検出することができる。本実施形態によれば、特定オブジェクトの認識を適切に行うことができる。 As described above, in the present embodiment, when the continuous operation time by the driver becomes long, the threshold value of the score of the object recognition process is lowered. In the present embodiment, it is possible to detect a state in which the concentration of the driver is reduced based on the continuous operation time by the driver. According to this embodiment, it is possible to appropriately recognize a specific object.

これまで本発明に係るオブジェクト認識装置10について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。 Although the object recognition device 10 according to the present invention has been described so far, it may be implemented in various different embodiments other than the above-described embodiment.

図示したオブジェクト認識装置10の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated object recognition device 10 is functionally conceptual and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.

オブジェクト認識装置10の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the object recognition device 10 is realized by, for example, a program loaded in a memory as software. In the above embodiment, it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The above-mentioned components include those that can be easily assumed by those skilled in the art and those that are substantially the same. Further, the above configurations can be combined as appropriate. Further, various omissions, substitutions or changes of the configuration can be made without departing from the gist of the present invention.

<変形例>
上記で説明した運転者情報に加えて、車両の運転者の集中度を示す運転者情報の取得は、他に様々な手法が適用可能である。例えば、車両の運転者の表情や言動などから検出される車両の運転者の感情を、車両の運転者の集中度を示す運転者情報としてもよい。例えば、車両の運転者の感情が、怒りや焦りなどを示している場合は、集中度が低くなっておると判断する。
<Modification example>
In addition to the driver information described above, various other methods can be applied to the acquisition of the driver information indicating the concentration level of the driver of the vehicle. For example, the emotion of the driver of the vehicle detected from the facial expression or the behavior of the driver of the vehicle may be used as the driver information indicating the degree of concentration of the driver of the vehicle. For example, if the driver's emotions indicate anger or impatience, it is determined that the concentration level is low.

上記では、車両の運転者を支援するための装置として説明したが、自動運転車両におけるオブジェクト認識処理に使用してもよい。オブジェクト認識装置10は、認識処理部23によって特定オブジェクトが認識された場合、車両を減速したり停止させたりするように制御する制御信号を出力する自動運転制御部を備える。オブジェクト認識装置10は、表示部14および提示処理部24を備えていなくてもよい。 Although described above as a device for assisting the driver of a vehicle, it may be used for object recognition processing in an autonomous driving vehicle. The object recognition device 10 includes an automatic driving control unit that outputs a control signal for controlling the vehicle to decelerate or stop when a specific object is recognized by the recognition processing unit 23. The object recognition device 10 may not include the display unit 14 and the presentation processing unit 24.

10 オブジェクト認識装置
11 カメラ(撮影部)
12 車内カメラ
13 認識辞書記憶部
14 表示部
20 制御部(オブジェクト認識制御装置)
21 映像データ取得部
22 運転者情報取得部
23 認識処理部
24 提示処理部
10 Object recognition device 11 Camera (shooting unit)
12 In-vehicle camera 13 Recognition dictionary storage unit 14 Display unit 20 Control unit (object recognition control device)
21 Video data acquisition unit 22 Driver information acquisition unit 23 Recognition processing unit 24 Presentation processing unit

Claims (5)

車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、
前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得部と、
前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、
前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、
を備え、
前記認識処理部は、前記運転者情報取得部が取得した前記運転者情報に基づいて、前記閾値を変化させる、
オブジェクト認識制御装置。
The video data acquisition unit that acquires the video data taken by the shooting unit that shoots the surroundings of the vehicle, and the video data acquisition unit.
A driver information acquisition unit that acquires driver information indicating the degree of concentration of the driver of the vehicle, and a driver information acquisition unit.
When the score indicating the specific object-likeness is equal to or higher than the threshold value for the video data acquired by the video data acquisition unit, the recognition processing unit recognizes the video data as the specific object.
A presentation processing unit that presents information on the specific object recognized by the recognition processing unit to the driver of the vehicle, and a presentation processing unit.
Equipped with
The recognition processing unit changes the threshold value based on the driver information acquired by the driver information acquisition unit.
Object recognition controller.
前記認識処理部は、前記運転者情報が、集中度が低くなっていることを示す場合、前記閾値を低くする、
請求項1に記載のオブジェクト認識制御装置。
When the driver information indicates that the concentration level is low, the recognition processing unit lowers the threshold value.
The object recognition control device according to claim 1.
前記運転者情報取得部は、前記運転者を撮影した映像データに対する運転者認識結果、前記運転者の生体情報、および、前記運転者による連続運転時間の少なくともいずれかに基づいて、前記運転者情報を取得する、
請求項1または2に記載のオブジェクト認識制御装置。
The driver information acquisition unit is based on at least one of the driver recognition result for the video data obtained by photographing the driver, the biometric information of the driver, and the continuous driving time by the driver. To get,
The object recognition control device according to claim 1 or 2.
前記映像データ取得部は、前記車両の進行方向を撮影した映像データを取得し、
前記認識処理部は、前記車両の進行方向における特定オブジェクトとして人物または人物が乗車している自転車を認識する、
請求項1から3のいずれか一項に記載のオブジェクト認識制御装置。
The video data acquisition unit acquires video data obtained by photographing the traveling direction of the vehicle, and obtains video data.
The recognition processing unit recognizes a person or a bicycle on which a person is riding as a specific object in the traveling direction of the vehicle.
The object recognition control device according to any one of claims 1 to 3.
車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得ステップと、
前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、
前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、
を含み、
前記認識処理ステップにおいては、前記運転者情報取得ステップで取得した前記運転者情報に基づいて、前記閾値を変化させる、
オブジェクト認識制御装置が実行するオブジェクト認識制御方法。
A video data acquisition step to acquire video data taken by the shooting unit that shoots the surroundings of the vehicle,
The driver information acquisition step for acquiring the driver information indicating the concentration level of the driver of the vehicle, and the driver information acquisition step.
When the score indicating the specific object-likeness is equal to or higher than the threshold value for the video data acquired in the video data acquisition step, the recognition processing step for recognizing the specific object and the recognition processing step.
A presentation processing step that presents information on the specific object recognized in the recognition processing step to the driver of the vehicle, and a presentation processing step.
Including
In the recognition processing step, the threshold value is changed based on the driver information acquired in the driver information acquisition step.
The object recognition control method executed by the object recognition control device.
JP2020147571A 2020-09-02 2020-09-02 Object recognition controller and method for controlling object recognition Pending JP2022042239A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020147571A JP2022042239A (en) 2020-09-02 2020-09-02 Object recognition controller and method for controlling object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147571A JP2022042239A (en) 2020-09-02 2020-09-02 Object recognition controller and method for controlling object recognition

Publications (1)

Publication Number Publication Date
JP2022042239A true JP2022042239A (en) 2022-03-14

Family

ID=80629375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147571A Pending JP2022042239A (en) 2020-09-02 2020-09-02 Object recognition controller and method for controlling object recognition

Country Status (1)

Country Link
JP (1) JP2022042239A (en)

Similar Documents

Publication Publication Date Title
US10970572B2 (en) Driver condition detection system
US20160262682A1 (en) Driver monitoring apparatus
CN111492420B (en) Doze alarm device
JP7290930B2 (en) Occupant modeling device, occupant modeling method and occupant modeling program
US11084424B2 (en) Video image output apparatus, video image output method, and medium
JP6928825B2 (en) Doze prevention devices, doze prevention methods, and programs
US20150125126A1 (en) Detection system in a vehicle for recording the speaking activity of a vehicle occupant
US11430231B2 (en) Emotion estimation device and emotion estimation method
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
JP6672972B2 (en) Safe driving support device and safe driving support program
JP2017091013A (en) Driving support device
JP6701951B2 (en) Driving support device
CN112617829A (en) Method and device for recognizing a safety-relevant emotional state of a driver
CN110949272A (en) Vehicle-mounted display equipment adjusting method and device, vehicle, medium and equipment
JP2009166783A (en) Symptom inference device
JP2022042239A (en) Object recognition controller and method for controlling object recognition
JP7046748B2 (en) Driver status determination device and driver status determination method
JP2021115911A (en) Display controller, display system, display control method and program
CN107832726B (en) User identification and confirmation device and vehicle central control system
JP2019095892A (en) Vehicle drive supporting device and vehicle drive supporting program
JP2022048481A (en) Object recognition control device and object recognition control method
JP6852407B2 (en) Driver status detector
JP2021051680A (en) Emergency call device and method
US20220314975A1 (en) Drive assist system
US20170287307A1 (en) Method for furnishing a warning signal, and method for generating a pre-microsleep pattern for detection of an impending microsleep event for a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306