JP2021509516A - 衝突制御方法及び装置、電子機器並びに記憶媒体 - Google Patents

衝突制御方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2021509516A
JP2021509516A JP2020555288A JP2020555288A JP2021509516A JP 2021509516 A JP2021509516 A JP 2021509516A JP 2020555288 A JP2020555288 A JP 2020555288A JP 2020555288 A JP2020555288 A JP 2020555288A JP 2021509516 A JP2021509516 A JP 2021509516A
Authority
JP
Japan
Prior art keywords
collision
target object
danger
collision control
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020555288A
Other languages
English (en)
Other versions
JP7163407B2 (ja
Inventor
源洋 ▲トォン▼
源洋 ▲トォン▼
▲寧▼元 毛
▲寧▼元 毛
文志 ▲劉▼
文志 ▲劉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2021509516A publication Critical patent/JP2021509516A/ja
Application granted granted Critical
Publication of JP7163407B2 publication Critical patent/JP7163407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Abstract

本開示は衝突制御方法及び装置、電子機器並びに記憶媒体に関し、前記方法は、走行対象物が撮像した画像中の目標対象物を検出することと、前記走行対象物の前方衝突危険領域を決定することと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含む。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１８年４月２８日に中国特許局に提出された、出願番号２０１８１０４０４５５５．０、発明名称が「衝突制御方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示はコンピュータビジョンの技術分野に関し、特に衝突制御方法及び装置、電子機器並びに記憶媒体に関する。
車両のインテリジェントドライブの場合、コンピュータビジョン技術を使用して歩行者、他の車両などの目標を検知し、検知した目標をインテリジェントドライブの制御に用いる必要がある。
本開示は衝突制御の技術的解決手段を提供する。
本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出することと、前記走行対象物の前方衝突危険領域を決定することと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含む衝突制御方法を提供する。
本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュールと、前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュールと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュールと、を含む衝突制御装置を提供する。
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータ読取可能な記憶媒体を提供する。
本開示の一方面によれば、プロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータプログラムを提供する。
本開示の実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。
本開示の他の特徴及び方面は、以下、図面を参照しながら例示的な実施例について詳細に説明することにより明らかになる。
明細書の一部として明細書に含まれる図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、本開示の原理を解釈するために用いられる。
本開示の一実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御装置のブロック図を示す。 本開示の一例示的な実施例による電子機器のブロック図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。
図１は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図１に示すように、前記衝突制御方法は、以下のステップを含む。
ステップＳ１０、走行対象物が撮像した画像中の目標対象物を検出する。
可能な実施形態では、目標対象物はいかなるタイプの対象物であってもよい。例えば、目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含むことができる。
目標対象物は、単一の対象物タイプの一つまたは複数の目標対象物であってもよく、複数の対象物タイプの複数の目標対象物であってもよい。例えば、車両だけを目標対象物としてもよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。また、車両および歩行者をともに目標対象物としてもよい。目標対象物は複数の車両および複数の歩行者である。必要に応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。
走行対象物は、移動可能な対象物、例えば自動車、非自動車及びロボットなどを含んでもよい。走行対象物は、人によって携帯または着用されるデバイスであってもよい。
走行対象物が車両である場合、本開示の実施例は自動運転、支援運転などの技術分野に応用され得る。必要に応じて走行対象物を決定することができる。本開示はこれを限定しない。
走行対象物に撮像装置を配置し、設定方向の画像を撮像することができる。走行対象物は、その前方、後方、側方など任意の１つまたは複数の方向の画像を撮像することができる。本開示はこれを限定しない。
走行対象物が撮像した画像は、撮像装置によって撮像された単一フレームの画像を含んでもよく、撮像装置によって撮像されたビデオストリーム内のフレーム画像を含んでもよい。
走行対象物は、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなどの様々なビジョンセンサによって画像を撮像することができる。単眼カメラを使用する場合、システムコストが低く、応答が速い。ＲＧＢカメラまたは赤外線カメラを使用する場合、特別な環境で画像を撮像することができる。双眼カメラを使用する場合、目標対象物のより豊かな情報を取得することができる。衝突防止の要求、環境、走行対象物のタイプおよびコストなどに応じて、異なる撮像装置を選択することができる。本開示はこれを限定しない。
走行対象物が撮像した画像中の目標対象物を検出した結果は、目標対象物の特徴を含んでもよく、目標対象物の状態などを含んでもよい。本開示はこれを限定しない。
例えば、検出した結果は、目標対象物の特徴（例えば、歩行者は高齢者である）、位置（例えば、目標対象物の走行対象物に対する相対位置）、距離（例えば、目標対象物の走行対象物に対する距離）、速度（例えば、目標対象物の走行対象物に対する相対速度）、加速度、移動方向（例えば、目標対象物の走行対象物に対する移動方向）などを含んでもよい。
Ｓ２０、前記走行対象物の前方衝突危険領域を決定する。
可能な実施形態では、前方衝突危険領域は、走行対象物の前方への移動中に、衝突の可能性がある領域、または衝突の確率が予め設定された条件を満たす領域であってもよい。前方衝突危険領域は実際の要求および／または検出条件に応じて決定することができる。例えば、矩形、扇形、台形などの様々な形状であってもよいが、これらに限定されない。本出願はこれを限定しない。図８ａ、図８ｂ、図８ｃ、図８ｄは前方衝突危険領域の模式図を示し、そのうち、図８ａ、図８ｃ、図８ｄは矩形の前方衝突危険領域であり、図８ｂは扇形の前方衝突危険領域である。
Ｓ３０、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行する。
可能な実施形態では、目標対象物と前方衝突危険領域との相対関係は、目標対象物が前方衝突危険領域内または前方衝突危険領域外にあることと、目標対象物が前方衝突危険領域に入る傾向があること（例えば、目標対象物が前方衝突危険領域外にあり、且つ目標対象物が前方衝突危険領域内へ移動する）などを含んでもよい。目標対象物と前方衝突危険領域との相対関係は、目標対象物と走行対象物が衝突する危険度を反映することができる。
本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。
図２は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図２に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するステップＳ３１と、
前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するステップＳ３２と、を含む。
可能な実施形態では、目標対象物の危険レベルは危険、安全などのように区分けしてもよく、第１の危険レベル、第２の危険レベル、第３の危険レベルなどのように区分けしてもよい。
可能な実施形態では、衝突制御は衝突警告および／または運転制御を含み、運転制御は、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含んでもよい。
目標対象物と前記前方衝突危険領域との相対関係に基づいて、対応する衝突警告を行って、危険を報知することができる。衝突警告は、例えば音声警告（警報音、音声報知など）、視覚的警告（指示灯、画面表示など）、振動警告など様々な形態の警告を含んでもよい。異なる相対関係に対して異なる衝突警告、例えば異なる音声または表示内容、異なる音量レベル、異なる振動強度などを設定することができる。特定された相対関係に基づいて、対応する衝突警告をトリガすることにより、走行対象物の使用者が種々の目標対象物の危険度を容易に区別することができる。
例えば、相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される衝突警告は、「近くに歩行者がいて、直ちに避けてください！」という音声放送であってもよく、大音量の警報音であってもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が低い場合、該相対関係に対応して実行される衝突警告は「歩行者を避けてください」という音声放送であってもよく、小音量の警報音であってもよい。
異なるタイプの衝突警告は、単独で実行されてもよく、組み合わせて実行されてもよい。
また、前記相対関係に対応する運転制御を実行することもできる。例えば、相対関係に基づいて、対応する運転制御方式を特定し、該運転制御方式に対応する運転コマンドを車両の制御システムに伝送して、運転制御を実現することができる。
例えば、相対関係は目標対象物が前方衝突危険領域外にあり、危険度が低い場合、該相対関係に対応して実行される運転制御は、速度低減であって、例えば速度を１０％低下させてもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される運転制御は、より大幅な速度低減であって、例えば速度を５０％低下させて、またはブレーキしてもよい。
衝突警告と運転制御は、いずれか一つが実行されてもよく、ともに実行されてもよい。目標対象物と前方衝突危険領域との異なる相対関係を異なる危険レベルに対応させて、異なる危険レベルに応じて、異なる衝突制御で警告するまたは危険を回避することができる。
本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することとを含む。
第１の危険レベルは第２の危険レベルよりも高いようにしてもよい。目標対象物が前方衝突危険領域内にある場合、目標対象物の危険レベルは高く、目標対象物が前方衝突危険領域外にある場合、目標対象物の危険レベルは低い。第１の危険レベルの危険度は第２の危険レベルの危険度よりも高く、第１の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第１の危険レベルに対応して、大幅な速度低減および高音量の音声報知を行って、一方、第２の危険レベルに対応して、小幅な速度低減および低音量の音声報知を行うか、または音声報知のみを行うことができる。このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。
可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することを含む。
第３の危険レベルの危険度は上記第１の危険レベルよりも低く、且つ上記第２の危険レベルよりも高いようにしてもよい。また、第３の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高く、且つ第１の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第３の危険レベルに対応して、中程度の速度低減および中等音量の音声報知を行うことができる。このように、前方衝突危険領域に入る傾向がある目標対象物に対して適正な危険レベルを設定することにより、衝突制御はより正確になる。
本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。
図３は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図３に示すように、前記衝突制御方法におけるステップＳ２０は、
危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するステップＳ２１を含む。
可能な実施形態では、前方衝突危険領域は、走行対象物のパラメータ、環境パラメータなどの因子に基づいて決定されることができる。
可能な実施形態では、危険距離は、前方衝突危険領域における、走行対象物前方の最遠境界と走行対象物との距離を示すことができる。例えば、図８ａにおける距離Ｄである。衝突制御の要求、走行対象物が位置する環境および走行対象物自身の特徴に基づいて危険距離を決定することができる。例えば、走行対象物が位置する環境の危険度が高いほど、なるべく早く衝突制御を行うように、危険距離を長くする。
危険距離は、走行対象物の性能パラメータ、例えば車両の走行速度、ブレーキ距離などに基づいて決定することができる。性能パラメータは、走行対象物に対してリアルタイム検出を行うことによって得られるか、または走行対象物のプリセットパラメータによって得られる。危険距離は、現在の環境因子、例えば地面の積雪の度合い、積水の度合い、可視性などに基づいて決定してもよい。環境因子は、リアルタイム検出によって得られてもよく、インターネットなどの手段を介して外部のデータベースから得られてもよい。
例えば、車両の走行速度が速いほど、危険距離は長く、ブレーキ距離が長いほど、危険距離は長く、環境状況が悪いほど（例えば積雪や積水が多く、可視性が低いなど）、危険距離は長い。本開示は危険距離の具体的な決定方式を限定しない。
例えば、危険距離および走行対象物自体の幅に基づいて前方衝突危険領域を決定することができる。
例えば、車両のプリセットパラメータに基づいて車両自体の幅Ｗを得ることができる。図８ａにおける破線に示すように、Ｗを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。該矩形領域を適切に広げてもよく、例えば、図８ａにおける実線に示すように、矩形の前方衝突危険領域の幅をＷ＋２Ｌまで広げる。ここで、車両の両側にそれぞれＬの幅を広げ、Ｌは走行対象物のパラメータまたは環境パラメータなどの因子に基づいて決定されることができる。
さらなる例として、図８ｂに示すように、車両前部のある点Ｏを原点とし、危険距離Ｄを半径とし、扇形の前方衝突危険領域を形成してもよい。ここで、扇形の角度は車両自体の幅Ｗによって決定され、Ｗが広いほど、扇形の角度は大きいようにしてもよい。
また、危険距離および走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定することもできる。
例えば、計測またはインターネットからのデータによって、車両が位置する道路の幅Ｍを得ることができる。２車線の車線を例とすると、図８ｃに示すように、Ｍ／２−Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍ／２は車両が位置する走行方向の道路の幅、例えば左側の車線の幅である。Ｎは道路状況、天気などの因子に基づいて決定され、例えば、道路渋滞時にＮは大きいようにしてもよい。
また、危険距離、走行対象物自体の幅および走行対象物が位置する道路の幅の三者に基づいて前方衝突危険領域を決定することもできる。例えば、車両自体の幅をＷとし、車両が位置する道路の幅をＭとすると、図８ｄに示すように、Ｍ−２Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍは車両が位置する走行方向の道路の幅であり、ＮはＷに関係している。Ｎは道路状況、天気などの因子に基づいて決定されてもよく、例えば、道路渋滞時にＮは大きいようにしてもよい。
本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。
図４は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。如図４に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の距離を決定するステップＳ３３と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３４と、を含む。
可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。
可能な実施形態では、衝突制御は第１の衝突制御および第２の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行すること、を含んでもよい。
第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。
可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行すること、を含む。
第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外の目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
図５は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図５に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の衝突時間を決定するステップＳ３５と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３６とを含む。
可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行すること、を含む。
可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行すること、を含む。
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記衝突制御方法におけるステップＳ１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出することを含んでもよい。
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
ニューラルネットワークは、ＲＦＣＮ（Ｒｅｇｉｏｎ―ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、領域ベースの完全畳み込みネットワーク）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔＲＣＮＮ（Ｆａｓｔ ＲＣＮＮ、高速の領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔｅｒＲＣＮＮ（Ｆａｓｔｅｒ ＲＣＮＮ、より高速の領域ベースの畳み込みニューラルネットワーク）、ＳＰＰＮｅｔ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、空間ピラミッドプーリング畳み込みネットワーク）、ＤＰＭ （Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌｓ、変形可能パーツモデル）、ＯｖｅｒＦｅａｔ（同じ畳み込みネットワークに基づく複数のタスク）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、画像を１度だけ見る）などの構築方式に基づいたものであってもよいが、本開示はこれを限定しない。
例えば、ＢＰ（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ、バックプロパゲーション）などのタイプのニューラルネットワークに基づく画像追跡技術によって、連続した複数フレームのビデオ画像中の同一の目標対象物を追跡することで、目標対象物の運動状態および行動状態を検出することができ、例えば目標対象物が走行対象物の左前方から右前方へ移動し、前方を目視することなどを検出した。
さらなる例として、ＲＣＮＮ （Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）などのタイプのニューラルネットワークに基づく双眼測距技術によって、双眼カメラによって撮像された画像を使って目標対象物と走行対象物との距離を決定することができる。
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
また、本開示は画像処理装置、電子機器、コンピュータ読取可能な記憶媒体及びプログラムをさらに提供し、それらはいずれも本開示で提供される画像処理方法のいずれか１つを実現するために利用可能であり、それに対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、ここで省略する。
図６は本開示の一例示的な実施例による衝突制御装置のブロック図を示す。図６に示すように、前記衝突制御装置は、
走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュール１０と、
前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュール２０と、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュール３０と、を含む。
本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことにより、走行対象物に対する衝突制御はより適切で、より効率的で、且つより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するための危険レベル特定サブモジュールと、前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するための第１の衝突制御実行サブモジュールとを含む。
本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することで、目標対象物に対する正確且つ適切な衝突制御を達成する。
可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することに用いられる。
このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。
可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定するために用いられる。
本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記前方衝突危険領域決定モジュール２０は、危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するための第１の前方衝突危険領域決定サブモジュールを含む。
本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の距離を決定するための距離決定サブモジュールと、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するための第２の衝突制御実行サブモジュールと、を含む。
可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。
可能な実施形態では、前記衝突制御は第１の衝突制御および第２の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行することに用いられる。
第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。
可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行することに用いられる。
第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の衝突時間を決定するための衝突時間決定サブモジュールと、前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するための第３の衝突制御実行サブモジュールとを含む。
可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行することに用いられる。
可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行することに用いられる。
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含む。
可能な実施形態では、前記目標対象物検出モジュール１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出するための第１の目標対象物検出サブモジュールを含む。
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
いくつかの実施例では、本開示の実施例で提供された衝突制御装置が備えた機能又はモジュールは、上記衝突制御方法の実施例に記載の方法を実行するために利用可能であり、その具体的な実施については、上記衝突制御方法の実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は省略する。
本開示の実施例は、プロセッサにより実行されると上記衝突制御方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体をさらに提供する。コンピュータ読取可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器をさらに提供する。
図７は本開示の一示例的な実施例による電子機器のブロック図を示す。電子機器は端末、サーバ又は他の形態装置として提供されてもよい。前記電子機器は衝突制御装置８００を含む。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント、車載装置などの端末であってもよい。
図７に示すように、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において操作されるあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界のみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム機能を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は装置８００の各面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出することができる。センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出することができる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用される光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉ-Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネル経由で外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、装置８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えば、装置８００のプロセッサ８２０によって実行されると上記方法を実行させるコンピュータプログラム命令を含むメモリ８０４が提供される。
例示的な実施例では、コンピュータプログラムをさらに提供する。コンピュータプログラムはプロセッサによって実行されると、上記いずれか１つの方法を実行させる。例えば、コンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体は命令実行装置において使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造ような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、または、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、一つの独立のソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む
コンピュータ読み取り可能なプログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうち、フローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に開示された各実施例を理解させるためのものである。
関連出願の相互参照
本出願は、２０１８年４月２８日に中国特許局に提出された、出願番号２０１８１０４０４５５５．０、発明名称が「衝突制御方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示はコンピュータビジョンの技術分野に関し、特に衝突制御方法及び装置、電子機器並びに記憶媒体に関する。
車両のインテリジェントドライブの場合、コンピュータビジョン技術を使用して歩行者、他の車両などの目標を検知し、検知した目標をインテリジェントドライブの制御に用いる必要がある。
本開示は衝突制御の技術的解決手段を提供する。
本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出することと、前記走行対象物の前方衝突危険領域を決定することと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含む衝突制御方法を提供する。
本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュールと、前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュールと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュールと、を含む衝突制御装置を提供する。
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータ読取可能な記憶媒体を提供する。
本開示の一方面によれば、プロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータプログラムを提供する。
本開示の実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。
本開示の他の特徴及び方面は、以下、図面を参照しながら例示的な実施例について詳細に説明することにより明らかになる。
明細書の一部として明細書に含まれる図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、本開示の原理を解釈するために用いられる。
本開示の一実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。 本開示の一例示的な実施例による衝突制御装置のブロック図を示す。 本開示の一例示的な実施例による電子機器のブロック図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。 本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。
図１は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図１に示すように、前記衝突制御方法は、以下のステップを含む。
ステップＳ１０、走行対象物が撮像した画像中の目標対象物を検出する。
可能な実施形態では、目標対象物はいかなるタイプの対象物であってもよい。例えば、目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含むことができる。
目標対象物は、単一の対象物タイプの一つまたは複数の目標対象物であってもよく、複数の対象物タイプの複数の目標対象物であってもよい。例えば、車両だけを目標対象物としてもよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。また、車両および歩行者をともに目標対象物としてもよい。目標対象物は複数の車両および複数の歩行者である。必要に応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。
走行対象物は、移動可能な対象物、例えば自動車、非自動車及びロボットなどを含んでもよい。走行対象物は、人によって携帯または着用されるデバイスであってもよい。
走行対象物が車両である場合、本開示の実施例は自動運転、支援運転などの技術分野に応用され得る。必要に応じて走行対象物を決定することができる。本開示はこれを限定しない。
走行対象物に撮像装置を配置し、設定方向の画像を撮像することができる。走行対象物は、その前方、後方、側方など任意の１つまたは複数の方向の画像を撮像することができる。本開示はこれを限定しない。
走行対象物が撮像した画像は、撮像装置によって撮像された単一フレームの画像を含んでもよく、撮像装置によって撮像されたビデオストリーム内のフレーム画像を含んでもよい。
走行対象物は、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなどの様々なビジョンセンサによって画像を撮像することができる。単眼カメラを使用する場合、システムコストが低く、応答が速い。ＲＧＢカメラまたは赤外線カメラを使用する場合、特別な環境で画像を撮像することができる。双眼カメラを使用する場合、目標対象物のより豊かな情報を取得することができる。衝突防止の要求、環境、走行対象物のタイプおよびコストなどに応じて、異なる撮像装置を選択することができる。本開示はこれを限定しない。
走行対象物が撮像した画像中の目標対象物を検出した結果は、目標対象物の特徴を含んでもよく、目標対象物の状態などを含んでもよい。本開示はこれを限定しない。
例えば、検出した結果は、目標対象物の特徴（例えば、歩行者は高齢者である）、位置（例えば、目標対象物の走行対象物に対する相対位置）、距離（例えば、目標対象物の走行対象物に対する距離）、速度（例えば、目標対象物の走行対象物に対する相対速度）、加速度、移動方向（例えば、目標対象物の走行対象物に対する移動方向）などを含んでもよい。
Ｓ２０、前記走行対象物の前方衝突危険領域を決定する。
可能な実施形態では、前方衝突危険領域は、走行対象物の前方への移動中に、衝突の可能性がある領域、または衝突の確率が予め設定された条件を満たす領域であってもよい。前方衝突危険領域は実際の要求および／または検出条件に応じて決定することができる。例えば、矩形、扇形、台形などの様々な形状であってもよいが、これらに限定されない。本出願はこれを限定しない。図８ａ、図８ｂ、図８ｃ、図８ｄは前方衝突危険領域の模式図を示し、そのうち、図８ａ、図８ｃ、図８ｄは矩形の前方衝突危険領域であり、図８ｂは扇形の前方衝突危険領域である。
Ｓ３０、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行する。
可能な実施形態では、目標対象物と前方衝突危険領域との相対関係は、目標対象物が前方衝突危険領域内または前方衝突危険領域外にあることと、目標対象物が前方衝突危険領域に入る傾向があること（例えば、目標対象物が前方衝突危険領域外にあり、且つ目標対象物が前方衝突危険領域内へ移動する）などを含んでもよい。目標対象物と前方衝突危険領域との相対関係は、目標対象物と走行対象物が衝突する危険度を反映することができる。
本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。
図２は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図２に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するステップＳ３１と、
前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するステップＳ３２と、を含む。
可能な実施形態では、目標対象物の危険レベルは危険、安全などのように区分けしてもよく、第１の危険レベル、第２の危険レベル、第３の危険レベルなどのように区分けしてもよい。
可能な実施形態では、衝突制御は衝突警告および／または運転制御を含み、運転制御は、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含んでもよい。
目標対象物と前記前方衝突危険領域との相対関係に基づいて、対応する衝突警告を行って、危険を報知することができる。衝突警告は、例えば音声警告（警報音、音声報知など）、視覚的警告（指示灯、画面表示など）、振動警告など様々な形態の警告を含んでもよい。異なる相対関係に対して異なる衝突警告、例えば異なる音声または表示内容、異なる音量レベル、異なる振動強度などを設定することができる。特定された相対関係に基づいて、対応する衝突警告をトリガすることにより、走行対象物の使用者が種々の目標対象物の危険度を容易に区別することができる。
例えば、相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される衝突警告は、「近くに歩行者がいて、直ちに避けてください！」という音声放送であってもよく、大音量の警報音であってもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が低い場合、該相対関係に対応して実行される衝突警告は「歩行者を避けてください」という音声放送であってもよく、小音量の警報音であってもよい。
異なるタイプの衝突警告は、単独で実行されてもよく、組み合わせて実行されてもよい。
また、前記相対関係に対応する運転制御を実行することもできる。例えば、相対関係に基づいて、対応する運転制御方式を特定し、該運転制御方式に対応する運転コマンドを車両の制御システムに伝送して、運転制御を実現することができる。
例えば、相対関係は目標対象物が前方衝突危険領域外にあり、危険度が低い場合、該相対関係に対応して実行される運転制御は、速度低減であって、例えば速度を１０％低下させてもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される運転制御は、より大幅な速度低減であって、例えば速度を５０％低下させて、またはブレーキしてもよい。
衝突警告と運転制御は、いずれか一つが実行されてもよく、ともに実行されてもよい。目標対象物と前方衝突危険領域との異なる相対関係を異なる危険レベルに対応させて、異なる危険レベルに応じて、異なる衝突制御で警告するまたは危険を回避することができる。
本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することとを含む。
第１の危険レベルは第２の危険レベルよりも高いようにしてもよい。目標対象物が前方衝突危険領域内にある場合、目標対象物の危険レベルは高く、目標対象物が前方衝突危険領域外にある場合、目標対象物の危険レベルは低い。第１の危険レベルの危険度は第２の危険レベルの危険度よりも高く、第１の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第１の危険レベルに対応して、大幅な速度低減および高音量の音声報知を行って、一方、第２の危険レベルに対応して、小幅な速度低減および低音量の音声報知を行うか、または音声報知のみを行うことができる。このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。
可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することを含む。
第３の危険レベルの危険度は上記第１の危険レベルよりも低く、且つ上記第２の危険レベルよりも高いようにしてもよい。また、第３の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高く、且つ第１の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第３の危険レベルに対応して、中程度の速度低減および中等音量の音声報知を行うことができる。このように、前方衝突危険領域に入る傾向がある目標対象物に対して適正な危険レベルを設定することにより、衝突制御はより正確になる。
本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。
図３は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図３に示すように、前記衝突制御方法におけるステップＳ２０は、
危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するステップＳ２１を含む。
可能な実施形態では、前方衝突危険領域は、走行対象物のパラメータ、環境パラメータなどの因子に基づいて決定されることができる。
可能な実施形態では、危険距離は、前方衝突危険領域における、走行対象物前方の最遠境界と走行対象物との距離を示すことができる。例えば、図８ａにおける距離Ｄである。衝突制御の要求、走行対象物が位置する環境および走行対象物自身の特徴に基づいて危険距離を決定することができる。例えば、走行対象物が位置する環境の危険度が高いほど、なるべく早く衝突制御を行うように、危険距離を長くする。
危険距離は、走行対象物の性能パラメータ、例えば車両の走行速度、ブレーキ距離などに基づいて決定することができる。性能パラメータは、走行対象物に対してリアルタイム検出を行うことによって得られるか、または走行対象物のプリセットパラメータによって得られる。危険距離は、現在の環境因子、例えば地面の積雪の度合い、積水の度合い、可視性などに基づいて決定してもよい。環境因子は、リアルタイム検出によって得られてもよく、インターネットなどの手段を介して外部のデータベースから得られてもよい。
例えば、車両の走行速度が速いほど、危険距離は長く、ブレーキ距離が長いほど、危険距離は長く、環境状況が悪いほど（例えば積雪や積水が多く、可視性が低いなど）、危険距離は長い。本開示は危険距離の具体的な決定方式を限定しない。
例えば、危険距離および走行対象物自体の幅に基づいて前方衝突危険領域を決定することができる。
例えば、車両のプリセットパラメータに基づいて車両自体の幅Ｗを得ることができる。図８ａにおける破線に示すように、Ｗを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。該矩形領域を適切に広げてもよく、例えば、図８ａにおける実線に示すように、矩形の前方衝突危険領域の幅をＷ＋２Ｌまで広げる。ここで、車両の両側にそれぞれＬの幅を広げ、Ｌは走行対象物のパラメータまたは環境パラメータなどの因子に基づいて決定されることができる。
さらなる例として、図８ｂに示すように、車両前部のある点Ｏを原点とし、危険距離Ｄを半径とし、扇形の前方衝突危険領域を形成してもよい。ここで、扇形の角度は車両自体の幅Ｗによって決定され、Ｗが広いほど、扇形の角度は大きいようにしてもよい。
また、危険距離および走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定することもできる。
例えば、計測またはインターネットからのデータによって、車両が位置する道路の幅Ｍを得ることができる。２車線の車線を例とすると、図８ｃに示すように、Ｍ／２−Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍ／２は車両が位置する走行方向の道路の幅、例えば左側の車線の幅である。Ｎは道路状況、天気などの因子に基づいて決定され、例えば、道路渋滞時にＮは大きいようにしてもよい。
また、危険距離、走行対象物自体の幅および走行対象物が位置する道路の幅の三者に基づいて前方衝突危険領域を決定することもできる。例えば、車両自体の幅をＷとし、車両が位置する道路の幅をＭとすると、図８ｄに示すように、Ｍ−２Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍは車両が位置する走行方向の道路の幅であり、ＮはＷに関係している。Ｎは道路状況、天気などの因子に基づいて決定されてもよく、例えば、道路渋滞時にＮは大きいようにしてもよい。
本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。
図４は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。如図４に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の距離を決定するステップＳ３３と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３４と、を含む。
可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。
可能な実施形態では、衝突制御は第１の衝突制御および第２の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行すること、を含んでもよい。
第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。
可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行すること、を含む。
第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外の目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
図５は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図５に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の衝突時間を決定するステップＳ３５と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３６とを含む。
可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行すること、を含む。
可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行すること、を含む。
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記衝突制御方法におけるステップＳ１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出することを含んでもよい。
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
ニューラルネットワークは、ＲＦＣＮ（Ｒｅｇｉｏｎ―ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、領域ベースの完全畳み込みネットワーク）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔＲＣＮＮ（Ｆａｓｔ ＲＣＮＮ、高速の領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔｅｒＲＣＮＮ（Ｆａｓｔｅｒ ＲＣＮＮ、より高速の領域ベースの畳み込みニューラルネットワーク）、ＳＰＰＮｅｔ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、空間ピラミッドプーリング畳み込みネットワーク）、ＤＰＭ （Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌｓ、変形可能パーツモデル）、ＯｖｅｒＦｅａｔ（同じ畳み込みネットワークに基づく複数のタスク）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ
Ｌｏｏｋ Ｏｎｃｅ、画像を１度だけ見る）などの構築方式に基づいたものであってもよいが、本開示はこれを限定しない。
例えば、ＢＰ（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ、バックプロパゲーション）などのタイプのニューラルネットワークに基づく画像追跡技術によって、連続した複数フレームのビデオ画像中の同一の目標対象物を追跡することで、目標対象物の運動状態および行動状態を検出することができ、例えば目標対象物が走行対象物の左前方から右前方へ移動し、前方を目視することなどを検出した。
さらなる例として、ＲＣＮＮ （Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）などのタイプのニューラルネットワークに基づく双眼測距技術によって、双眼カメラによって撮像された画像を使って目標対象物と走行対象物との距離を決定することができる。
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
また、本開示は衝突制御装置、電子機器、コンピュータ読取可能な記憶媒体及びプログラムをさらに提供し、それらはいずれも本開示で提供される衝突制御方法のいずれか１つを実現するために利用可能であり、それに対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、ここで省略する。
図６は本開示の一例示的な実施例による衝突制御装置のブロック図を示す。図６に示すように、前記衝突制御装置は、
走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュール１０と、
前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュール２０と、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュール３０と、を含む。
本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことにより、走行対象物に対する衝突制御はより適切で、より効率的で、且つより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するための危険レベル特定サブモジュールと、前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するための第１の衝突制御実行サブモジュールとを含む。
本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することで、目標対象物に対する正確且つ適切な衝突制御を達成する。
可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することに用いられる。
このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。
可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定するために用いられる。
本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記前方衝突危険領域決定モジュール２０は、危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するための第１の前方衝突危険領域決定サブモジュールを含む。
本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の距離を決定するための距離決定サブモジュールと、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するための第２の衝突制御実行サブモジュールと、を含む。
可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。
可能な実施形態では、前記衝突制御は第１の衝突制御および第２の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行することに用いられる。
第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。
可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行することに用いられる。
第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の衝突時間を決定するための衝突時間決定サブモジュールと、前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するための第３の衝突制御実行サブモジュールとを含む。
可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行することに用いられる。
可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行することに用いられる。
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。
可能な実施形態では、前記目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含む。
可能な実施形態では、前記目標対象物検出モジュール１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出するための第１の目標対象物検出サブモジュールを含む。
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
いくつかの実施例では、本開示の実施例で提供された衝突制御装置が備えた機能又はモジュールは、上記衝突制御方法の実施例に記載の方法を実行するために利用可能であり、その具体的な実施については、上記衝突制御方法の実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は省略する。
本開示の実施例は、プロセッサにより実行されると上記衝突制御方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体をさらに提供する。コンピュータ読取可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器をさらに提供する。
図７は本開示の一示例的な実施例による電子機器のブロック図を示す。電子機器は端末、サーバ又は他の形態装置として提供されてもよい。前記電子機器は衝突制御装置８００を含む。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント、車載装置などの端末であってもよい。
図７に示すように、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において操作されるあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界のみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム機能を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は装置８００の各面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出することができる。センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出することができる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用される光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉ-Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネル経由で外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、装置８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えば、装置８００のプロセッサ８２０によって実行されると上記方法を実行させるコンピュータプログラム命令を含むメモリ８０４が提供される。
例示的な実施例では、コンピュータプログラムをさらに提供する。コンピュータプログラムはプロセッサによって実行されると、上記いずれか１つの方法を実行させる。例えば、コンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体は命令実行装置において使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造ような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、または、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、一つの独立のソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む
コンピュータ読み取り可能なプログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうち、フローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に開示された各実施例を理解させるためのものである。

Claims (29)

  1. 走行対象物が撮像した画像中の目標対象物を検出することと、
    前記走行対象物の前方衝突危険領域を決定することと、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含むことを特徴とする衝突制御方法。
  2. 前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することと、
    前記走行対象物に対して前記危険レベルに対応する衝突制御を実行することとを含むことを特徴とする請求項１に記載の方法。
  3. 前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することは、
    前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、
    前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することとを含むことを特徴とする請求項２に記載の方法。
  4. 前記危険レベルはさらに第３の危険レベルを含み、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することを含むことを特徴とする請求項３に記載の方法。
  5. 前記走行対象物の前方衝突危険領域を決定することは、
    危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定することを含むことを特徴とする請求項１〜４のいずれか１項に記載の方法。
  6. 前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物と前記走行対象物との間の距離を決定することと、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行することとを含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
  7. 前記衝突制御は第１の衝突制御および第２の衝突制御を含み、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行することを含むことを特徴とする請求項６に記載の方法。
  8. 前記衝突制御は第３の衝突制御および第４の衝突制御を含み、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行することを含むことを特徴とする請求項６に記載の方法。
  9. 前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物と前記走行対象物との間の衝突時間を決定することと、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行することとを含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
  10. 前記衝突制御は第５の衝突制御および第６の衝突制御を含み、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対し衝突制御を実行することは、
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行することを含むことを特徴とする請求項９に記載の方法。
  11. 前記衝突制御は第７の衝突制御および第８の衝突制御を含み、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行することは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行することを含むことを特徴とする請求項９に記載の方法。
  12. 前記目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含むことを特徴とする請求項１〜１１のいずれか１項に記載の方法。
  13. 走行対象物が撮像した画像中の目標対象物を検出することは、
    ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出することを含むことを特徴とする請求項１〜１２のいずれか１項に記載の方法。
  14. 走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュールと、
    前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュールと、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュールと、を含むことを特徴とする衝突制御装置。
  15. 前記衝突制御実行モジュールは、
    前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するための危険レベル特定サブモジュールと、
    前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するための第１の衝突制御実行サブモジュールと、を含むことを特徴とする請求項１４に記載の装置。
  16. 前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
    前記危険レベル特定サブモジュールは、
    前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、
    前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することに用いられることを特徴とする請求項１５に記載の装置。
  17. 前記危険レベルはさらに第３の危険レベルを含み、
    前記危険レベル特定サブモジュールは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することに用いられることを特徴とする請求項１６に記載の装置。
  18. 前記前方衝突危険領域決定モジュールは、
    危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するための第１の前方衝突危険領域決定サブモジュールを含むことを特徴とする請求項１４〜１７のいずれか１項に記載の装置。
  19. 前記衝突制御実行モジュールは、
    前記目標対象物と前記走行対象物との間の距離を決定するための距離決定サブモジュールと、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するための第２の衝突制御実行サブモジュールと、を含むことを特徴とする請求項１４〜１８のいずれか１項に記載の装置。
  20. 前記衝突制御は第１の衝突制御および第２の衝突制御を含み、
    前記第２の衝突制御実行サブモジュールは、
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行することに用いられることを特徴とする請求項１９に記載の装置。
  21. 前記衝突制御は第３の衝突制御および第４の衝突制御を含み、
    前記第２の衝突制御実行サブモジュールは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、
    前記走行対象物に対して第３の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行することに用いられることを特徴とする請求項１９に記載の装置。
  22. 前記衝突制御実行モジュールは、
    前記目標対象物と前記走行対象物との間の衝突時間を決定するための衝突時間決定サブモジュールと、
    前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するための第３の衝突制御実行サブモジュールと、を含むことを特徴とする請求項１４〜１８のいずれか１項に記載の装置。
  23. 前記衝突制御は第５の衝突制御および第６の衝突制御を含み、
    前記第３の衝突制御実行サブモジュールは、
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行することに用いられることを特徴とする請求項２２に記載の装置。
  24. 前記衝突制御は第７の衝突制御および第８の衝突制御を含み、
    前記第３の衝突制御実行サブモジュールは、
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または
    前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行することに用いられることを特徴とする請求項２２に記載の装置。
  25. 前記目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含むことを特徴とする請求項１４〜２４のいずれか１項に記載の装置。
  26. 前記目標対象物検出モジュールは、
    ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出するための第１の目標対象物検出サブモジュールを含むことを特徴とする請求項１４〜２５のいずれか１項に記載の装置。
  27. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって請求項１〜１３のいずれか１項に記載の方法を実行することを特徴とする電子機器。
  28. コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１〜１３のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
  29. プロセッサによって実行されると、請求項１〜１３のいずれか１項に記載の方法を実現させることを特徴とするコンピュータプログラム。
JP2020555288A 2018-04-28 2019-04-26 衝突制御方法及び装置、電子機器並びに記憶媒体 Active JP7163407B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810404555.0 2018-04-28
CN201810404555.0A CN108549880B (zh) 2018-04-28 2018-04-28 碰撞控制方法及装置、电子设备和存储介质
PCT/CN2019/084527 WO2019206272A1 (zh) 2018-04-28 2019-04-26 碰撞控制方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021509516A true JP2021509516A (ja) 2021-03-25
JP7163407B2 JP7163407B2 (ja) 2022-10-31

Family

ID=63512887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555288A Active JP7163407B2 (ja) 2018-04-28 2019-04-26 衝突制御方法及び装置、電子機器並びに記憶媒体

Country Status (5)

Country Link
US (1) US11308809B2 (ja)
JP (1) JP7163407B2 (ja)
CN (1) CN108549880B (ja)
SG (1) SG11202005736VA (ja)
WO (1) WO2019206272A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549880B (zh) 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN109508710A (zh) * 2018-10-23 2019-03-22 东华大学 基于改进YOLOv3网络的无人车夜间环境感知方法
CN109733391A (zh) * 2018-12-10 2019-05-10 北京百度网讯科技有限公司 车辆的控制方法、装置、设备、车辆及存储介质
CN111186448A (zh) * 2020-01-06 2020-05-22 北京小米移动软件有限公司 一种智能提醒方法和装置
JP7380449B2 (ja) * 2020-06-30 2023-11-15 トヨタ自動車株式会社 判定装置及びプログラム
CN112380935B (zh) * 2020-11-03 2023-05-26 深圳技术大学 面向自动驾驶的人机协同感知方法及系统
CN112927559A (zh) * 2021-01-20 2021-06-08 国汽智控(北京)科技有限公司 一种车辆避险控制方法、装置及系统
CN113034978B (zh) * 2021-05-26 2021-08-13 浙江口碑网络技术有限公司 信息提示方法、装置、电子设备、存储介质及程序产品
FR3125890A1 (fr) * 2021-07-27 2023-02-03 Psa Automobiles Sa Procédé et dispositif d’alerte de véhicules circulant en sens inverse sur une même voie de circulation.
CN113793533A (zh) * 2021-08-30 2021-12-14 武汉理工大学 一种基于车辆前方障碍物识别的碰撞预警方法及其装置
EP4197872A1 (en) * 2021-12-16 2023-06-21 Volvo Truck Corporation Method and system for cruise control deactivation
CN114758139B (zh) * 2022-06-16 2022-10-21 成都鹏业软件股份有限公司 基坑积水检测方法
CN115886683B (zh) * 2023-01-06 2023-05-12 珠海视新医用科技有限公司 内窥镜防碰撞报警装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090748A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 車輌用警報装置
WO2008065729A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection d'objet
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
JP2014052883A (ja) * 2012-09-07 2014-03-20 Autoliv Development Ab 歩行者警告装置
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2015005187A (ja) * 2013-06-21 2015-01-08 コニカミノルタ株式会社 ライン検出装置およびライン検出方法ならびに測距装置
JP2015024713A (ja) * 2013-07-25 2015-02-05 トヨタ自動車株式会社 衝突判定装置
WO2016084149A1 (ja) * 2014-11-26 2016-06-02 三菱電機株式会社 運転支援装置および運転支援方法
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150197248A1 (en) * 1997-10-22 2015-07-16 American Vehicular Sciences Llc Vehicle speed control method and arrangement
JP3928277B2 (ja) * 1998-11-04 2007-06-13 株式会社デンソー 先行車選択装置、車間制御装置、車間警報装置及び記録媒体
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
DE102009035634B4 (de) * 2009-07-31 2012-06-28 Audi Ag Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs während eines Schleudervorgangs und entsprechendes Kraftfahrzeug
CN102059978B (zh) * 2009-11-16 2014-09-10 财团法人工业技术研究院 驾驶辅助方法与系统
KR101395089B1 (ko) * 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别系统
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
CN102765365B (zh) * 2011-05-06 2014-07-30 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US9058524B2 (en) * 2013-06-28 2015-06-16 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
CN104527520B (zh) * 2014-12-12 2017-05-17 武汉理工大学 一种基于led灯组的障碍物车载预警显示方法
JP6183388B2 (ja) * 2015-02-03 2017-08-23 トヨタ自動車株式会社 車両用制御装置
JP6592266B2 (ja) * 2015-03-31 2019-10-16 株式会社デンソー 物体検知装置、及び物体検知方法
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
US9847022B2 (en) * 2015-07-22 2017-12-19 Ace/Avant Concrete Construction Co., Inc. Vehicle detection system and method
JP6200481B2 (ja) * 2015-11-25 2017-09-20 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN105620489B (zh) * 2015-12-23 2019-04-19 深圳佑驾创新科技有限公司 驾驶辅助系统及车辆实时预警提醒方法
CN105718888B (zh) * 2016-01-22 2019-09-13 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
JP2017134520A (ja) * 2016-01-26 2017-08-03 トヨタ自動車株式会社 車両用衝突回避支援システム
CN106709443B (zh) * 2016-12-19 2020-06-02 同观科技（深圳）有限公司 一种安全带佩戴状态的检测方法及终端
US10446031B2 (en) * 2017-03-14 2019-10-15 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
CN107133559B (zh) * 2017-03-14 2019-11-08 湖北工业大学 基于360度全景的运动物体检测方法
CN107139919B (zh) * 2017-04-10 2019-09-20 浙江亚太机电股份有限公司 用于车辆防追尾预警的自保护方法
CN107264521B (zh) * 2017-05-31 2019-04-23 南京工程学院 一种汽车转弯安全预警系统
CN107886043B (zh) * 2017-07-20 2022-04-01 吉林大学 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法
CN107766802B (zh) * 2017-09-29 2020-04-28 广州大学 一种机动车前排驾乘人员未扣安全带的自适应检测方法
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测系统
CN107933568B (zh) * 2017-11-15 2019-12-03 中国联合网络通信集团有限公司 防碰撞控制方法、装置及系统
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090748A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 車輌用警報装置
WO2008065729A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection d'objet
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
JP2014052883A (ja) * 2012-09-07 2014-03-20 Autoliv Development Ab 歩行者警告装置
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2015005187A (ja) * 2013-06-21 2015-01-08 コニカミノルタ株式会社 ライン検出装置およびライン検出方法ならびに測距装置
JP2015024713A (ja) * 2013-07-25 2015-02-05 トヨタ自動車株式会社 衝突判定装置
WO2016084149A1 (ja) * 2014-11-26 2016-06-02 三菱電機株式会社 運転支援装置および運転支援方法
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム

Also Published As

Publication number Publication date
CN108549880A (zh) 2018-09-18
US11308809B2 (en) 2022-04-19
CN108549880B (zh) 2021-06-25
JP7163407B2 (ja) 2022-10-31
SG11202005736VA (en) 2020-07-29
US20200320879A1 (en) 2020-10-08
WO2019206272A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
JP2021509516A (ja) 衝突制御方法及び装置、電子機器並びに記憶媒体
JP2021508902A (ja) 衝突制御方法及び装置、電子機器並びに記憶媒体
JP7007497B2 (ja) 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体
RU2656933C2 (ru) Способ и устройство для предупреждения о встречном транспортном средстве
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
KR102466521B1 (ko) 보행자 정보 시스템
WO2022062659A1 (zh) 智能驾驶控制方法及装置、车辆、电子设备和存储介质
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
WO2021057244A1 (zh) 光强调节方法及装置、电子设备和存储介质
CN111104920A (zh) 视频处理方法及装置、电子设备和存储介质
CN110543173A (zh) 车辆定位系统及方法、车辆控制方法及装置
CN109919126B (zh) 一种移动物体探测方法、装置及存储介质
CN111832338A (zh) 对象检测方法及装置、电子设备和存储介质
CN110837258B (zh) 自动驾驶控制方法及装置、系统、电子设备和存储介质
CN113460092A (zh) 车辆控制的方法、装置、设备、存储介质及产品
CN115071704B (zh) 轨迹预测方法、装置、介质、设备、芯片和车辆
CN114633764B (zh) 交通信号灯检测方法、装置、存储介质、电子设备及车辆
CN114312821A (zh) 车辆控制方法、装置、终端设备及存储介质
JPWO2018167815A1 (ja) 表示制御装置及び表示制御方法
CN115042819A (zh) 车辆控制方法、装置、介质、设备、芯片和车辆
CN113928073A (zh) 主动悬架的调节方法、装置及设备
CN117622198A (zh) 一种用于确定车辆行车状态的方法及装置
CN116142173A (zh) 基于图像深度的车辆控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150