JP2018077828A - 画像処理アルゴリズム - Google Patents

画像処理アルゴリズム Download PDF

Info

Publication number
JP2018077828A
JP2018077828A JP2017163860A JP2017163860A JP2018077828A JP 2018077828 A JP2018077828 A JP 2018077828A JP 2017163860 A JP2017163860 A JP 2017163860A JP 2017163860 A JP2017163860 A JP 2017163860A JP 2018077828 A JP2018077828 A JP 2018077828A
Authority
JP
Japan
Prior art keywords
time
function
processor
vehicle
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017163860A
Other languages
English (en)
Inventor
ワイマー,フローリアン
Weimer Florian
ビルク,マティアス
Birk Matthias
エル—ディン,オマール アラー
El-Din Omar Alaa
エル―ディン,オマール アラー
ブリュッケルト,シュテフェン
Brueggert Steffen
レンチラー,トビアス
Rentschler Tobias
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018077828A publication Critical patent/JP2018077828A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0006Digital architecture hierarchy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B60W2050/065Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot by reducing the computational load on the digital processor of the control computer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両システムに必要な総計算容量/計算能力を低減できる画像処理アルゴリズムを提供する。
【解決手段】車両における車両システムのプロセッサ又は計算ユニットのプロセッサ時間/計算時間を割り振る運転者支援システムは、少なくとも2つの機能を有している。前記機能には、車両の車両状態を表す信号に依存してプロセッサ時間/計算時間が割り振られる。プロセッサまたは計算ユニットのプロセッサ時間/計算時間をインテリジェントに割り振ることによって、必要なリソースを異なった機能にインテリジェントに配分する。
【選択図】なし

Description

本発明は、画像処理アルゴリズムに関する。
従来技術から異なった画像処理アルゴリズムが公知である。信頼できるオブジェクト認識を可能にするために、そのために用いられる画像処理アルゴリズムには、通常、異なった計算のために最大限必要な計算容量(Rechenkapazitaet)が与えられる。これによって、複数の画像処理アルゴリズムを使用する場合のシステムに全体として必要な計算容量が大幅に増える。
車両の車両システムのプロセッサまたは計算ユニットのプロセッサ時間/計算時間を割り振る方法が特許請求される。この場合、車両システムは、特に運転者支援システムである。車両システムは、少なくとも2つの機能、特に運転者支援システムの2つの機能を有しており、車両の車両状態を表す信号に依存してこれらの機能にプロセッサ時間/計算時間が割り振られる。
この方法は、車両システムの必要な総計算容量/計算能力を低減できるという利点を提供する。プロセッサまたは計算ユニットのプロセッサ時間/計算時間をインテリジェントに割り振ることによって、必要なリソースを異なった機能にインテリジェントに配分することができる。この配分は、車両の車両状態を表す信号に依存して行われる。この信号によって、計算能力を可能な限り効率的に利用することと同時に車両システム、特に運転者支援システムの信頼性が制限されないことを保証できるように、計算容量を割り振ることが可能である。適応的実行時間制御(adaptive Laufzeitregelung)、すなわちプロセッサまたは計算ユニットのプロセッサ時間/計算時間の割り振りを導入することによって、大きな計算容量を必要とする、特に複数のオブジェクト認識アルゴリズムおよび/または画像処理アルゴリズムを使用することができる。この方法および画像処理アルゴリズムへの計算時間の適応的割り振りによって、限られた計算リソースであっても車両システム全体の高可用性を保証することができる。
方法の有利な一実施形態において、関連する機能のためのプロセッサ時間/計算時間を要求する制御ループが各機能に割り当てられている。
この実施形態は、関連する機能のためのプロセッサ時間/計算時間の割り振りを適応的に行うことができ、それによって今現在の走行状態/車両状態に適合させた最適な割り振りを実行可能であるという利点を提供する。
方法の有利な一実施形態において、各機能に優先度(Prioritaet)が割り当てられており、制御ループは、関連する機能のためのそれぞれのプロセッサ時間/計算時間を機能の優先度の順に要求する。
この実施形態は、優先順位を付ける(Priorisierung)ことによって車両および乗員の安全性の向上が可能になるという利点を提供する。異なった機能は、例えば、異なったオブジェクトタイプを認識するように設計されている異なった画像処理アルゴリズムであってもよい。オブジェクトタイプは、例えば、他の車両、歩行者、動物、または他の物体またはオブジェクトであり得る。
方法の有利な一実施形態において、機能には、車両状態を表す信号に依存して、関連する優先度が割り振られる。
この実施形態は、車両状態を表す対応する信号によって認識される現在の車両状態に適合させて、最重要な諸機能の優先順位付けを実行できるという利点を提供する。したがって、現在の車両状態に依存して異なったオブジェクト認識アルゴリズムを用いて、例えば運転者支援システムの最大の信頼性を保証することができる。
方法の有利な一実施形態において、機能に割り振られるプロセッサ時間/計算時間を、機能に課されたタスクと割り振られたプロセッサ時間/計算時間で機能により処理されたタスクとの関係に依存して適合させる。
この実施形態は、異なった機能に対してどれだけの計算容量が必要とされるのかを連続的に検査できるという利点を提供する。例えば、ある機能に、課せられたすべてのタスクを処理することができる量の計算容量が割り振られたことがわかると、この機能に、次のステップにおいて、同じ量、またはそれ以下の計算容量を利用可能にすることができる。連続的に検査することによって、最も重要な諸機能に相応の量の容量が利用可能になることを確保することができ、個々の機能への計算容量/計算時間/プロセッサ時間の割り振りが多すぎて、他の機能に足りなくなるかもしれないというようなことにはならない。
方法の別の一実施形態において、機能に割り振られるプロセッサ時間/計算時間を、機能に割り振られたプロセッサ時間/計算時間と機能により処理のために実際に必要とされたプロセッサ時間/計算時間との差および/または関係に依存して、機能に課されたタスクに適合させる。
この実施形態も、プロセッサ時間/計算時間の最適な割り振りが行われるという利点を提供する。
本発明の好ましい一実施形態において、少なくとも1つの機能はオブジェクトを認識するように設計されている。特に、少なくとも1つの機能は、車両または歩行者または交通標識を認識するように設計されている。
本発明のこの実施形態は、車両の走行運転にとって重要なオブジェクトを認識することができるという利点を提供する。これらのオブジェクトタイプは、例えば、部分的に、高度に、または完全に自動化された走行運転を可能にするために必要であり得る。
方法の有利な一実施形態において、車両状態は、速度、操舵角、加速度、あるいは操作要素、特にアクセルまたはブレーキペダルの調整を示す。
本発明のこの実施形態は、プロセッサ時間/計算時間の割り振りを、機能にとって重要なパラメータに依存して適合可能であるという利点を提供する。この場合、異なったプロセッサ時間/計算時間の割り振りが、例えば上述のパラメータの1つに依存して行われる。これらのパラメータによって、オブジェクトを認識するための異なった機能に優先順位を付けることが可能である。例えば、速度に応じて、異なったオブジェクトが異なった重要度を有する。低速の場合、車両または交通標識の認識よりも、例えば歩行者の認識のほうが重要であるかもしれない。
本発明の有利な一実施形態において、プロセッサ時間/計算時間の割り振りがリアルタイムで行われる。
この実施形態は、プロセッサ記号/計算記号の適合が状況を踏まえて即座に行われるという利点を提供する。したがって、機能をベースにした運転者支援システムの最大の信頼性を保証することができる。
方法の有利な一実施形態において、プロセッサ時間/計算時間の割り振りは、周囲パラメータに依存して、特に明るさに依存して行われる。
この実施形態は、他のパラメータ、この事例では周囲パラメータによって、プロセッサ記号/計算記号の最適な割り振りを行うことができるという利点を提供する。異なった機能、特にオブジェクト認識機能および/または画像処理機能が必要とするプロセッサ時間/計算時間は、周囲パラメータに依存して変化し得るので、周囲パラメータをともに考慮することが、それぞれの機能へのプロセッサ記号/計算記号のより迅速かつより良好な割り振りの利点を提供する。例えば、機能によって評価される画像が明るければ明るいほど、もしくは暗ければ暗いほど、少ない、もしくは多くのプロセッサ時間/計算時間を対応する画像処理機能もしくはオブジェクト認識機能に割り振らなければならない。この場合、画像の明るさは周囲の明るさに直接左右される。それゆえ、周囲パラメータとして、特に周囲の明るさが適している。明るさは、例えば、専用の明るさセンサによって行ってもよいし、カメラ画像の評価によって行ってもよい。
さらに、他のパラメータをもとに明るさを決定することが可能である。例えば、これには時刻および/または日付および/または場所が考えられる。例えば、パラメータの1つによって、またはこれらのパラメータの組合せによって、地球上の異なった時間の異なった場所の明るさを算出することが可能である。さらに、気象情報を利用することが可能である。気象状況に応じて、プロセッサ記号/計算記号を割り振る際に重要であり得る異なる視界状況が生じる。例えば、曇りにより、あるいは降雨または降雪により暗くなった場合にプロセッサ時間/計算時間を適合させることができる。
これに加えて、GPS情報および地図情報を利用することも可能である。これらの情報の組合せは、例えば、トンネル進入または地下駐車場への入庫を検知することを可能にする。トンネルもしくは地下駐車場での光の状況は、通常、トンネルもしくは地下駐車場の外の光の状況とは区別されるので、これに対応するプロセッサ能力/計算能力の割り振りを行うこともできる。
プロセッサ時間/計算時間の割り振りは、任意の機能のために用いることができる。それは画像処理アルゴリズムである必要はない。計算時間を必要とするあらゆる機能にこの方法を適用することが考えられる。
他の利点は、機械読取り可能な記憶媒体に記憶されたコンピュータプログラムの使用において明らかになる。このコンピュータプログラムは、計算ユニットで実行された場合に、計算ユニットに上記の実施形態に係る方法を実施させる。
本発明の別の有利な一実施形態は、計算ユニットにおいて、特に電気機械のためのコントローラにおいて明らかである。この電気機械は、計算ユニットに、特に計算ユニットの記憶媒体に用意されたコンピュータプログラムによって、および/または対応する集積回路によって上記の実施形態に係る方法を実施するように設定されている。これによって相乗効果が生じる。なぜなら、計算ユニット、特にコントローラが電気機械を制御するためだけに用いられるのではなく、本発明に係る方法を実施するようにも設定されているからである。
方法を実施するための例示的制御回路を示す。 方法フローチャートを示す。 別の方法フローチャートを示す。
以下の実施例は、車両における少なくとも2つの機能を有する車両システムに関するものである。この方法は、例えば画像処理アルゴリズムの形態の計算集中的な機能が実行される、特に運転者支援システムに適しているがこれに限定されない。一般に、この方法は、利用可能な計算能力および計算時間を複数の機能で分け合わなければならないところで使用することができる。
以下の方法を実行するために、車両は少なくとも1つの制御装置を備えており、この制御装置によって車両システムのプロセッサまたは計算ユニットのプロセッサ時間/計算時間の割り振りが行われる。この制御装置は必ずしも必要なわけではない。方法の個々のステップをどのように、そしてどのユニットに分けるのかは用途によって異なり得る。
図2において、方法の手順が例示的に示されている。この方法はステップ201で開始する。
ステップ202において、制御装置で、車両状態を表す信号をもとにして車両の車両状態が検出される。車両状態は、例えば、速度、操舵角、加速度、操作要素の、特にアクセルまたはブレーキペダルの調整であり得る。その場合、この車両状態を表す信号は、車両状態に関するすべての重要な情報を含む。信号は、個々の車両状態に関する厳密な値、例えば厳密な速度を含まなければならないというわけではなく、例えば低、中、または高という速度区分などの大まかな区分のみを含んでいてもよい。
ステップ203において、車両システムの少なくとも2つの機能に対し、制御装置によってプロセッサもしくは計算ユニットのプロセッサ記号/計算記号の割り振りが行われる。この事例では、車両システムは運転者支援システムである。少なくとも2つの機能は、例えば対応する画像処理アルゴリズムによって実装される、例えばオブジェクト認識機能であってもよい。
この場合、これらの機能は、異なったタスクを果たすことができ、例えば異なったオブジェクトの認識を引き受けることができる。走行状態に応じて、他のオブジェクトタイプよりも特定のオブジェクトタイプの重要性(Interesse)が高いことがあり得る。この方法によって、車両状態を表す信号に依存して個々の機能に異なった計算時間を割り振ることが可能である。このようにすることで、例えば、歩行者の存在が予想される走行状態において、歩行者を認識する機能には、この領域において重要性がそれほど高くない他の機能より多くの計算能力もしくはより長い計算時間を与えることができる。
方法はステップ204で終了する。
図3において、さらに別の例示的方法が示されている。これはステップ301で開始する。
ステップ302において、再び、制御装置で、車両状態を表す信号によって車両状態が検出される。その場合、車両状態を表す信号は種々の仕方で取得することができる。このために、例えば加速度、速度、操舵角、または操作要素の調整などの内部の車両パラメータを読み取ることができる。これに代えて、車両状態を表す信号を別の態様で取得してもよい。例えば、カメラによる周囲の撮影、およびカメラにより生成された映像の画像処理アルゴリズムによる評価に関する重要情報を取得することができる。この場合、車両状態を表す信号も同様に、カメラ画像から抽出可能な詳細から、カーブ走行、速度、加速度、または他の考察対象に関する情報を含んでもよい。さらに、車両状態を表す信号は、車両の現在の周囲に関する情報、例えば、車両が現在村落を移動しているのか、高速道路上を移動しているのかという情報を含んでもよい。これらの情報は、例えば、交通標識認識によって、または車両に搭載された周囲センサ系の映像に適用される比較的複雑な画像処理アルゴリズムによって取得することができる。
ステップ303において、少なくとも2つの機能に異なった優先度が割り当てられる。この割り当ては、車両状態を表す信号に依存して行われる。例えば速度などの車両状態に応じて、異なった機能により高いか、またはより低い優先順位を付けることができる。異なった機能が、例えば、歩行者の検出および他の車両の検出などの異なったタスクを有する場合、低速の場合、例えば歩行者の検出のための機能により高い優先順位が付けられる。
ステップ304において、制御ループによって、異なった機能のための、プロセッサまたは計算ユニットのプロセッサ時間/計算時間が要求される。この場合、種々の機能に対するプロセッサ記号/計算記号の割り当ては、その前に割り振られた機能の優先度の順に行われる。したがって、異なった機能に対するプロセッサ時間/計算時間の割り振りは、この事例では、車両状態を表す信号に依存して、その前に実行された異なった機能の優先順位付けにより行われる。
方法は、ステップ305で終了する。
図1において、車両システムに存在する機能に車両システムの計算能力を最適に適合させることができる別のシステムが示されている。車両システムにおいて実行される方法の目的は、魅力的な実行時間制御によって、計算能力の効率的な利用を可能にすることである。以下において、実行時間制御および実行時間の割り振りは、異なった機能へのプロセッサまたは計算ユニットのプロセッサ記号/計算記号の割り振りと解される。
図1に示された制御回路は、利用可能な計算能力を効率的に利用するために決定的に重要な要素をなす。専用の、かつ能力を渇望する(leistungshungrig)/計算集中的な画像処理アルゴリズムのために開発された、ここに示される適応的実行時間制御の導入によって、限られた計算リソースによる画像処理パフォーマンスの低下と車両システム全体の高可用性との妥協が少なくなる。
この例では、3つの中心的な画像処理アルゴリズム間での実行時間の効率的な配分のための魅力的な、かつリアルタイム性の制御が紹介される。その際、そのアプローチ自体は汎用的と見なすことができ、異なったシステムに転用可能であり、これらのシステムは、画像処理アルゴリズムを必ずしも備えなければならないわけではない。
方法の目的は、優先度ベースの調整量制限によるシステムにもとづいた制限を考慮した、閉じた制御回路における実行時間制御という意味での、実行時間リソースの必要量指向型(bedarfsorientiert)割り振りである。個々の画像処理アルゴリズムもしくはソフトウェアコンポーネントへの優先度の割り振りは、現在の車両状態を逆推理することを可能にする特定の入力信号をもとにしてリアルタイムで行われる。これは、最大の実行時間要求を基準とした従来のシステム設計とは異なり、利用可能な計算能力をより効率的に利用するものである。これは、特に、その実行時間必要量が相関せず、これに加えて可視の周囲に強度に依存するソフトウェアコンポーネントの複合体に当てはまる。
例示的制御回路において、3つの中心的な、かつ格付けベースの(klassifikationsbasiert)ソフトウェアコンポーネント(SK)111、112、113、つまり歩行者認識(PDET)111、車両認識(MOD)112、および交通標識認識(RSR)113のために必要な実行時間101がリアルタイムで制御され、かつ適応的に制限される。制御系には、関与するソフトウェアコンポーネント111、112、113によって、各1つの入力101u=t と複数の出力102y=[t ,jが与えられる。この場合、量t ∈[0,tcl]は、命令され、かつ局所的に制限された実行時間リミットを表し、この実行時間リミットの上限は、すべてのソフトウェアコンポーネントの複合体の累積実行時間リミットtcl∈R≧0によって与えられている。量t ∈R≧0は、実際に費やされた実行時間であり、j∈[0,1]は、ソフトウェアコンポーネントが内部タスクを完了できた分量(Anteil)を示し、その場合、j=1は、すべてのタスクと同意であり、jк=0は、処理なしに相当する。
さらに、各制御系の上流には、従来のPDコントローラ121、122、123が接続され、その例示的制御規則は
k+1 =t +K(e+K[e LP−ek−1 LP])
であり、例示的制御偏差104
={t −t , j=1
(1−j)/j , j<1
を有し、これを低域通過フィルタリングした値は
LP=KLP+(1−KLP)ek−1 LP、但し0<KLP<1であり、
この場合、t ∈Rは制限されない調整量であり、k(・)∈Rはコントローラおよび低域通過フィルタのパラメータを表す。制御偏差104およびその低域通過フィルタリングした値の算出は、例えば、デルタジェネレータ103で行うことができる。
さらに、システム全体の高可用性を保証するために、tclは静的に選択され、それにより、例えば別個の調整量ユニット107で実行される調整量制限の枠を作り出す。調整量ユニット107において、関与する3つの制御ループの各々が、その優先度177の順に下位ソフトウェアコンポーネント111、112、113のための実行時間101を要求する。その場合、割り振りは、
={t , tSK cl≧t
SK cl, tSK cl<t
にしたがって行われる。この場合、tSK cl≧tSK loは、すでに割り振られたすべての実行時間リミットを差し引いても対応するソフトウェアコンポーネントにまだ利用可能なtclの分量を表す。この場合、tSK loは、同様に静的な、かつ保証された最小値に相当する。この事例では、優先度の付与は、車両の現在の固有速度v egoに依存し、とりわけ車両状態を表す信号を受け取る別個のユニットで決定される。この実施例において、優先度107 70は、次のように高から低になる:
={[PDET,MOD,RSR], v ego<vlo ego
[MOD,PDET,RSR], v ego>vhi ego
ここでは、歩行者認識111および車両認識112のためのソフトウェアコンポーネントが、待ち時間の理由(Latenzgruenden)から、交通標識認識113のためのソフトウェアコンポーネントよりも基本的に高い待ち時間要求を満たさなければならないという仮定にもとづいている。さらに、低い速度範囲において歩行者認識111のためのソフトウェアコンポーネントのほうが、車両認識112のためのソフトウェアコンポーネントよりも重要であると格付けされると仮定される。
速度に代えて、別の車両パラメータが読み取られてもよい。操舵角に応じて異なったカメラの画像処理アルゴリズムを異なる高さに優先順位付けすることができる。左カーブ走行が検出された場合、右カーブ走行時に車両周囲を検出するのにより適したカメラの映像を処理するための対応する機能よりも、左カーブ走行時の車両周囲を検出するのにより適した検出領域を有するカメラの映像のための画像処理アルゴリズムもしくは対応する機能のほうに高い優先順位を付けることができる。
さらに、操作要素に関する優先度を特定の周囲に適合させることができる。例えば、オフロード運転における運転者支援システムに課せられる機能的要求は、道路運転における機能的要求と区別される。このこともまた、下位に位置付けられた(unterlagert)画像処理アルゴリズムの優先順位付けに影響を及ぼす。オフロード運転において、例えば、車の通れる通路を認識するための周囲トポロジの決定のほうを、的確に、非常ブレーキ機能または車線維持支援より優先させることができる。その場合、機能にとって重要でないソフトウェアの部分は、制御回路を介して制限的に機能する状態にすることができる。
101 入力
102 出力
103 デルタジェネレータ
104 制御偏差
107 調整量ユニット
111、112、113 機能
177 優先度
201、202、203、204、301、302、303、304、305 ステップ
SK ソフトウェアコンポーネント
MOD 車両認識
PDET 歩行者認識
RSR 交通標識認識

Claims (10)

  1. 車両の車両システム、特に運転者支援システムのプロセッサまたは計算ユニットのプロセッサ時間/計算時間を割り振る方法であって、前記車両の車両状態を表す信号に依存して、少なくとも2つの機能(111、112、113)、特に前記運転者支援システムの2つの機能にプロセッサ時間/計算時間が割り振られる、方法。
  2. 関連する機能のためのプロセッサ時間/計算時間(101)を要求する制御ループが各機能に割り当てられていることを特徴とする、請求項1に記載の方法。
  3. 各機能に優先度(177)が割り当てられていることと、前記制御ループは、前記関連する機能のためのそれぞれのプロセッサ時間/計算時間を前記機能の優先度(177)の順に要求することとを特徴とする、請求項2に記載の方法。
  4. 前記機能には、前記車両状態を表す信号に依存して、前記関連する優先度(177)が割り振られることを特徴とする、請求項3に記載の方法。
  5. 前記機能に割り振られるプロセッサ時間/計算時間を、前記機能(111、112、113)に課されたタスクと前記割り振られたプロセッサ時間/計算時間で前記機能(111、112、113)により処理されたタスクとの関係に依存して適合させることを特徴とする、前記請求項のいずれか1項に記載の方法。
  6. 前記機能(111、112、113)に割り振られるプロセッサ時間/計算時間を、前記機能(111、112、113)に割り振られたプロセッサ時間/計算時間と前記機能(111、112、113)により処理のために実際に必要とされたプロセッサ時間/計算時間との差および/または関係に依存して、前記機能(111、112、113)に課されたタスクに適合させることを特徴とする、前記請求項のいずれか1項に記載の方法。
  7. 少なくとも1つの機能(111、112、113)は、オブジェクト認識するように、特に、車両または歩行者または交通標識を認識するように設計されていることを特徴とする、前記請求項のいずれか1項に記載の方法。
  8. 前記車両状態は、速度、操舵角、加速度、あるいは操作要素、特にアクセルペダルまたはブレーキペダルの調整であることを特徴とする、前記請求項のいずれか1項に記載の方法。
  9. 前記プロセッサ時間/計算時間の割り振りは、周囲パラメータに依存して、特に明るさに依存して行われることを特徴とする、前記請求項のいずれか1項に記載の方法。
  10. 計算ユニット、特に電気機械のためのコントローラであって、対応する集積回路によって、および/または記憶装置に記憶されたコンピュータプログラムによって、前記請求項のいずれか1項に記載の方法を実施するように設定されている、計算ユニット。


JP2017163860A 2016-09-15 2017-08-29 画像処理アルゴリズム Pending JP2018077828A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016217636.6A DE102016217636A1 (de) 2016-09-15 2016-09-15 Bildverarbeitungsalgorithmus
DE102016217636.6 2016-09-15

Publications (1)

Publication Number Publication Date
JP2018077828A true JP2018077828A (ja) 2018-05-17

Family

ID=60159523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017163860A Pending JP2018077828A (ja) 2016-09-15 2017-08-29 画像処理アルゴリズム

Country Status (5)

Country Link
US (1) US10430680B2 (ja)
JP (1) JP2018077828A (ja)
CN (1) CN107832137A (ja)
DE (1) DE102016217636A1 (ja)
GB (1) GB2556655A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031611A1 (ja) * 2018-08-06 2020-02-13 日立オートモティブシステムズ株式会社 車両制御装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109017802B (zh) * 2018-06-05 2020-12-25 长沙智能驾驶研究院有限公司 智能驾驶环境感知方法、装置、计算机设备和存储介质
DE102018220526B4 (de) * 2018-11-29 2022-01-05 Robert Bosch Gmbh System und Verfahren zur Verarbeitung von Umfeldsensordaten
CN110191536B (zh) 2019-05-24 2021-11-12 亿信科技发展有限公司 驱动控制电路、驱动控制芯片、集成封装器件、显示系统和稀疏驱动的方法
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
WO2021129917A1 (en) 2019-12-23 2021-07-01 Robert Bosch Gmbh Method for allocating processor resource, computing unit and video surveillance arrangement
US12007784B2 (en) 2020-03-26 2024-06-11 Here Global B.V. Method and apparatus for self localization
DE102021104977B8 (de) 2021-03-02 2022-06-23 Audi Aktiengesellschaft Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006281900A (ja) * 2005-03-31 2006-10-19 Xanavi Informatics Corp 車載情報装置、およびアプリケーション実行方法
WO2008062512A1 (fr) * 2006-11-21 2008-05-29 Fujitsu Limited Système multiprocesseur
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
JP2013105385A (ja) * 2011-11-15 2013-05-30 Clarion Co Ltd 車載用環境認識装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7268700B1 (en) * 1998-01-27 2007-09-11 Hoffberg Steven M Mobile communication device
US6580988B2 (en) * 2001-11-06 2003-06-17 General Motors Corporation Rear wheel steering control
DE102004048013A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
JP4220974B2 (ja) * 2005-02-28 2009-02-04 三菱重工業株式会社 電磁制御燃料噴射装置の構造
US7775431B2 (en) * 2007-01-17 2010-08-17 Metrologic Instruments, Inc. Method of and apparatus for shipping, tracking and delivering a shipment of packages employing the capture of shipping document images and recognition-processing thereof initiated from the point of shipment pickup and completed while the shipment is being transported to its first scanning point to facilitate early customs clearance processing and shorten the delivery time of packages to point of destination
JP2009146379A (ja) * 2007-11-21 2009-07-02 Yokogawa Electric Corp Cpu資源管理システム
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
US8170761B2 (en) * 2008-03-03 2012-05-01 Delphi Technologies, Inc. Method for real-time learning of actuator transfer characteristics
JP2010181989A (ja) * 2009-02-04 2010-08-19 Renesas Electronics Corp データ処理装置
WO2010101749A1 (en) * 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US8315617B2 (en) * 2009-10-31 2012-11-20 Btpatent Llc Controlling mobile device functions
DE102010008726A1 (de) * 2010-02-20 2011-08-25 Dr. Ing. h.c. F. Porsche Aktiengesellschaft, 70435 Verfahren zum Betreiben eines Antriebssystems für ein Kraftfahrzeug
EP2702517A1 (en) * 2011-04-23 2014-03-05 Deubzer, Michael Method for the design evaluation of a system
US9183047B2 (en) * 2011-05-13 2015-11-10 Samsung Electronics Co., Ltd. Classifying requested application based on processing and response time and scheduling threads of the requested application according to a preset group
KR20130050113A (ko) * 2011-11-07 2013-05-15 현대자동차주식회사 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
DE102012009482B4 (de) * 2012-05-12 2020-06-25 Volkswagen Aktiengesellschaft Funktional erweiterbares Fahrzeugsteuergerät und Verfahren zum Ergänzen der Funktionalität eines Fahrzeugsteuergeräts
EP3092560B1 (en) * 2014-01-06 2019-05-08 Johnson Controls Technology Company Vehicle with multiple user interface operating domains
CN104796544A (zh) * 2015-04-15 2015-07-22 成都杰迈科技有限责任公司 智能图像处理手机系统
CN105824705B (zh) * 2016-04-01 2019-10-11 广州品唯软件有限公司 一种任务分配方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006281900A (ja) * 2005-03-31 2006-10-19 Xanavi Informatics Corp 車載情報装置、およびアプリケーション実行方法
WO2008062512A1 (fr) * 2006-11-21 2008-05-29 Fujitsu Limited Système multiprocesseur
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
JP2013105385A (ja) * 2011-11-15 2013-05-30 Clarion Co Ltd 車載用環境認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031611A1 (ja) * 2018-08-06 2020-02-13 日立オートモティブシステムズ株式会社 車両制御装置

Also Published As

Publication number Publication date
DE102016217636A1 (de) 2018-03-15
CN107832137A (zh) 2018-03-23
GB2556655A (en) 2018-06-06
US20180075311A1 (en) 2018-03-15
US10430680B2 (en) 2019-10-01
GB201714811D0 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
JP2018077828A (ja) 画像処理アルゴリズム
CN110910657B (zh) 一种路口通行权分配方法、装置及电子设备
JP5441626B2 (ja) 車載用マルチアプリ実行装置
US10169066B2 (en) System and method for enhancing advanced driver assistance system (ADAS) as a system on a chip (SOC)
US10139834B2 (en) Methods and systems for processing local and cloud data in a vehicle and a cloud server for transmitting cloud data to vehicles
US10657670B2 (en) Information processing apparatus
JP5187194B2 (ja) マルチプロセッサシステム
CN110660256B (zh) 一种信号灯状态的估计方法及装置
JP2018037061A (ja) 自律走行車両のためのビジョンセンサの制御方法及び装置
US10572748B2 (en) Autonomous vehicle adaptive parallel image processing system
US20120307062A1 (en) Vehicle-mounted image processing apparatus
KR102519662B1 (ko) 영상 획득 방법 및 영상 획득 장치
KR101822892B1 (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
CN116494986A (zh) 车辆传感器控制方法、车辆及存储介质
JP2022041244A (ja) 車載表示装置、方法およびプログラム
WO2022244356A1 (en) Light interference detection during vehicle navigation
WO2019166084A1 (en) Automated driving system and method of autonomously driving a vehicle
JP2020113194A (ja) 情報処理装置
JP7363684B2 (ja) リソース管理装置及びリソース管理方法
WO2023145491A1 (ja) 運転システムの評価方法及び記憶媒体
WO2023145490A1 (ja) 運転システムの設計方法及び運転システム
CN116560843A (zh) 基于环境感知的智能汽车gpu资源优化方法及装置
JP6989347B2 (ja) 車両状態判定装置、車両状態判定システム、車両状態判定方法、及び、車両状態判定プログラム
CN111145570A (zh) 车辆的控制方法、控制装置、存储介质和处理器
JP7172934B2 (ja) 車両制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220519