JP2019096000A - 画像処理システムのための低レイテンシの試験機 - Google Patents
画像処理システムのための低レイテンシの試験機 Download PDFInfo
- Publication number
- JP2019096000A JP2019096000A JP2017223886A JP2017223886A JP2019096000A JP 2019096000 A JP2019096000 A JP 2019096000A JP 2017223886 A JP2017223886 A JP 2017223886A JP 2017223886 A JP2017223886 A JP 2017223886A JP 2019096000 A JP2019096000 A JP 2019096000A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- arithmetic unit
- time
- gpu
- adapter module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000012360 testing method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000013213 extrapolation Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000004075 alteration Effects 0.000 claims 1
- 238000002604 ultrasonography Methods 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 abstract 2
- 238000004088 simulation Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000036962 time dependent Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
Claims (15)
- 画像処理システム(UUT)のための試験機であって、
前記試験機内に第1の演算ユニット(CPU)が配置されており、
前記第1の演算ユニット(CPU)は、周囲モデル(MOD)に関するシミュレーションソフトウェアによってプログラミングされており、
前記シミュレーションソフトウェアは、第1の位置x(t)および第1の速度ベクトルv(t)を計算し、前記第1の位置x(t)および前記第1の速度ベクトルv(t)を、前記周囲モデル(MOD)における第1の仮想的なオブジェクト(VEH1)に対応付けるように構成されており、
前記試験機内に第2の演算ユニット(GPU)が配置されており、
前記第2の演算ユニット(GPU)は、前記周囲モデルにおける前記第1の仮想的なオブジェクト(VEH1)の位置を周期的に読み込み、少なくとも読み込まれた前記位置に基づいて、前記周囲モデル(MOD)の2次元の第1の投影図を表す第1の画像データを計算するように構成されており、
前記試験機内にアダプタモジュール(AD)が配置されており、
前記アダプタモジュール(AD)は、前記第1の画像データを読み込み、前記画像処理システム(UUT)の第1のイメージングセンサのエミュレーションによって前記第1の画像データを処理し、処理された前記第1の画像データを前記画像処理システム(UUT)に供給するように構成されており、
前記第1の演算ユニット(CPU)は、前記処理された第1の画像データに基づいて、前記画像処理システム(UUT)によってアクチュエータのために計算された制御データを読み込み、前記制御データを考慮して、前記第1の仮想的なオブジェクト(VEH1)に新しい第1の速度ベクトルを対応付けるように構成されている、
試験機において、
前記試験機は、前記第2の演算ユニット(GPU)による前記第1の画像データの前記計算の開始から、前記アダプタモジュール(AD)による前記第1の画像データの前記処理の完了までに経過する時間間隔の長さΔtを測定するように構成されており、
前記第1の演算ユニット(CPU)は、前記時間間隔の長さΔtを読み込み、前記時間間隔の長さΔtに基づいて前記第1の画像データのレイテンシLを推定するように構成されており、
前記第1の演算ユニット(CPU)は、前記第1の位置x(t)と前記第1の速度ベクトルv(t)と推定された前記レイテンシLとを考慮して前記第1の仮想的なオブジェクトの第1の外挿位置x(t+L)を求めるように構成されており、したがって前記第1の外挿位置x(t+L)が、時点t+Lにおける前記第1の仮想的なオブジェクト(VEH1)の前記第1の位置の推定値となり、
前記第2の演算ユニット(GPU)は、前記第1の外挿位置x(t+L)を読み込み、少なくとも前記第1の外挿位置x(t+L)に基づいて前記第1の画像データを計算するように構成されている、
ことを特徴とする試験機。 - 前記試験機は、前記第1の位置x(t)および前記第1の速度ベクトルv(t)をハードリアルタイムで周期的に計算するように構成されている、
請求項1記載の試験機。 - 前記第1の仮想的なオブジェクト(VEH1)は、仮想的な輸送手段であり、
前記画像処理システム(UUT)は、輸送手段のための自動制御または支援システムである、
請求項1または2記載の試験機。 - 前記第1の投影図は、前記第1のイメージングセンサの視野を模倣したものである、
請求項1から3までのいずれか1項記載の試験機。 - 前記試験機、とりわけ前記第2の演算ユニット(GPU)は、前記第1の画像データの前記計算の開始時における前記試験機の第1のシステム時間が記憶されているタイムスタンプを前記第1の画像データに付与するように構成されており、
前記アダプタモジュール(AD)は、前記タイムスタンプに記憶されている前記第1のシステム時間を読み出し、前記第1の画像データの前記処理を完了した後、現在のシステム時間と比較して前記時間間隔の長さΔtを求め、当該長さΔtをメモリアドレスに記憶するように構成されている、
請求項1から4までのいずれか1項記載の試験機。 - 前記試験機は、前記第1の画像データの前記計算の前に、前記第1の画像データのためのデジタルIDを作成し、前記デジタルIDを前記アダプタモジュールに送信し、前記デジタルIDの送信時点における前記試験機の第1のシステム時間を前記アダプタモジュール(AD)に送信するように構成されており、
前記試験機は、前記第1の画像データに前記デジタルIDを付与するように構成されており、
前記アダプタモジュール(AD)は、前記デジタルIDに基づいて前記第1の画像データを前記第1のシステム時間に対応付け、前記第1の画像データの前記処理を完了した後、前記試験機の前記現在のシステム時間を前記第1のシステム時間と比較して前記時間間隔の長さΔtを求め、当該長さΔtをメモリアドレスに記憶するように構成されている、
請求項1から4までのいずれか1項記載の試験機。 - 前記第1の演算ユニット(CPU)と前記第2の演算ユニット(GPU)との間にリアルタイム能力のある第1のデータコネクション(BS)が形成されており、
前記第2の演算ユニット(GPU)と前記アダプタモジュール(AD)との間にリアルタイム能力のある第2のデータコネクション(HDMI)が形成されており、
前記アダプタモジュール(ADD)と前記第1の演算ユニットとの間にリアルタイム能力のある第3のデータコネクション(ETH)が形成されている、
請求項1から6までのいずれか1項記載の試験機。 - 前記第1のデータコネクションは、前記試験機のバス(BS)によって提供されている、
請求項7記載の試験機。 - 前記第2の演算ユニット(GPU)は、
前記第1の画像データの前記計算と並行して、または前記第1の画像データの前記計算後に、少なくとも、前記画像処理システム(UUT)の第2のイメージングセンサのための前記周囲モデルの2次元の第2の投影図を表す第2の画像データを計算し、少なくとも前記第1の画像データおよび前記第2の画像データを含むデータパケットを作成するように構成されており、
前記アダプタモジュール(AD)は、前記データパケットを読み込み、前記画像処理システム(UUT)の前記第2のイメージングセンサのエミュレーションによって前記第2の画像データを処理し、処理された前記第2の画像データを前記画像処理システム(UUT)に供給するように構成されている、
請求項1から8までのいずれか1項記載の試験機。 - 前記試験機は、前記時間間隔の長さΔtを周期的に求めるように構成されており、
前記第1の演算ユニット(CPU)は、前記時間間隔の長さΔtを周期的に読み込むように構成されている、
請求項1から9までのいずれか1項記載の試験機。 - 前記第1の演算ユニット(CPU)は、L=Δtに周期的に設定することによって、前記推定されたレイテンシLを前記時間間隔Δtに動的に適合させるように構成されている、
請求項10記載の試験機。 - 前記第1の演算ユニット(CPU)は、過去に測定された複数のΔtの値から前記レイテンシLの値を計算することによって、とりわけ前記レイテンシLを、前記過去に測定された複数のΔtの値の平均値、加重平均値、または中央値として計算することによって、前記推定されたレイテンシLを動的に適合させるように構成されている、
請求項10記載の試験機。 - 前記第2の演算ユニット(GPU)は、少なくとも2つのそれぞれ異なるイメージングセンサのための第1の画像データを選択的に計算するように構成されており、
とりわけ前記第1の画像データは、レーダ画像、ライダ画像、光学画像、レンズ収差を含む光学画像、微光増幅された光学画像、赤外線画像、超音波画像を含むリストからの少なくとも2つの投影図からの1つの2次元の投影図を選択的に表す、
請求項1から12までのいずれか1項記載の試験機。 - 前記シミュレーションソフトウェアは、第2の位置x’(t)および第2の速度ベクトルv’(t)を計算し、前記第2の位置x’(t)および前記第2の速度ベクトルv’(t)を、前記周囲モデルにおける第2の仮想的なオブジェクト(VEH2)に対応付けるように構成されており、
前記第1の演算ユニットは、前記第2の位置x’(t)と前記第2の速度ベクトルv’(t)と推定された前記レイテンシLとを考慮して、前記第2の仮想的なオブジェクト(VEH2)の第2の外挿位置x’(t+L)を求めるように構成されており、
前記第2の演算ユニット(GPU)は、前記第2の外挿位置x’(t+L)を読み込み、少なくとも前記第1の外挿位置x(t+L)および前記第2の外挿位置x’(t+L)に基づいて前記第1の画像データを計算するように構成されている、
請求項1から13までのいずれか1項記載の試験機。 - とりわけ請求項1から14までのいずれか1項記載の試験機を用いて、画像処理システム(UUT)を試験するための方法であって、
試験機の第1の演算ユニット(CPU)を、周囲モデルに関するシミュレーションソフトウェアによってプログラミングし、前記シミュレーションソフトウェアによって第1の位置x(t)および第1の速度ベクトルv(t)をハードリアルタイムで周期的に計算し、前記周囲モデルにおける第1の仮想的なオブジェクト(VEH1)に対応付け、
前記試験機の第2の演算ユニット(GPU)によって、前記周囲モデルにおける前記第1の仮想的なオブジェクト(VEH1)の位置を周期的に読み込み、前記第2の演算ユニット(GPU)によって、読み込まれた前記第1の位置x(t)に基づいて、前記周囲モデルの2次元の第1の投影図を表す第1の画像データを計算し、
アダプタモジュール(AD)によって、前記第1の画像データを読み込み、前記画像処理システム(UUT)の第1のイメージングセンサのエミュレーションによって処理し、
前記アダプタモジュール(AD)によって、処理された前記画像データを前記画像処理システム(UUT)に供給し、
前記第1の演算ユニット(CPU)によって、前記処理された第1の画像データに基づいて、前記画像処理システム(UUT)によってアクチュエータのために計算された制御データを読み込み、前記制御データを考慮して、前記第1の仮想的なオブジェクト(VEH1)に新しい第1の速度ベクトルを対応付ける、
方法において、
前記第2の演算ユニット(GPU)による前記第1の画像データの前記計算の開始から、前記アダプタモジュール(AD)による前記第1の画像データの前記処理の完了までに経過する時間間隔の長さΔtを測定し、
前記時間間隔の長さΔtに基づいて前記第1の画像データのレイテンシLを推定し、
前記第1の位置x(t)と前記第1の速度ベクトルv(t)と推定された前記レイテンシLとを考慮して、第1の外挿位置x(t+L)を求め、したがって前記第1の外挿位置x(t+L)が、時点t+Lにおける前記仮想的なオブジェクト(VEH)の前記第1の位置の推定値となり、
前記第2の演算ユニット(GPU)によって、前記第1の外挿位置x(t+L)に基づいて前記第1の画像データを計算する、
ことを特徴とする方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223886A JP6548708B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理システムのための低レイテンシの試験機 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223886A JP6548708B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理システムのための低レイテンシの試験機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019096000A true JP2019096000A (ja) | 2019-06-20 |
JP6548708B2 JP6548708B2 (ja) | 2019-07-24 |
Family
ID=66971735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017223886A Active JP6548708B2 (ja) | 2017-11-21 | 2017-11-21 | 画像処理システムのための低レイテンシの試験機 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6548708B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696024A (zh) * | 2020-06-02 | 2020-09-22 | 武汉华景康光电科技有限公司 | 一种基于fpga的红外图像的镜像方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006057185A1 (ja) * | 2004-11-26 | 2006-06-01 | Kabushiki Kaisha Sega Doing Business As Sega Corporation | 情報処理装置、データ処理方法、プログラム及び記録媒体 |
JP2010134302A (ja) * | 2008-12-08 | 2010-06-17 | Hitachi Transportation Technologies Ltd | 運転シミュレータのcg表示制御システムおよび方法 |
-
2017
- 2017-11-21 JP JP2017223886A patent/JP6548708B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006057185A1 (ja) * | 2004-11-26 | 2006-06-01 | Kabushiki Kaisha Sega Doing Business As Sega Corporation | 情報処理装置、データ処理方法、プログラム及び記録媒体 |
JP2010134302A (ja) * | 2008-12-08 | 2010-06-17 | Hitachi Transportation Technologies Ltd | 運転シミュレータのcg表示制御システムおよび方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696024A (zh) * | 2020-06-02 | 2020-09-22 | 武汉华景康光电科技有限公司 | 一种基于fpga的红外图像的镜像方法及装置 |
CN111696024B (zh) * | 2020-06-02 | 2023-04-25 | 武汉华景康光电科技有限公司 | 一种基于fpga的红外图像的镜像方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6548708B2 (ja) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11092966B2 (en) | Building an artificial-intelligence system for an autonomous vehicle | |
CN108345290B (zh) | 测试至少一个控制装置的至少一个控制装置功能的方法 | |
JP2022511333A (ja) | 自律自動車の制御ユニットを修正するための方法およびシステム | |
CN115016323A (zh) | 自动驾驶的仿真测试系统及方法 | |
US20210081585A1 (en) | Method for event-based simulation of a system | |
US11514212B2 (en) | Method of simulating autonomous vehicle in virtual environment | |
CN113219955A (zh) | 一种多驾驶员在环驾驶试验平台 | |
CN113009900A (zh) | 一种adas控制器硬件在环仿真系统 | |
JP2008090489A (ja) | シミュレーションシステム | |
WO2020220248A1 (zh) | 自动驾驶车辆的仿真测试方法、系统、存储介质和车辆 | |
US11636684B2 (en) | Behavior model of an environment sensor | |
EP3800518A1 (en) | System, device and method for testing autonomous vehicles | |
CN114442507A (zh) | 基于频率控制的车辆在环自动驾驶仿真测试方法和系统 | |
JP6548708B2 (ja) | 画像処理システムのための低レイテンシの試験機 | |
US20190152486A1 (en) | Low-latency test bed for an image- processing system | |
Schwab et al. | Consistent test method for assistance systems | |
Pfeffer et al. | Video injection methods in a real-world vehicle for increasing test efficiency | |
Bach et al. | Control based driving assistant functions’ test using recorded in field data | |
DE102016119538A1 (de) | Latenzarmer Prüfstand für ein bildverarbeitendes System | |
WO2022116873A1 (zh) | 仿真测试方法、装置及系统 | |
CN111175055B (zh) | 自动驾驶分布式协同仿真方法、装置以及终端 | |
CN213042144U (zh) | 一种自动驾驶系统的融合测试台架 | |
Nentwig et al. | Hardware-in-the-loop testing of advanced driver assistance systems | |
CN109932926A (zh) | 低延时的用于图像处理系统的试验台 | |
US20230278589A1 (en) | Autonomous driving sensor simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6548708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |