JP2022151680A - カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体 - Google Patents
カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体 Download PDFInfo
- Publication number
- JP2022151680A JP2022151680A JP2022033705A JP2022033705A JP2022151680A JP 2022151680 A JP2022151680 A JP 2022151680A JP 2022033705 A JP2022033705 A JP 2022033705A JP 2022033705 A JP2022033705 A JP 2022033705A JP 2022151680 A JP2022151680 A JP 2022151680A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- camera
- vehicle
- processor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 238000012552 review Methods 0.000 claims description 46
- 230000007717 exclusion Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 230000001276 controlling effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000002596 correlated effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Atmospheric Sciences (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
Description
Claims (20)
- 車両に搭載されたカメラの動作を制御するためのカメラ制御システムであって、
プロセッサと、
プロセッサに通信可能に結合されたメモリと、を備え、
メモリは、プロセッサによる実行時に、プロセッサに、
車両の環境内の特徴に関連する認識信頼レベルを所定の閾値と比較させ、そして
認識信頼レベルが所定の閾値を下回ることに応じて、特徴に関連する位置情報を使用して、車両の移動中に特徴の少なくとも1つの画像をキャプチャするようにカメラの動作を制御させる、コンピュータ可読命令を含むカメラ制御モジュールを格納する、カメラ制御システム。 - カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、認識信頼レベルが所定の閾値以上であることに応じて、特徴の画像をキャプチャする試みを停止するようにカメラの動作を制御させるコンピュータ可読命令を含む、請求項1のカメラ制御システム。
- カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、カメラが特徴の少なくとも1つの画像をキャプチャした後に、特徴が現在はカメラ除外位置にいるか判定させ、そして、特徴がカメラ除外位置にいることに応じて、特徴の画像をキャプチャする試みを停止するようにカメラの動作を制御させるコンピュータ可読命令を含む、請求項1のカメラ制御システム。
- カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、カメラが特徴の少なくとも1つの画像をキャプチャした後に、特徴がカメラ除外位置にいることに応じて、人間によるレビューのため、特徴に関連する特徴情報を車両外エンティティに送信するように車両の動作を制御させるコンピュータ可読命令を含む、請求項3のカメラ制御システム。
- 特徴情報は、特徴を表す点群データと、カメラによってキャプチャされ、点群データと時間的に関連付けられた特徴の1つ以上の画像とを含む、請求項4のカメラ制御システム。
- 車両は、車両環境内の特徴の検出を試みるように動作可能なLIDARセンサを含み、カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、LIDARセンサの動作と同時期に特徴の1つ以上の画像をキャプチャするようにカメラの動作を制御させるコンピュータ可読命令を含む、請求項1のカメラ制御システム。
- カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、LIDARデータを、カメラによってキャプチャされた特徴の少なくとも1つの同時期の画像と時間的に関連付けさせるコンピュータ可読命令を含む、請求項6のカメラ制御システム。
- 車両は、車両環境内の特徴の検出を試みるように動作可能なRADARセンサを含み、カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、RADARセンサの動作と同時期に特徴の画像をキャプチャするようにカメラの動作を制御させるコンピュータ可読命令を含む、請求項1のカメラ制御システム。
- カメラ制御モジュールは、プロセッサによる実行時に、プロセッサに、RADARデータを、カメラによってキャプチャされた特徴の少なくとも1つの同時期の画像と時間的に関連付けさせるコンピュータ可読命令を含む、請求項8のカメラ制御システム。
- 車両に搭載されたカメラの動作を制御するためのコンピュータ実行方法であって、
特徴に関連する認識信頼レベルを所定の閾値と比較するステップと、
認識信頼レベルが所定の閾値を下回ることに応じて、特徴に関連する位置情報を使用して、車両の移動中に特徴の少なくとも1つの画像をキャプチャするようにカメラの動作を制御するステップと、を備える方法。 - 認識信頼レベルが所定の閾値以上であることに応じて、特徴の画像をキャプチャする試みを停止するようにカメラの動作を制御するステップをさらに備える、請求項10の方法。
- カメラが特徴の少なくとも1つの画像をキャプチャした後に、特徴が現在はカメラ除外位置にいるか判定するステップと、
特徴がカメラ除外位置にいることに応じて、特徴の画像をキャプチャする試みを停止するようにカメラの動作を制御するステップと、をさらに備える請求項10の方法。 - カメラが特徴の少なくとも1つの画像をキャプチャした後に、特徴がカメラ除外位置にいることに応じて、人間によるレビューのため、特徴に関連する特徴情報を車両外エンティティに送信するように車両の動作を制御するステップをさらに備える、請求項12の方法。
- 特徴情報は、特徴を表す点群データと、カメラによってキャプチャされ、点群データと時間的に関連付けられた特徴の1つ以上の画像とを含む、請求項13の方法。
- 車両は、車両環境内の特徴の検出を試みるように動作可能なLIDARセンサを含み、LIDARセンサの動作と同時期に特徴の1つ以上の画像をキャプチャするようにカメラの動作を制御するステップをさらに備える、請求項10の方法。
- LIDARデータを、カメラによってキャプチャされた特徴の少なくとも1つの同時期の画像と時間的に関連付けるステップをさらに備える、請求項15の方法。
- 車両は、車両環境内の特徴の検出を試みるように動作可能なRADARセンサを含み、RADARセンサの動作と同時期に特徴の画像をキャプチャするようにカメラの動作を制御するステップをさらに備える、請求項10の方法。
- RADARデータを、カメラによってキャプチャされた特徴の少なくとも1つの同時期の画像と時間的に関連付けるステップをさらに備える、請求項17の方法。
- 車両に搭載されたカメラの動作を制御するための命令を格納する非一時的コンピュータ可読媒体であって、
媒体は、コンピューティングシステムによる実行時に、コンピューティングシステムに、
特徴に関連する認識信頼レベルを所定の閾値と比較すること、及び
認識信頼レベルが所定の閾値を下回ることに応じて、特徴に関連する位置情報を使用して、車両の移動中に特徴の少なくとも1つの画像をキャプチャするようにカメラの動作を制御すること、を含む機能を実行させる命令を格納する、非一時的コンピュータ可読媒体。 - 命令により実行される機能は、
カメラが特徴の少なくとも1つの画像をキャプチャした後に、特徴が現在はカメラ除外位置にいるか判定すること、及び、
特徴がカメラ除外位置にいることに応じて、特徴の画像をキャプチャする試みを停止するようにカメラの動作を制御すること、をさらに備える請求項19の非一時的コンピュータ可読媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163165240P | 2021-03-24 | 2021-03-24 | |
US63/165,240 | 2021-03-24 | ||
US17/500,059 | 2021-10-13 | ||
US17/500,059 US11763569B2 (en) | 2021-03-24 | 2021-10-13 | System for controlling a camera supporting human review of sensor information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022151680A true JP2022151680A (ja) | 2022-10-07 |
JP7294476B2 JP7294476B2 (ja) | 2023-06-20 |
Family
ID=83192917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022033705A Active JP7294476B2 (ja) | 2021-03-24 | 2022-03-04 | カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11763569B2 (ja) |
JP (1) | JP7294476B2 (ja) |
CN (1) | CN115209041A (ja) |
DE (1) | DE102022106248A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009204615A (ja) * | 2007-02-16 | 2009-09-10 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
JP2012511697A (ja) * | 2008-12-09 | 2012-05-24 | トムトム ノース アメリカ インコーポレイテッド | 測地参照データベースを生成する方法 |
WO2017212639A1 (ja) * | 2016-06-10 | 2017-12-14 | パイオニア株式会社 | 情報処理装置、計測装置及び制御方法 |
JP2019179021A (ja) * | 2017-12-29 | 2019-10-17 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 地図生成及び移動主体の位置決めの方法及び装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9165468B2 (en) * | 2010-04-12 | 2015-10-20 | Robert Bosch Gmbh | Video based intelligent vehicle control system |
US9711182B2 (en) | 2011-06-07 | 2017-07-18 | In Situ Media Corporation | System and method for identifying and altering images in a digital video |
US20140263143A1 (en) | 2013-03-15 | 2014-09-18 | The Carpenter Group | Articulated Arm Lifting System |
US9665595B2 (en) | 2013-05-01 | 2017-05-30 | Cloudsight, Inc. | Image processing client |
US10789840B2 (en) * | 2016-05-09 | 2020-09-29 | Coban Technologies, Inc. | Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior |
WO2019188391A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 制御装置、制御方法、並びにプログラム |
US11067693B2 (en) * | 2018-07-12 | 2021-07-20 | Toyota Research Institute, Inc. | System and method for calibrating a LIDAR and a camera together using semantic segmentation |
US10816979B2 (en) * | 2018-08-24 | 2020-10-27 | Baidu Usa Llc | Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras |
CN109800805A (zh) | 2019-01-14 | 2019-05-24 | 上海联影智能医疗科技有限公司 | 基于人工智能的图像处理系统以及计算机设备 |
US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
CN110789533B (zh) * | 2019-09-25 | 2021-08-13 | 华为技术有限公司 | 一种数据呈现的方法及终端设备 |
-
2021
- 2021-10-13 US US17/500,059 patent/US11763569B2/en active Active
-
2022
- 2022-03-04 JP JP2022033705A patent/JP7294476B2/ja active Active
- 2022-03-17 DE DE102022106248.1A patent/DE102022106248A1/de active Pending
- 2022-03-21 CN CN202210283900.6A patent/CN115209041A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009204615A (ja) * | 2007-02-16 | 2009-09-10 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
JP2012511697A (ja) * | 2008-12-09 | 2012-05-24 | トムトム ノース アメリカ インコーポレイテッド | 測地参照データベースを生成する方法 |
WO2017212639A1 (ja) * | 2016-06-10 | 2017-12-14 | パイオニア株式会社 | 情報処理装置、計測装置及び制御方法 |
JP2019179021A (ja) * | 2017-12-29 | 2019-10-17 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 地図生成及び移動主体の位置決めの方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220311932A1 (en) | 2022-09-29 |
US11763569B2 (en) | 2023-09-19 |
DE102022106248A1 (de) | 2022-09-29 |
JP7294476B2 (ja) | 2023-06-20 |
CN115209041A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10788585B2 (en) | System and method for object detection using a probabilistic observation model | |
EP3602220B1 (en) | Dynamic sensor selection for self-driving vehicles | |
US11216000B2 (en) | System and method for estimating lane prediction errors for lane segments | |
US11474532B2 (en) | Systems and methods for detecting anomalies in a vehicle system | |
US11250576B2 (en) | Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map | |
US11815897B2 (en) | Method and system for generating an importance occupancy grid map | |
US20200086863A1 (en) | Systems and methods for agent tracking | |
US10553117B1 (en) | System and method for determining lane occupancy of surrounding vehicles | |
US11679764B2 (en) | Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle | |
US10699565B2 (en) | Systems and methods for inferring lane obstructions | |
JP2019091412A (ja) | 道路の曲率データ無しでの進行レーン識別 | |
US10933880B2 (en) | System and method for providing lane curvature estimates | |
US10710599B2 (en) | System and method for online probabilistic change detection in feature-based maps | |
US11328602B2 (en) | System and method for navigation with external display | |
US11200679B1 (en) | System and method for generating a probability distribution of a location of an object | |
US11417188B2 (en) | Control of vehicle status display for occupant threat reduction | |
CN112937582A (zh) | 改进车道改变检测的系统、非暂态计算机可读介质和方法 | |
US11977440B2 (en) | On-board feedback system for autonomous vehicles | |
US11430218B2 (en) | Using a bird's eye view feature map, augmented with semantic information, to detect an object in an environment | |
US20220076064A1 (en) | System and method for optimizing performance of at least one downstream task | |
US11094197B2 (en) | System and method for switching from a curbside lane to a lane-of-interest | |
JP7294476B2 (ja) | カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体 | |
US11238292B2 (en) | Systems and methods for determining the direction of an object in an image | |
US20230343109A1 (en) | Systems and methods for detecting traffic lights of driving lanes using a camera and multiple models | |
US20230351773A1 (en) | Systems and methods for detecting traffic lights corresponding to a driving lane |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7294476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |