JP2023071411A - 情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2023071411A
JP2023071411A JP2021184175A JP2021184175A JP2023071411A JP 2023071411 A JP2023071411 A JP 2023071411A JP 2021184175 A JP2021184175 A JP 2021184175A JP 2021184175 A JP2021184175 A JP 2021184175A JP 2023071411 A JP2023071411 A JP 2023071411A
Authority
JP
Japan
Prior art keywords
vehicle
information processing
image
rectangular area
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021184175A
Other languages
English (en)
Inventor
大作 本田
Daisaku Honda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021184175A priority Critical patent/JP2023071411A/ja
Priority to US17/944,665 priority patent/US20230144073A1/en
Priority to CN202211362039.9A priority patent/CN116110217A/zh
Publication of JP2023071411A publication Critical patent/JP2023071411A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両の前面の位置を適切に検出すること。【解決手段】情報処理システムが、路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する制御部を有する。【選択図】図４

Description

本開示は、情報処理システム、情報処理方法、及びプログラムに関する。
近年、路側に設置されている撮影装置（路側カメラ）で撮影された路面等の画像を活用する高度道路交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）が注目されている。
また、画像に基づいて、当該画像における車両を含む矩形領域（バウンディングボックス）を算出する技術も知られている（例えば、特許文献１を参照）。
特開２０１９－０７１０５７号公報
しかしながら、従来技術では、例えば、路側に設置されている撮影装置で撮影された画像から車両の前面の位置を検出することが困難な場合がある。
本開示の目的は、路側に設置されている撮影装置で撮影された画像に基づいて、車両の前面の位置を適切に検出できる情報処理システム、情報処理方法、及びプログラムを提供することである。
本開示に係る第１の態様では、情報処理システムが、路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する制御部を有する。
また、本開示に係る第２の態様では、路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する、情報処理方法が提供される。
また、本開示に係る第３の態様では、路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する処理をコンピュータに実行させるプログラムが提供される。
一側面によれば、車両の前面の位置を適切に検出できる。
実施形態に係る道路交通システムの構成例を示す図である。 実施形態に係る情報処理装置のハードウェア構成例を示す図である。 実施形態に係る情報処理装置の構成の一例を示す図である。 実施形態に係る情報処理装置の処理の一例を示すフローチャートである。 実施形態に係る撮影装置で撮影された画像における車両を含む矩形領域の一例を示す図である。 実施形態に係る軌道ＤＢの一例を示す図である。 実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。 実施形態に係る角度毎の位置を示す情報の一例を示す図である。 実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。 実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。 実施形態に係る撮影装置で撮影された画像における車両の前面の中心部の位置の一例を示す図である。 実施形態に係る車両端末の表示画面の一例を示す図である。
本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本発明の実施形態を説明する。
＜システム構成＞
図１を参照し、実施形態に係る道路交通システム１の構成について説明する。図１は、実施形態に係る道路交通システム１の構成例を示す図である。図１の例では、道路交通システム１は、撮影装置５０、情報処理装置１０、サーバ２０、及び車両端末３０を有する。なお、撮影装置５０、情報処理装置１０、サーバ２０、及び車両端末３０の数は図１の例に限定されない。なお、情報処理装置１０は、「情報処理システム」の一例である。
図１の例では、撮影装置５０、情報処理装置１０、サーバ２０、及び車両端末３０は、ネットワークＮにより通信できるように接続されている。ネットワークＮの例には、例えば、バス、ＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線通信、ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、及び移動通信システム等が含まれる。移動通信システムの例には、例えば、第５世代移動通信システム（５Ｇ）、第４世代移動通信システム（４Ｇ）、第３世代移動通信システム（３Ｇ）等が含まれる。
撮影装置５０は、車両が走行する道路の路側等（例えば、交差点等）に設置されるカメラである。撮影装置５０は、道路を走行する車両の画像を撮影し、当該画像のデータを情報処理装置１０に送信（出力）する。
情報処理装置１０は、例えば、撮影装置５０が設置される柱の下部に設置されてもよい。この場合、情報処理装置１０は、例えば、交通信号機を制御する交通信号制御機と同一の筐体内に収容されてもよい。また、情報処理装置１０は、例えば、信号機に設置される移動通信システムの基地局等と同一の筐体内に収容されてもよい。
情報処理装置１０は撮影装置５０で撮影された画像に基づき、車両の前面（進行方向の先端）の位置を判定する。そして、情報処理装置１０は、判定した位置に基づく情報をサーバ２０に送信（出力）する。情報処理装置１０は、例えば、交差点における、第１車両の位置の推移と、第２車両の位置の推移とに基づいて、第１車両と第２車両とが衝突する確度を算出してもよい。そして、当該確度が閾値以上である場合、その旨をサーバ２０または各車両の車両端末３０に通知する。また、当該確度が閾値以上である場合、情報処理装置１０は、一方の車両の位置の推移を示す情報を、他の車両の車両端末３０に、直接またはサーバ２０を介して通知する。サーバ２０は、情報処理装置１０から受信した情報に基づいて、車両端末３０に警報等を通知する。
車両端末３０は、例えば、カーナビゲーション装置、車載ＥＣＵ（Electronic Control Unit）、スマートフォンまたはタブレット等の端末でもよい。車両端末３０は、情報処理装置１０またはサーバ２０から警報を受信すると、例えば、ブレーキをかけることを車両の運転手に促す報知（表示、または音声出力）を行う。また、車両端末３０は、情報処理装置１０またはサーバ２０から受信した車両の位置の推移を示す情報を画面に表示させる。
＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図２の例では、情報処理装置１０（コンピュータ１００）は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、他のネットワーク要素との通信に必要なインターフェイスを含む。
プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、コンピュータ１００により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、ローカル技術ネットワークに適した任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。コンピュータ１００には１つのメモリ１０２のみが示されているが、コンピュータ１００にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。コンピュータ１００は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。
本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。
本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。
本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
＜構成＞
図３を参照し、実施形態に係る情報処理装置１０の構成について説明する。図３は、実施形態に係る情報処理装置１０の構成の一例を示す図である。図３の例では、情報処理装置１０は、取得部１１、制御部１２、及び出力部１３を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。
取得部１１は、情報処理装置１０内部の記憶部、または外部装置から各種の情報を取得する。取得部１１は、例えば、路側に設置されている撮影装置５０により撮影された画像を取得する。
制御部１２は、取得部１１により取得された画像に基づいて、当該画像における車両を含む矩形（長方形。４つの角がすべて等しい四角形。なお、本開示では、正方形も矩形に含まれるものとする。）領域（バウンディングボックス）を算出する。そして、制御部１２は、当該画像における当該矩形領域と、予め設定されている画像における軌道と、に基づいて、当該車両の前面の位置を算出する。
出力部１３は、制御部１２により算出された、車両の前面の位置に基づいた警報等を出力する。
＜処理＞
次に、図４から図１２を参照し、実施形態に係る情報処理装置１０の処理の一例について説明する。図４は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図５は、実施形態に係る撮影装置５０で撮影された画像における車両を含む矩形領域の一例を示す図である。図６は、実施形態に係る軌道ＤＢ６０１の一例を示す図である。図７は、実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。図８は、実施形態に係る角度毎の位置を示す情報の一例を示す図である。図９は、実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。図１０は、実施形態に係る矩形領域内の車両の前面の中心部の位置を算出する処理の一例を示す図である。図１１は、実施形態に係る撮影装置５０で撮影された画像における車両の前面の中心部の位置の一例を示す図である。図１２は、実施形態に係る車両端末３０の表示画面の一例を示す図である。
ステップＳ１において、情報処理装置１０の取得部１１は、車両が走行する道路の路側に設置されている撮影装置５０により撮影された画像を取得する。
続いて、情報処理装置１０の制御部１２は、当該画像に基づいて、当該画像における車両を含む矩形領域を抽出する（ステップＳ２）。ここで、情報処理装置１０は、例えば、画像中の物体を認識し、当該物体を囲う最小の矩形領域を算出する。情報処理装置１０は、矩形領域の中心座標、高さ、及び幅を算出してもよい。
以下では、画像の縦（高さ）の下向き方向をｘ軸方向、画像の横（幅）の右向き方向をｙ軸方向として、画素（ピクセル）数をｘ及びｙ座標の値としたピクセル座標系で矩形領域、及び車両の前面の位置等を算出する例について説明する。
図５の例では、交差点の路側に設置されている撮影装置５０で撮影された、ある道路５１０の画像５０１において、車両５１１を含む矩形領域５２１、車両５１２を含む矩形領域５２２、車両５１３を含む矩形領域５２３が検出されている。図５の例では、各矩形領域５２１、５２２、５２３の各辺は、ｘ軸またはｙ軸に並行である。なお、道路５１０では、画像５０１における端部５３１側から撮影装置５０の撮影範囲（画角）内へ車両が進入し、道路５１０の角５３２を左折して、画像５０１における端部５３３から撮影範囲外に出ていくことが法令等により定められているものとする。なお、図５の例では、説明のために各車両を模式的な図形で示している。
続いて、情報処理装置１０の制御部１２は、当該画像における当該矩形領域の位置と、軌道ＤＢ６０１に予め設定されている軌道とに基づいて、当該車両の前面の位置を算出する（ステップＳ３）。
図６の例では、軌道ＤＢ６０１には、撮影装置ＩＤ、車種、及び車速の組み合わせに対応付けて、軌道、角度毎の位置を示す情報、及び矩形領域の移動の履歴が記録されている。なお、軌道ＤＢ６０１は、情報処理装置１０の内部に記憶されていてもよいし、外部装置に記憶されてもよい。撮影装置ＩＤは、撮影装置５０の識別情報である。なお、情報処理装置１０が一つのみの撮影装置５０からの画像を処理する場合は、撮影装置ＩＤの項目は無くてもよい。車種は、車両の種別である。車種には、例えば、大型車、普通車、小型車、二輪車、及び大型二輪車等の種別が含まれてもよい。車速は、車両の速度である。車速は、例えば、所定数（例えば、５）の段階（レベル）に分けられていてもよい。この場合、車速には、例えば、超低速（例えば、０～２０ｋｍ／ｈ）、低速（例えば、２０～４０ｋｍ／ｈ）、中速（例えば、４０～６０ｋｍ／ｈ）、高速（例えば、６０～８０ｋｍ／ｈ）、超高速（８０ｋｍ／ｈ～）等の段階に分類されてもよい。
軌道は、撮影装置５０に撮影される画像の画素座標上で、各車種及び各車速の車両が道路を走行（移動）することにより車両の所定部分（例えば、車両の前面の中央部、または車両の中心部）が移動する軌道である。軌道は、撮影装置５０の画像における車線の中心位置でもよい。軌道の情報は、例えば、情報処理装置１０の管理者等により、軌道ＤＢ６０１に予め設定されていてもよい。また、軌道の情報は、例えば、ディープラーニング等を用いたＡＩ（Artificial Intelligence）等により、撮影装置５０に撮影された画像に基づいて算出（推定、推論）されて軌道ＤＢ６０１に設定されてもよい。
角度毎の位置を示す情報は、車両を含む矩形領域の所定の辺と軌道との交点における当該軌道の接線と、撮影装置５０により撮影される矩形画像の所定の辺とがなす角度に基づいて、車両の前面の位置を算出するための情報である。角度毎の位置を示す情報は、例えば、関数でもよいし、角度と位置との組み合わせを複数含むテーブルのデータでもよい。角度毎の位置を示す情報は、例えば、情報処理装置１０の管理者等により、軌道ＤＢ６０１に予め設定されていてもよい。また、角度毎の位置を示す情報は、例えば、ディープラーニング等を用いたＡＩ等により、撮影装置５０に撮影された画像に基づいて算出（推定、推論）されて軌道ＤＢ６０１に設定されてもよい。矩形領域の移動の履歴は、撮影装置５０に撮影された画像に基づいて検出された各車両を含む矩形領域の位置の推移を示す情報である。
情報処理装置１０は、まず、画像中の特定の車両の車種及び車速を判定してもよい。この場合、情報処理装置１０は、例えば、画像中の当該車両を含む矩形領域を画像認識して、車種を判定してもよい。また、情報処理装置１０は、各フレームにおける当該車両を含む矩形領域の画素座標上の位置の変化に基づいて、車速を判定してもよい。
そして、情報処理装置１０は、画像を撮影した撮影装置５０の撮影装置ＩＤと、判定した車種及び車速に対応付けられた軌道及び角度毎の位置を示す情報を軌道ＤＢ６０１から取得してもよい。これにより、例えば、車種、及び車速に応じた軌道等を用いることにより、より適切に車両の前面の位置を算出することができる。
そして、情報処理装置１０は、画像中の車両を含む矩形領域の所定の辺と軌道との交点を算出する。そして、情報処理装置１０は、当該交点における軌道の接線を算出する。そして、情報処理装置１０は、当該接線とｘ軸（画像の縦（高さ）の下向き方向）とのなす角度θを算出する。
そして、情報処理装置１０は、角度θと関数ｆ（θ）とに基づいて、当該矩形領域における車両の前面の中心部のｘ軸方向の位置を算出する。また、情報処理装置１０は、角度θと関数ｇ（θ）とに基づいて、当該矩形領域における車両の前面の中心部のｙ軸方向の位置を算出する。なお、関数ｆ（θ）及び関数ｇ（θ）は、軌道ＤＢ６０１に設定されている、角度毎の位置を示す情報の一例である。
図７の例では、撮影装置５０の画像７０１中の車両を含む矩形領域７１１の下辺７１２と軌道７３１との交点７１３における軌道７３１の接線７１４が算出される。また、接線７１４とｘ軸とのなす角度θ１が算出される。また、角度θ１と、図８に示す関数ｆ（θ）及び関数ｇ（θ）とに基づいて、矩形領域７１１における車両の前面の中心部の位置７２１が算出される。
図８には、関数ｆ（θ）８０１及び関数ｇ（θ）８０２の一例が示されている。図８の例では、関数ｆ（θ）８０１は、車両を含む矩形領域のｙ軸方向の長さ（幅）に対する、車両の前面の中心部のｙ軸方向の位置の比の値である。図８の例では、角度θが０°から９０°になる間において、関数ｆ（θ）８０１の値は、０．５から１．０まで線形に増加する。したがって、画像における端部５３１側から車両が進入した際には、角度θが概ね０°であるため、両を含む矩形領域における車両の前面の中心部のｙ軸方向の位置は、当該矩形領域のｙ軸方向の約半分（０．５）と算出される。また、画像における端部５３３から車両が出ていく際には、角度θが概ね９０°であるため、両を含む矩形領域における車両の前面の中心部のｙ軸方向の位置は、当該矩形領域のｙ軸方向の約右端（１．０）と算出される。
また、図８の例では、関数ｇ（θ）８０２は、車両を含む矩形領域のｘ軸方向の長さ（高さ）に対する、車両の前面の中心部のｘ軸方向の位置の比の値である。図８の例では、角度θが０°から約１０°になる間において、関数ｇ（θ）８０２の値は約１．０であり、
角度θが約１０°から９０°になる間において、関数ｇ（θ）８０２の値は、１．０から約０．７まで線形に減少する。
したがって、画像における端部５３１側から車両が進入した際には、角度θが概ね０°であるため、両を含む矩形領域における車両の前面の中心部のｘ軸方向の位置は、当該矩形領域のｘ軸方向の下端（１．０）と算出される。また、画像における端部５３３から車両が出ていく際には、角度θが概ね９０°であるため、両を含む矩形領域における車両の前面の中心部のｘ軸方向の位置は、当該矩形領域のｘ軸方向の半分よりも下側（０．７）と算出される。
同様に、図９の例では、撮影装置５０の画像９０１中の車両を含む矩形領域９１１の下辺９１２Ａ及び右辺９１２Ｂと軌道７３１との交点９１３における軌道７３１の接線９１４が算出される。また、接線９１４とｘ軸とのなす角度θ２が算出される。また、角度θ２と、図８に示す関数ｆ（θ）及び関数ｇ（θ）とに基づいて、矩形領域９１１における車両の前面の中心部の位置９２１が算出される。
同様に、図１０の例では、撮影装置５０の画像１００１中の車両を含む矩形領域１０１１の右辺１０１２と軌道７３１との交点１０１３における軌道７３１の接線１０１４が算出される。また、接線１０１４とｘ軸とのなす角度θ３が算出される。また、角度θ３と、図８に示す関数ｆ（θ）及び関数ｇ（θ）とに基づいて、矩形領域１０１１における車両の前面の中心部の位置１０２１が算出される。
これにより、図５の画像５０１に対して、図１１に示すように、各車両の前面の中心部の位置が算出される。図１１の例では、車両５１１の前面の中心部の位置１１０１、車両５１２の前面の中心部の位置１１０２、車両５１３の前面の中心部の位置１１０３が算出される。なお、図５のように、車両が撮影装置５０の方向に向かって進行したのち左折する場合に、車両の位置を複数フレームに渡って追跡（トラッキング）する場合について説明する。この場合、車両を含む矩形領域の左下隅の位置に基づいて車両の位置を追跡すると、所定時間内での移動距離が比較的短くなる。そのため、車両の移動速度が比較的低く算出される。また、車両を含む矩形領域の右下隅の位置に基づいて車両の位置を追跡すると、ｙ軸方向での車両の位置の変動が比較的大きくなる。一方、本開示によれば、車両の軌跡を適切に算出できる。
続いて、情報処理装置１０の出力部１３は、算出した当該車両の前面の位置に応じた警報等の情報を出力する（ステップＳ４）。ここで、情報処理装置１０は、例えば、図１２に示すように、図１１の画像５０１の各車両５１１、５１２、５１３の前面の中心部の位置１１０１、１１０２、１１０３をオルソ変換し、道路５１０を上から見た場合の模式図の画像１２０１を生成してもよい。そして、情報処理装置１０は、生成した画像１２０１を、車両端末３０へ送信して表示させてもよい。
また、情報処理装置１０は、例えば、各車両の位置の推移に基づき、ある車両が他の車両と衝突する可能性があると判断した場合、ブレーキ操作を促す警報を各車両の車両端末３０に送信してもよい。
（軌道の更新について）
情報処理装置１０の制御部１２は、撮影装置５０に撮影された各画像に基づいて算出した複数の車両の位置の軌跡に基づいて、軌道ＤＢ６０１に記録されている軌道を更新してもよい。これにより、例えば、実際の各車の運転に基づいて、車両の前面の位置をより適切に検出できる。この場合、情報処理装置１０は、例えば、軌道ＤＢ６０１に記録されている車速及び車種ごとの各車両を含む矩形領域の移動の履歴に基づいて、各車両の前面の中心部の位置の移動の推移（軌跡）を算出してもよい。そして、情報処理装置１０は、算出した各軌跡の平均を、当該車速及び車種に対する軌道として記録してもよい。
＜本開示の効果について＞
近年、自動運転に関する技術が進化している。レベル４等の自動運転を実現するために、自車両以外の装置（例えば、路側に設置されているセンサ）との連携が検討されている。当該センサに基づく情報を車両側に提供することにより、より安全かつ円滑な交通を支援できると考えられる。一方、各種のセンサ（例えば、ステレオカメラ、ＬｉＤＡＲ(Light Detection and Ranging)、ミリ波レーダ）を統合して車両の位置を認識するシステムの場合、ソフトやハードの複雑化、高機能化が必要となる。
一方、本開示によれば、センサとしては単眼の撮影装置５０（カメラ）にて車両の位置を検出することができる。また、撮影装置５０の画角と道路の形状とに応じて予め設定されている軌道の情報を用いることにより、処理負荷を低減させながら、車両の位置を適切に検出することができる。
＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１０の少なくとも一部の処理は、サーバ２０、車両端末３０、撮影装置５０の少なくとも一つで実行されてもよい。また、情報処理装置１０は、サーバ２０、車両端末３０、撮影装置５０の少なくとも一つと一体の装置でもよい。これらのような情報処理装置についても、本開示の「情報処理システム」の一例に含まれる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１ 道路交通システム
１０ 情報処理装置
１１ 取得部
１２ 制御部
１３ 出力部
２０ サーバ
３０ 車両端末
５０ 撮影装置

Claims (9)

  1. 路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、
    算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する制御部を有する、
    情報処理システム。
  2. 前記撮影装置は、前記車両が走行する道路の路側に設置されている、
    請求項１に記載の情報処理システム。
  3. 前記情報処理システムは、
    前記制御部により算出された前記車両の前面の位置に基づいた警報を出力する出力部を有する、
    請求項１または２に記載の情報処理システム。
  4. 前記制御部は、
    前記矩形領域と、前記矩形領域の辺と前記軌道との交点における前記軌道の接線に基づいて、前記車両の前面の位置を算出する、
    請求項１から３のいずれか一項に記載の情報処理システム。
  5. 前記制御部は、
    前記画像に基づいて認識された前記車両の種別と、前記車両の種別毎に設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する、
    請求項１から４のいずれか一項に記載の情報処理システム。
  6. 前記制御部は、
    撮影装置に撮影された画像に基づいて算出された前記車両の速度と、速度毎に設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する、
    請求項１から５のいずれか一項に記載の情報処理システム。
  7. 前記制御部は、
    撮影装置に撮影された画像に基づいて算出した複数の車両の位置の軌跡に基づいて、前記軌道を更新する、
    請求項１から６のいずれか一項に記載の情報処理システム。
  8. 路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、
    算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する、
    情報処理方法。
  9. 路側に設置されている撮影装置で撮影された画像に基づいて、前記画像における車両を含む矩形領域を算出し、
    算出した前記矩形領域と、設定されている前記画像における軌道と、に基づいて、前記車両の前面の位置を算出する処理をコンピュータに実行させるプログラム。
JP2021184175A 2021-11-11 2021-11-11 情報処理システム、情報処理方法、及びプログラム Pending JP2023071411A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021184175A JP2023071411A (ja) 2021-11-11 2021-11-11 情報処理システム、情報処理方法、及びプログラム
US17/944,665 US20230144073A1 (en) 2021-11-11 2022-09-14 Information processing system, information processing method, and storage medium
CN202211362039.9A CN116110217A (zh) 2021-11-11 2022-11-02 信息处理系统、信息处理方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021184175A JP2023071411A (ja) 2021-11-11 2021-11-11 情報処理システム、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023071411A true JP2023071411A (ja) 2023-05-23

Family

ID=86230041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021184175A Pending JP2023071411A (ja) 2021-11-11 2021-11-11 情報処理システム、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230144073A1 (ja)
JP (1) JP2023071411A (ja)
CN (1) CN116110217A (ja)

Also Published As

Publication number Publication date
US20230144073A1 (en) 2023-05-11
CN116110217A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US10983520B2 (en) Teleassistance data prioritization for self-driving vehicles
US10202126B2 (en) Teleassistance data encoding for self-driving vehicles
JPWO2019039279A1 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
CN109741632A (zh) 一种车辆辅助行驶方法和装置
JP2017047694A (ja) 車両制御装置および車両制御システム
CN103942960A (zh) 一种车辆变道检测方法及装置
JP7456442B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11738747B2 (en) Server device and vehicle
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JPWO2017163614A1 (ja) 車両制御装置
US11541868B2 (en) Vehicle control device and vehicle control method
CN111284427A (zh) 基于货物掉落检测的车辆控制方法和系统
JP2023513300A (ja) 衝突事故防止方法、その装置、そのサーバ及びそのコンピュータプログラム
KR20110096221A (ko) 교통 신호 제어 시스템 및 방법
CN113012199A (zh) 运动目标追踪的系统和方法
US11417114B2 (en) Method and apparatus for processing information
JP2023071411A (ja) 情報処理システム、情報処理方法、及びプログラム
CN115497282B (zh) 信息处理装置、信息处理方法、以及存储介质
TWI573713B (zh) 行車距離提示裝置及其方法
US20220410904A1 (en) Information processing device, information processing system and information processing method
CN113581069A (zh) 预警方法、装置、车辆、电子设备及计算机存储介质
US11932239B2 (en) Driving assistance methods, driving assistance apparatus, driving assistance systems, and computer program
CN111598009A (zh) 监控急刹车辆的方法、装置、电子设备和存储介质
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521