JP2021135816A - データ処理装置、データ処理方法およびプログラム - Google Patents
データ処理装置、データ処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021135816A JP2021135816A JP2020032250A JP2020032250A JP2021135816A JP 2021135816 A JP2021135816 A JP 2021135816A JP 2020032250 A JP2020032250 A JP 2020032250A JP 2020032250 A JP2020032250 A JP 2020032250A JP 2021135816 A JP2021135816 A JP 2021135816A
- Authority
- JP
- Japan
- Prior art keywords
- model
- vehicle
- detection
- frame
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 238000000605 extraction Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 abstract description 22
- 238000005259 measurement Methods 0.000 description 31
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000007423 decrease Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、対象となるデータに基づいて検知対象を検知する技術に関する。ここで、対象となるデータは、ある環境において時系列に沿って連続的に得られた複数のフレームである。以下の説明では、対象となるデータが動画像であり、複数のフレームが、ある環境に設置されたカメラによって時系列に沿って撮像される複数の画像フレームである場合を主に想定する。しかし、後にも説明するように、対象となるデータは、動画像に限定されないし、複数のフレームは、複数の画像フレームに限定されない。
続いて、本発明の実施形態の詳細について説明する。
まず、図2を参照しながら、本発明の実施形態に係る移動物体抽出システム(データ処理システム)の機能構成例について説明する。
続いて、図3〜図12を参照しながら、本発明の実施形態に係る移動物体抽出システム1の動作の例について説明する。
まず、移動物体抽出装置10において、車両検出部111は、カメラ20から時系列に沿って連続的に入力される画像フレームから車両位置(すなわち、車両領域)を検出する(S11)。
図3に戻って説明を続ける。続いて、移動軌跡抽出部115は、車両検出部111によって検出された車両(すなわち、車両領域の位置)を追跡する(S12)。ここでは、移動軌跡抽出部115が、同一車両が写る車両領域の中心点を追跡する場合を主に想定する。しかし、追跡される車両領域の位置は、車両領域の中心点以外の点(例えば、車両領域の左上隅など)であってもよい。
図3に戻って説明を続ける。続いて、計測処理部116は、移動軌跡抽出部115によって同一とみなされた車両の速度を計測する(S14)。車両の速度は、どのようにして計測されてもよい。さらに、計測処理部116は、計測した速度に基づいて停止車両を検知する(S15)。例えば、計測処理部116は、速度がゼロの車両を停止車両として検知する。続いて、計測処理部116は、既に説明したように、カメラ20から入力される動画像に設定された計測線L0(図7)を跨いだ車両台数(すなわち、車両軌跡の数)を計測する(S16)。例えば、計測処理部116は、計測線L0(図7)を跨いだ車両台数(すなわち、車両軌跡の数)を、車両軌跡が跨いだ方向別に計測する。
以上、本発明の実施形態に係る移動物体抽出システム1の動作の例について説明してきたが、以上に説明した移動物体抽出システム1には改善可能な点がある。そこで、以下では、改善可能な点について説明する。
本発明の実施形態に係る移動物体抽出装置10において、画像フレーム分配部112は、カメラ20から時系列に沿って連続的に入力される複数の画像フレーム(動画像)を取得する。そして、画像フレーム分配部112は、画像フレームごとに晴モデルM1または雪モデルM2を利用モデルとして選択し、利用モデルによる車両検知が実行されるように複数の画像フレームを分配する。このとき、判断部113は、晴モデルM1による推論結果と雪モデルM2による推論結果とに基づいて、晴モデルM1と雪モデルM2とのうち、より正当性が高いモデルが利用モデルとして選択される頻度を高くする。
まず、より正当性の高いモデルを判定する手法の例として第1の判定例について説明する。図10は、より正当性の高いモデルを判定する手法の例としての第1の判定例について説明するための図である。ここでも、図9と同様に、雪である天候の下に撮像された画像フレームG14が、晴モデルM1に入力され、画像フレームG14に続く(雪である天候の下に撮像された)画像フレームG15が、雪モデルM2に入力される。
続いて、より正当性の高いモデルを判定する手法の例として第2の判定例について説明する。図11は、より正当性の高いモデルを判定する手法の例としての第2の判定例について説明するための図である。図10に示された例と同様にして、画像フレームG14が、晴モデルM1に入力され、画像フレームG14に続く画像フレームG15が、雪モデルM2に入力される。図10に示された例と同様にして、画像フレームG14に基づく晴モデルM1による推論結果と、画像フレームG15に基づく雪モデルM2による推論結果とが得られる。
続いて、より正当性の高いモデルを判定する手法の例として第3の判定例について説明する。図12は、より正当性の高いモデルを判定する手法の例としての第3の判定例について説明するための図である。図10に示された例と同様にして、画像フレームG14が、晴モデルM1に入力され、画像フレームG14に続く画像フレームG15が、雪モデルM2に入力される。図10に示された例と同様にして、画像フレームG14に基づく晴モデルM1による推論結果と、画像フレームG15に基づく雪モデルM2による推論結果とが得られる。
以上に説明したように、画像フレーム分配部112から晴モデルM1に入力された画像フレームに基づいて晴モデルM1によって車両が検知される。また、画像フレーム分配部112から雪モデルM2に入力された画像フレームに基づいて雪モデルM2によって車両が検知される。移動軌跡抽出部115は、晴モデルM1による車両検知の結果と、雪モデルM2による車両検知の結果とに基づいて、動画像中の車両の軌跡を抽出する。
続いて、本発明の実施形態に係る移動物体抽出装置10のハードウェア構成例について説明する。以下では、本発明の実施形態に係る移動物体抽出装置10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。なお、以下に説明する情報処理装置900のハードウェア構成例は、移動物体抽出装置10のハードウェア構成の一例に過ぎない。したがって、移動物体抽出装置10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
以上に説明したように、本発明の実施形態によれば、フレームに基づいて検知対象の検知を行う第1のモデルと、フレームに基づいて検知対象の検知を行う第2のモデルと、を備える、移動物体抽出装置10が提供される。
10 移動物体抽出装置
110 制御部
111 車両検出部
112 画像フレーム分配部
113 判断部
115 移動軌跡抽出部
116 計測処理部
130 記憶部
20 カメラ
Claims (14)
- フレームに基づいて検知対象の検知を行う第1のモデルと、
フレームに基づいて検知対象の検知を行う第2のモデルと、
複数のフレームを取得し、フレームごとに前記第1のモデルまたは前記第2のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、
前記第1のモデルによる推論結果と前記第2のモデルによる推論結果とに基づいて、前記第1のモデルと前記第2のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、
を備える、データ処理装置。 - 前記第1のモデルと前記第2のモデルとは、互いに異なる環境において得られたデータに基づいて生成される、
請求項1に記載のデータ処理装置。 - 前記環境は、天候、時間帯または場所である、
請求項2に記載のデータ処理装置。 - 前記判断部は、前記第1のモデルによって検知対象が検知された第1の領域に検知対象が存在する第1の正解率を第1のモデルの正当性として算出するとともに、前記第2のモデルによって検知対象が検知された第2の領域に検知対象が存在する第2の正解率を前記第2のモデルの正当性として算出する、
請求項1〜3のいずれか一項に記載のデータ処理装置。 - 前記判断部は、前記第1のモデルによって得られた第1の検出スコアに基づいて前記第1のモデルの正当性を算出するとともに、前記第2のモデルによって得られた第2の検出スコアに基づいて前記第2のモデルの正当性を算出する、
請求項1〜3のいずれか一項に記載のデータ処理装置。 - 前記判断部は、第1の閾値よりも高い前記第1の検出スコアの数を前記第1のモデルの正当性として算出するとともに、第2の閾値よりも高い前記第2の検出スコアの数を前記第2のモデルの正当性として算出する、
請求項5に記載のデータ処理装置。 - 前記判断部は、前記第1の検出スコアの平均値を前記第1のモデルの正当性として算出するとともに、前記第2の検出スコアの平均値を前記第2のモデルの正当性として算出する、
請求項5に記載のデータ処理装置。 - 前記判断部は、所定のフレームごとに前記第1のモデルの正当性と前記第2のモデルの正当性との比較を行う、
請求項1〜7のいずれか一項に記載のデータ処理装置。 - 前記判断部は、前記より正当性が高いモデルによって得られた検出スコアの平均値が所定の値よりも低くなった場合、または、前記より正当性が高いモデルによって得られた検出スコアが所定のスコアよりも高い数が所定の数よりも少なくなった場合に、前記第1のモデルの正当性と前記第2のモデルの正当性との比較を行う、
請求項1〜7のいずれか一項に記載のデータ処理装置。 - 前記第1のモデルおよび前記第2のモデルそれぞれは、画像フレームに基づいて所定の物体または所定の事象を検知対象として検知する、
請求項1〜9のいずれか一項に記載のデータ処理装置。 - 前記第1のモデルによる物体検知の結果と前記第2のモデルによる物体検知の結果とに基づいて、前記複数のフレーム中の物体の軌跡を抽出する移動軌跡抽出部を備える、
請求項10に記載のデータ処理装置。 - 前記第1のモデルおよび前記第2のモデルそれぞれは、音声フレームに基づいて所定の音または所定の事象を検知対象として検知する、
請求項1〜9のいずれか一項に記載のデータ処理装置。 - 複数のフレームを取得し、フレームごとに第1のモデルまたは第2のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配することと、
前記第1のモデルによる推論結果と前記第2のモデルによる推論結果とに基づいて、前記第1のモデルと前記第2のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くすることと、
を含む、データ処理方法。 - コンピュータを、
フレームに基づいて検知対象の検知を行う第1のモデルと、
フレームに基づいて検知対象の検知を行う第2のモデルと、
複数のフレームを取得し、フレームごとに前記第1のモデルまたは前記第2のモデルを利用モデルとして選択し、前記利用モデルによる検知が実行されるように前記複数のフレームを分配するフレーム分配部と、
前記第1のモデルによる推論結果と前記第2のモデルによる推論結果とに基づいて、前記第1のモデルと前記第2のモデルとのうち、より正当性が高いモデルが前記利用モデルとして選択される頻度を高くする判断部と、
を備えるデータ処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032250A JP7452095B2 (ja) | 2020-02-27 | 2020-02-27 | データ処理装置、データ処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032250A JP7452095B2 (ja) | 2020-02-27 | 2020-02-27 | データ処理装置、データ処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135816A true JP2021135816A (ja) | 2021-09-13 |
JP7452095B2 JP7452095B2 (ja) | 2024-03-19 |
Family
ID=77661333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032250A Active JP7452095B2 (ja) | 2020-02-27 | 2020-02-27 | データ処理装置、データ処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7452095B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112022004076T5 (de) | 2021-08-23 | 2024-06-20 | Denso Corporation | Präsentationssteuervorrichtung, präsentationssteuerprogramm, steuervorrichtung für automatisiertes fahren und steuerprogramm für automatisiertes fahren |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4852129B2 (ja) | 2009-07-03 | 2012-01-11 | 日本電信電話株式会社 | 音声認識装置とその方法と、プログラム |
JP2018081404A (ja) | 2016-11-15 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 識別方法、識別装置、識別器生成方法及び識別器生成装置 |
JP6224857B1 (ja) | 2017-03-10 | 2017-11-01 | ヤフー株式会社 | 分類装置、分類方法および分類プログラム |
-
2020
- 2020-02-27 JP JP2020032250A patent/JP7452095B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112022004076T5 (de) | 2021-08-23 | 2024-06-20 | Denso Corporation | Präsentationssteuervorrichtung, präsentationssteuerprogramm, steuervorrichtung für automatisiertes fahren und steuerprogramm für automatisiertes fahren |
Also Published As
Publication number | Publication date |
---|---|
JP7452095B2 (ja) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6649947B2 (ja) | タッチ入力の非意図的または意図的なものとしての分類 | |
CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
JP2017529582A (ja) | タッチ分類 | |
CN112530202B (zh) | 一种车辆变道的预测方法、装置、设备及车辆 | |
WO2022105692A1 (zh) | 一种手势识别方法及装置 | |
US9141246B2 (en) | Touch pad | |
JP2019211814A (ja) | 渋滞予測装置、および、渋滞予測方法 | |
JP6153561B2 (ja) | ハイパーリンクのレイアウト・サイズを調整するための方法、装置、およびコンピュータ・プログラム(ハイパーリンクのレイアウト・サイズの調整) | |
US20120124526A1 (en) | Method for continuing a function induced by a multi-touch gesture on a touchpad | |
CN114639233B (zh) | 一种拥堵状态预测方法、装置、电子设备及存储介质 | |
JP2021135816A (ja) | データ処理装置、データ処理方法およびプログラム | |
JP2020109644A (ja) | 転倒検出方法、転倒検出装置及び電子機器 | |
JP2020194489A (ja) | 異常検出方法、異常検出装置、及び異常検出システム | |
CN112884801A (zh) | 高空抛物检测方法、装置、设备和存储介质 | |
US20230368397A1 (en) | Method and system for detecting moving object | |
CN105184646A (zh) | 自助银行信息推送方法及装置 | |
JP7452094B2 (ja) | 移動物体抽出装置、移動物体抽出方法およびプログラム | |
CN115527083A (zh) | 图像标注方法、装置和电子设备 | |
CN113012430A (zh) | 一种车辆排队长度检测方法、装置、设备及可读存储介质 | |
CN107995181B (zh) | 一种基于步态的身份验证方法、装置、设备及存储介质 | |
WO2020101036A1 (ja) | 教師信号生成装置、モデル生成装置、物体検出装置、教師信号生成方法、モデル生成方法、およびプログラム | |
JP7382859B2 (ja) | 災害規模推定装置 | |
WO2021214861A1 (ja) | 学習装置、学習済みモデル生成方法、分類装置、分類方法、及びコンピュータ読み取り可能な記録媒体 | |
TWI846140B (zh) | 雷達物件辨識系統及方法 | |
JP2023032438A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7452095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |