JP2021043773A - 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム - Google Patents
符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム Download PDFInfo
- Publication number
- JP2021043773A JP2021043773A JP2019166117A JP2019166117A JP2021043773A JP 2021043773 A JP2021043773 A JP 2021043773A JP 2019166117 A JP2019166117 A JP 2019166117A JP 2019166117 A JP2019166117 A JP 2019166117A JP 2021043773 A JP2021043773 A JP 2021043773A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image
- image data
- target
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成するステップと、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別器を用いて、当該画像データから当該対象を識別するステップと
を有する対象識別方法が提供される。
(a)所定以上の大きさと、基準向きに対し所定以上の角度をなす向きとを有する順方向予測の動きベクトル、
(b)所定以上の大きさを有する画面内予測の符号量、及び
(c)所定以下の大きさを有する量子化ステップサイズ
のうちの予め設定された1つ、2つ又は全部であって、当該単位画像区域はマクロブロックであることも好ましい。
当該対象のクラスに係る情報は、当該対象における時間的変化に係る情報であることも好ましい。
当該画像特徴量は、互いに異なる時点であって、それぞれ上記の複数のマッピング情報に係る時点に相当する複数の時点に係る複数の画像データのそれぞれを入力とし当該画像データに係る画像特徴量をそれぞれ出力する複数の第2の畳み込み層部を用いて生成され、
当該対象のクラスに係る情報は、当該対象における時間的変化に係る情報である
ことも好ましい。
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
を有する対象識別装置が提供される。
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報であって、クライアントから当該画像データとともに取得されたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
を有する対象識別サーバが提供される。
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
してコンピュータを機能させる対象識別プログラムが提供される。
図1は、本発明による対象識別装置(サーバ)及びクライアントを備えた対象識別システムの一実施形態を説明するための模式図及び機能ブロック図である。
(a)移動可能なクライアントである少なくとも1つの端末20と、
(b)端末20から、所定の対象を画像内に含み得る画像データを取得可能なサーバであるクラウドサーバ1と
を有し、クラウドサーバ1において、当該画像データから、動きや変化を伴う所定の対象が識別されるのである。
(A)当該画像データを含む映像データを符号化した際に、「単位画像区域」毎に決定される「符号化パラメータ」を「単位画像区域」にマッピングさせた「マッピング情報」についての特徴量である「符号化パラメータ特徴量」と、当該画像データの画素値に係る特徴量である「画像特徴量」とを生成する特徴量生成部113と、
(B)生成された「符号化パラメータ特徴量」及び「画像特徴量」を入力とし、所定の対象のクラスに係る情報を出力する学習済みの識別器を用いて、当該画像データから所定の対象を識別する対象識別部114と
を有することを特徴としている。
(a)順方向予測の動きベクトル、
(b)画面内予測の符号量、及び
(c)量子化ステップサイズ
のうちの設定された少なくとも1つとすることができる。
(a)順方向予測の動きベクトルの大きさが大きいほど、また、基準向き(例えば、消失点(画像内地平線上の収束点)へ向かう向き)に対して当該動きベクトルの向きのなす角度が大きいほど、そのマクロブロックの部分における色合いの階調を高く(濃く)したものとすることができ、
(b)画面内予測の符号量が大きいほど、そのマクロブロックの部分における色合いの階調を高く(濃く)したものであってもよく、さらに、
(c)量子化ステップサイズが小さいほど、そのマクロブロックの部分における色合いの階調を高く(濃く)したものとすることもできる。
図1に示した機能ブロック図によれば、クラウドサーバ1は、通信インタフェース101と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による対象識別プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この対象識別プログラムを実行することによって、対象識別処理を実施する。
(a)順方向予測の動きベクトルが、所定以上の大きさと、基準向き(例えば、消失点(画像内地平線上の収束点)へ向かう向き)に対し所定以上の角度をなす向きとを有している、
(b)画面内予測の符号量が、所定以上の大きさを有する、及び
(c)量子化ステップサイズが、所定以下の大きさを有する
との3つの条件のうちの予め設定された1つ、2つ又は全部が満たされるマクロブロック(群)とすることができる。
(a)取得された画像データの画素値に係る特徴量である画像特徴量を生成する画像特徴量生成部113aと、
(b)取得された符号化パラメータマップ(マッピング情報)についての特徴量である符号化パラメータ特徴量を生成する符号化パラメータ特徴量生成部113bと
を有する。
(a)画像特徴量生成部113aは、対象領域決定部112で決定された画像対象領域(識別用の画像領域)についての画像特徴量を生成し、一方、
(b)符号化パラメータ特徴量生成部113bは、対象領域決定部112で決定された符号化マップ対象領域(識別用のマップ画像領域)についての符号化パラメータ特徴量を生成する
ことも好ましい。なお、以上の特徴量生成処理については、この後、図3に示した実施例を用いて具体的に説明を行う。
(a)符号化パラメータ特徴量生成部113bは、符号化マップ対象領域(マッピング情報の一部)を入力とし符号化パラメータ特徴量を出力する、DNNで構成される第1の畳み込み層部(Convolutional Layers)であるCL1を用いて、符号化パラメータ特徴量を生成し、
(b)画像特徴量生成部113aは、画像対象領域(画像データの一部)を入力とし画像特徴量を出力する、DNNで構成される第2の畳み込み層部であるCL2を用いて、画像特徴量を生成し、
(c)対象識別部114は、CL1及びCL2からの出力を取りまとめて入力とし、所定の対象のクラスに係る情報(例えば、"クラス"とその確からしさを示すスコア)を出力する、DNNで構成される全結合層部(Fully-Connected Layers)であるFCLを含む識別器を用いて、対象識別結果(例えば、"クラス"とスコア)を生成している。
時刻T,時刻T+1,時刻T+2,・・・,時刻T+(N-1)
に係るN(Nは2以上の整数)個の画像領域となっている。ここで、時刻T+pは、時刻Tから所定単位時間のp(pは1以上の整数)倍だけ経過した時刻であり、また、この所定単位時間として、画像取得部111から取得される時系列画像データにおける隣接する画像フレームの時間間隔、又はその整数倍の時間を設定することができる。
CL2-0,CL2-1,・・・,CL2-(N-1)
のN個の畳み込み層部が使用されているのである。すなわち本実施例では、画像特徴量は、互いに異なる時点に係る複数の画像対象領域(画像データの一部)のそれぞれを入力とし当該画像対象領域に係る画像特徴量をそれぞれ出力する複数のCL2を用いて生成されるのである。
同じく図1に示した機能ブロック図によれば、端末20は、通信インタフェース201と、カメラ202と、ディスプレイ(DP)203と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る画像データ提供プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この画像データ提供プログラムを実行することによって、画像データ提供処理を実施する。
(a)順方向予測の動きベクトルが、所定以上の大きさと、消失点へ向かう基準向きに対し所定以上の角度をなす向きとを有している、
(b)画面内予測の符号量が、所定以上の大きさを有する、及び
(c)量子化ステップサイズが、所定以下の大きさを有する
との3つの条件のうちの1つ、2つ又は全部(いずれを採用するかは予め設定される)が満たされるマクロブロックを選別する。ちなみにこのような条件を満たす符号化パラメータは、おしなべて言えば画像の時間的変動が所定以上に大きいことを示すものとなっている。
101、201 通信インタフェース
111 画像取得部
112 対象領域決定部
113 特徴量生成部
113a 画像特徴量生成部
113b 符号化パラメータ特徴量生成部
114 対象識別部
115 学習データ・モデル生成部
116、216 送受信制御部
2 自動車
20 端末(クライアント)
202 カメラ
203 ディスプレイ(DP)
211 映像生成部
212 符号化パラメータ抽出部
213 符号化マップ生成部
214 有意映像ストリーム生成部
215 提示情報生成部
Claims (10)
- 所定の対象を画像内に含み得る画像データから当該対象を識別するコンピュータにおける対象識別方法であって、
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成するステップと、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別器を用いて、当該画像データから当該対象を識別するステップと
を有することを特徴とする対象識別方法。 - 当該符号化パラメータ特徴量及び当該画像特徴量を生成するステップにおいて、当該符号化パラメータが所定条件を満たすことになる単位画像区域の画像内での位置を含む画像領域を識別用画像領域として、当該符号化パラメータ特徴量及び当該画像特徴量を、当該識別用画像領域についての特徴量として生成することを特徴とする請求項1に記載の対象識別方法。
- 当該映像データの符号化はMPEG(Moving Picture Experts Group)による符号化であり、当該所定条件を満たす符号化パラメータは、
(a)所定以上の大きさと、基準向きに対し所定以上の角度をなす向きとを有する順方向予測の動きベクトル、
(b)所定以上の大きさを有する画面内予測の符号量、及び
(c)所定以下の大きさを有する量子化ステップサイズ
のうちの予め設定された1つ、2つ又は全部であって、当該単位画像区域はマクロブロックであることを特徴とする請求項2に記載の対象識別方法。 - 当該符号化パラメータ特徴量は、当該マッピング情報を入力とし当該符号化パラメータ特徴量を出力する第1の畳み込み層部(Convolutional Layers)を用いて生成され、当該画像特徴量は、当該画像データを入力とし当該画像特徴量を出力する第2の畳み込み層部を用いて生成され、
当該識別器は、第1の畳み込み層部及び第2の畳み込み層部からの出力を取りまとめて入力とし、当該対象のクラスに係る情報を出力する全結合層部(Fully-Connected Layers)を含む
ことを特徴とする請求項1から3のいずれか1項に記載の対象識別方法。 - 当該画像特徴量は、互いに異なる時点に係る複数の画像データのそれぞれを入力とし当該画像データに係る画像特徴量をそれぞれ出力する複数の第2の畳み込み層部を用いて生成され、
当該対象のクラスに係る情報は、当該対象における時間的変化に係る情報である
ことを特徴とする請求項4に記載の対象識別方法。 - 当該符号化パラメータ特徴量は、互いに異なる時点に係る複数のマッピング情報のそれぞれを入力とし当該マッピング情報に係る符号化パラメータ特徴量をそれぞれ出力する複数の第1の畳み込み層部を用いて生成され、
当該画像特徴量は、互いに異なる時点であって、それぞれ前記複数のマッピング情報に係る時点に相当する複数の時点に係る複数の画像データのそれぞれを入力とし当該画像データに係る画像特徴量をそれぞれ出力する複数の第2の畳み込み層部を用いて生成され、
当該対象のクラスに係る情報は、当該対象における時間的変化に係る情報である
ことを特徴とする請求項4に記載の対象識別方法。 - 当該対象は移動体であり、当該対象における時間的変化に係る情報は、右折、左折、他の移動体との間で生じる接近、他の移動体との間で生じる割り込み、他の移動体との間で生じる追い越し、及び急な横方向の変化のうちの少なくとも1つであることを特徴とする請求項5又は6に記載の対象識別方法。
- 所定の対象を画像内に含み得る画像データから当該対象を識別する装置であって、
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
を有することを特徴とする対象識別装置。 - クライアントで生成された、所定の対象を画像内に含み得る画像データを取得し、当該対象を識別するサーバであって、
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報であって、前記クライアントから当該画像データとともに取得されたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
を有することを特徴とする対象識別サーバ。 - 所定の対象を画像内に含み得る画像データから当該対象を識別するコンピュータを機能させるプログラムであって、
当該画像データを含む映像データを符号化した際に、単位画像区域毎に決定される符号化パラメータを当該単位画像区域にマッピングさせたマッピング情報についての特徴量である符号化パラメータ特徴量と、当該画像データの画素値に係る特徴量である画像特徴量とを生成する特徴量生成手段と、
生成された当該符号化パラメータ特徴量及び当該画像特徴量を入力とし、当該対象のクラスに係る情報を出力する学習済みの識別部を用いて、当該画像データから当該対象を識別する対象識別手段と
してコンピュータを機能させることを特徴とする対象識別プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166117A JP7145830B2 (ja) | 2019-09-12 | 2019-09-12 | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166117A JP7145830B2 (ja) | 2019-09-12 | 2019-09-12 | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043773A true JP2021043773A (ja) | 2021-03-18 |
JP7145830B2 JP7145830B2 (ja) | 2022-10-03 |
Family
ID=74864094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019166117A Active JP7145830B2 (ja) | 2019-09-12 | 2019-09-12 | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7145830B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016031576A (ja) * | 2014-07-28 | 2016-03-07 | クラリオン株式会社 | 物体検出装置 |
JP2017068760A (ja) * | 2015-10-01 | 2017-04-06 | 日産自動車株式会社 | 走行支援システム及び走行支援方法 |
JP2018097766A (ja) * | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
JP2018124689A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
JP2018149990A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者の着座判定装置 |
JP2018185724A (ja) * | 2017-04-27 | 2018-11-22 | Kddi株式会社 | 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法 |
JP2018203169A (ja) * | 2017-06-08 | 2018-12-27 | トヨタ自動車株式会社 | 運転意識推定装置 |
-
2019
- 2019-09-12 JP JP2019166117A patent/JP7145830B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016031576A (ja) * | 2014-07-28 | 2016-03-07 | クラリオン株式会社 | 物体検出装置 |
JP2017068760A (ja) * | 2015-10-01 | 2017-04-06 | 日産自動車株式会社 | 走行支援システム及び走行支援方法 |
JP2018097766A (ja) * | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
JP2018124689A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
JP2018149990A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者の着座判定装置 |
JP2018185724A (ja) * | 2017-04-27 | 2018-11-22 | Kddi株式会社 | 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法 |
JP2018203169A (ja) * | 2017-06-08 | 2018-12-27 | トヨタ自動車株式会社 | 運転意識推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7145830B2 (ja) | 2022-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3722992B1 (en) | System and method for pre-processing images captured by a vehicle | |
EP3321844B1 (en) | Action recognition in a video sequence | |
US11112791B2 (en) | Selective compression of image data during teleoperation of a vehicle | |
Chen et al. | An advanced moving object detection algorithm for automatic traffic monitoring in real-world limited bandwidth networks | |
WO2016173277A9 (zh) | 视频编码方法、解码方法及其装置 | |
JP5693162B2 (ja) | 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
US11727255B2 (en) | Systems and methods for edge assisted real-time object detection for mobile augmented reality | |
JP2020107328A (ja) | 車両データで使用する動的データ圧縮システムおよび方法 | |
US11586843B1 (en) | Generating training data for speed bump detection | |
US11161456B1 (en) | Using the image from a rear view camera in a three-camera electronic mirror system to provide early detection of on-coming cyclists in a bike lane | |
US11659154B1 (en) | Virtual horizontal stereo camera | |
US11124143B1 (en) | Reducing injury likelihood during front collisions | |
US11655893B1 (en) | Efficient automatic gear shift using computer vision | |
US11645779B1 (en) | Using vehicle cameras for automatically determining approach angles onto driveways | |
US20220189210A1 (en) | Occlusion-Aware Prediction of Human Behavior | |
EP3975133A1 (en) | Processing of images captured by vehicle mounted cameras | |
Chan et al. | Influence of AVC and HEVC compression on detection of vehicles through Faster R-CNN | |
US11508142B2 (en) | Landscape video stream compression using computer vision techniques | |
CN112383778B (zh) | 一种视频编码方法、装置及解码方法、装置 | |
JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム | |
Khan et al. | Data rate estimation based on scene complexity for dynamic vision sensors on unmanned vehicles | |
JP7269694B2 (ja) | 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置 | |
WO2020230385A1 (ja) | 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法 | |
JP7145830B2 (ja) | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム | |
JP7269134B2 (ja) | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |