JP2020188368A - 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法 - Google Patents

Abstract

【課題】原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができるプログラム等を提供する。【解決手段】原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段として機能させる。有意映像ストリームは、当該カメラから見える周辺物体の中で、急に出現し又は消滅した周辺物体のみが映り込んだものである。符号化パラメータは、マクロブロックの符号量、動きベクトルの大きさ及び向き、又は、量子化ステップサイズである。【選択図】図４

Description

本発明は、カメラによって撮影された映像ストリームから、容量を削減した有意な映像ストリームを生成する技術に関する。

映像ストリームの符号化技術として、代表的にＭＰＥＧ(Moving Picture Experts Group)がある。この技術によれば、映像ストリームに対して圧縮効率を高めるために、前・後のフレームに基づいて現フレームの予測画像を生成し、入力画像と予測画像の差分（誤差）画像を符号化する「フレーム間予測」方式を用いる。
映像ストリームとしては、ユーザが家庭用に所持するビデオカメラによって撮影されたものであってもよいし、固定的に設置された防犯カメラによって撮影されたものであってもよい。近年、一般的な需要として、車両から見た視界を撮影するカメラを搭載したドライブレコーダがある。ドライブレコーダは、車両の走行中に撮影した映像ストリームを常時記憶し続ける。

図１は、車両に設置されたドライブレコーダとしての端末を有するシステム構成図である。

図１によれば、ドライブレコーダとしての端末１は、車両の進行方向をカメラで撮影し、その映像ストリームを記憶部（メモリ、ディスク）に記憶する。そして、その端末１は、その映像ストリームを、無線ネットワークを介して、データセンタ２へ送信する。
また、端末１は、ＣＡＮ(Controller Area Network)を介して車両走行情報を取得することもできる。その車両走行情報も、映像ストリームと一緒に、データセンタ２へ送信してもよい。
データセンタ２は、端末１から受信した映像ストリーム及び車両走行情報を分析することができる。例えば、映像ストリームに映り込む物体を検出し且つ識別すると共に、その車両走行情報を対応付けることもできる。

従来、車両に設置された複数のカメラを用いて、映像データを複数の領域に分割し、領域毎に異なる符号化率で符号化する技術がある（例えば特許文献１参照）。この技術によれば、領域毎に、要求される解像度に応じて重要度を算出し、その重要度に応じた符号化率で映像データを符号化する。
また、ドライブレコーダが、特定方向の加速度の値が所定値を超えたときに、車両に設置された複数のカメラによって取得された画像データを出力する技術もある（例えば特許文献２参照）。
更に、作業者が装着するカメラが撮影する映像に対して、データ量を削減する遠隔作業支援システムの技術もある（例えば特許文献３参照）。この技術によれば、映像フレーム内で動きの大きい領域が存在するかどうかを評価し、動きの大きい領域が存在しない場合には、重要でないとみなして削除する。

特開２０１０−２６３５００号公報 特開２０１３−２１８４３３号公報 特開２０１８−０８２３３３号公報

特許文献１に記載の技術によれば、符号化前の映像データについて、領域を識別する必要がある。カメラが、既に符号化された映像データを出力する場合、一旦伸張しなければならず、処理構成が複雑となる。また、領域毎に符号化率は異なるものの、基本的には全てのカメラ映像が符号化対象となるために、データ全体の削減効果は小さい。
特許文献２に記載の技術によれば、車両の加速度しか判定要素としていない。そのために、加速度が変化しない定常走行状態では、画像データを出力しなくなる。
特許文献３に記載の技術によれば、画像内の動きを評価して符号化している。そのために、既に符号化された映像データに対して、マクロブロックの符号化パラメータを評価し、削減すべき映像データを特定することはできない。

これに対し、本願の発明者らは、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができれば、蓄積又は伝送すべきデータ容量を削減することができるのではないか、と考えた。また、有意映像ストリームを受信した相手方装置も、その有意映像ストリームに映り込む物体を検出し且つ識別するべく、その処理負荷を軽減することができるのではないか、と考えた。

そこで、本発明は、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成するプログラム、装置及び方法を提供することを目的とする。

本発明によれば、撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置に搭載されたコンピュータを機能させるプログラムであって、
原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、
有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と
してコンピュータを機能させることを特徴とする。

本発明のプログラムにおける他の実施形態によれば、
有意映像ストリーム生成手段は、符号化パラメータのフレームに同期した原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものを有意映像ストリームとして生成する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
有意映像ストリーム生成手段は、有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含める
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
有意映像ストリーム生成手段は、有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、これらマクロブロックの分布情報とを含める
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
有意映像ストリーム生成手段は、有意映像ストリームとして、フレームを含むＧＯＰ(Group Of Pictures)単位で含める
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
有意なマクロブロックを持つ符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
原映像ストリームは、移動体に搭載されたカメラから撮影されたものであり、
有意映像ストリームは、当該カメラから見える周辺物体の中で、急に出現し又は消滅した周辺物体のみが映り込んだものである
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
符号化とは、ＭＰＥＧ(Moving Picture Experts Group)に基づくものであり、
符号化パラメータは、以下のいずれかとなる
順方向予測（インター）の動きベクトルの大きさ及び向き、
画面内予測（イントラ）の符号量、
又は、
量子化(Quantization)ステップのサイズ
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
マクロブロック選別手段は、時間的変動が所定以上大きい有意なマクロブロックを選別するために、
所定条件として、マクロブロック毎に、
順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上であるか、
画面内予測の符号量が、第１の符号量以上であるか、又は、
量子化ステップサイズが、所定サイズ以下である
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
有意映像ストリーム生成手段は、画面内予測の符号量が、第２の符号量以上となるフレームを、当該移動体が停止中であると判定して、有意映像ストリームから除外する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
マクロブロック選別手段は、有意なマクロブロックを分布情報に応じて空間方向に接合した符号化パラメータマップを生成する
ようにコンピュータを機能させ、
符号化パラメータマップは、符号化パラメータが所定条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調を濃く表示されたマップである
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
原映像ストリームは、符号化されており、
符号化パラメータ抽出手段は、原映像ストリームを簡易伸張させて、フレーム毎に各マクロブロックの符号化パラメータを抽出する
ようにコンピュータを機能させることも好ましい。

本発明によれば、撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置であって、
原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、
有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と
を有することを特徴とする。

本発明によれば、撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置の映像ストリーム生成方法であって、
装置は、
原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する第１のステップと、
所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する第２のステップと、
有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する第３のステップと
を実行することを特徴とする。

本発明のプログラム、装置及び方法によれば、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができる。

車両に設置されたドライブレコーダとしての端末を有するシステム構成図である。 本発明における端末の機能構成図である。 本発明の端末における符号化パラメータ抽出部の説明図である。 マクロブロック毎の動きベクトルを表す説明図である。 本発明における符号化パラメータマップを表す説明図である。 所定条件を満たすマクロブロックの分布部分のみを、符号化パラメータマップとして生成した説明図である。 本発明の端末における有意映像ストリーム生成部の説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明は、「原映像ストリーム」から、映像分析に必要となるであろう、有意な部分のみを含む「有意映像ストリーム」を生成することができる。
「原映像ストリーム」は、例えば車両のような移動体に搭載されたカメラから撮影されたものであって、符号化された映像ストリームである。
「有意映像ストリーム」は、例えば物体検出や物体認識、又は、移動体における走行状態（速度や加速度）などを分析するために必要な映像のみを含んだものである。
有意映像ストリームは、一般的に、当該カメラから見える周辺物体の中で、急に出現し又は消滅した周辺物体のみが映り込んだものとなる。勿論、それに限られるものでもない。
これによって、有意映像ストリームは、原映像ストリームからみて、伝送又は蓄積すべき映像ストリームの容量を削減したものとなる。

図２は、本発明における端末の機能構成図である。

本発明の実施形態によれば、端末１は、カメラを搭載したドライブレコーダであって、車内に設定されていると想定する。カメラは、車両の進行方向の前方に限られず、後方又は側方であってもよい。

また、端末１は、任意の無線ネットワークを介してデータセンタ２と通信することができる。データセンタ２は、有意映像ストリームから、映像を分析する機能を有する。勿論、データセンタに限られず、エッジコンピューティング装置であってもよい。

図２によれば、端末１は、原映像ストリーム記憶部１０と、符号化パラメータ抽出部１１と、マクロブロック選別部１２と、有意映像ストリーム生成部１３と、映像ストリーム送信部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の有意映像ストリーム生成方法としても理解できる。

図２によれば、カメラから、原映像ストリームが出力される。原映像ストリームは、当該カメラ内部で符号化された映像ストリームであってもよい。また、カメラが非符号化映像データを出力する場合、そのカメラ外の装置又はソフトウェアによって符号化されたものであってもよい。
符号化方式としては、ＭＰＥＧに基づくＨ．２６４やＨ．２６５などの標準フォーマットでもよいし、非標準のフォーマットでもよい。また、空間解像度や時間解像度（フレームレート）、符号化率（ビットレート）についても、任意であってよい。

［原映像ストリーム記憶部１０］
原映像ストリーム記憶部１０は、カメラによって撮影された原映像ストリームを一時的に蓄積する。原映像ストリームは、例えばＭＰＥＧによって符号化されたものである。
そして、原映像ストリーム記憶部１０は、任意のタイミングで、原映像ストリームを、原映像ストリーム記憶部１０へ出力する。

［符号化パラメータ抽出部１１］
符号化パラメータ抽出部１１は、符号化された原映像ストリームを簡易的に伸張（デコード）し、ビットストリームを解釈（パース）する。ここでの簡易的な伸張は、符号化パラメータを抽出するのみであって、完全に伸張することなく、視覚的な映像フレームとしては復元されない。例えば符号化パラメータが差分で表現されている場合に、元の値に戻すだけでよく、符号化パラメータを処理できる状態にすればよい。

図３は、本発明の端末における符号化パラメータ抽出部の説明図である。

図３によれば、符号化された原映像ストリームは、シーケンスヘッダとＧＯＰ(Group Of Picture)データとから構成される。
シーケンスヘッダには、フレームの縦横画素数等が記述される。
ＧＯＰデータは、ＧＯＰヘッダと、一連の順序を持った複数のピクチャデータ（Ｉ、Ｐ及びＢピクチャデータの集合）とから構成される。ＧＯＰヘッダは、グループの最初に提示する画面の時刻を表すタイムコード等を含む。ピクチャデータは、１枚のフレーム（画像）を表す。
ピクチャデータは、ピクチャヘッダと、スライスデータとから構成される。図３によれば、１枚のピクチャデータは、縦１０８８画素（６８ラインスライス）×横１４４０画素（９０マクロブロック）から構成される。スライスは、１枚のピクチャを帯状に断片化したものである。
スライスは、スライスヘッダと、９０個のマクロブロックデータとから構成される。
マクロブロックは、１６画素×１６ラインの正方形の画素ブロックである。
そして、マクロブロック毎に、マクロブロックアドレス、マクロブロックタイプ、量子化ステップサイズ、動きベクトル、及び、ブロックデータが含まれる。勿論、原画像ストリームの構成はこれに限定されるものではなく、ピクチャデータの縦横の画素数やマクロブロックの大きさによって任意となってもよい。

そして、符号化パラメータ抽出部１１は、原映像ストリームから、フレーム毎に各マクロブロックの符号化パラメータを抽出する。
符号化パラメータは、以下のいずれかとなる。
（１）順方向予測（インター）の動きベクトルの大きさ及び向き
（２）画面内予測（イントラ）ブロックタイプの符号量
（３）量子化(Quantization)ステップのサイズ

［マクロブロック選別部１２］
マクロブロック選別部１２は、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。ここで、「所定条件」とは、時間的変動が所定以上大きい符号化パラメータとする。マクロブロック毎に、例えば以下のいずれかの所定条件で選別する。
＜１＞順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上である
＜２＞画面内予測の符号量が、第１の符号量以上である
＜３＞量子化ステップサイズが、所定サイズ以下である

マクロブロック選別部１２は、相対的に急峻に変化した領域を抽出する。「急峻に変化」とは、当該カメラから見える周辺物体が急激に変化した場合もあれば、当該カメラが搭載された移動体（例えば車両）の走行状態が急激に変化した場合もある。

＜１．順方向予測の動きベクトルに基づくマクロブロックの選別＞
図４は、マクロブロック毎の動きベクトルを表す説明図である。
図４（ａ）は、原映像ストリームに映り込む物体が一定速度で変化している場合を表す。
図４（ｂ）は、原映像ストリームに映り込む物体が急峻に変化した場合を表す。
図４（ａ）（ｂ）それぞれ、原映像ストリームの画像フレームと、各マクロブロックの動きベクトルとが表されている。

図４（ａ）によれば、以下のような動きベクトルの分布が観測される。
・動きベクトルの方向は、消失点の方向へ向き、時間的な変化が小さい。
・動きベクトルの大きさは、消失点に近いほど小さく、消失点から遠ざかるほど大きい。
例えば自車両に対する前方車両も一定速度で走行している場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たさない。

図４（ｂ）によれば、以下のような動きベクトルの分布が観測される。
・動きベクトルの方向は、消失点と異なる方向へ向き、時間的な変化が大きい。
・動きベクトルの大きさは、消失点に拘わらず大きい
例えば自車両に対する前方車両が急激に車線変更又は減速した場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たす符号化パラメータとして検出される。
この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を推定することができる。

他の付加的な実施形態として、例えば以下のようなケースに応じて、動きベクトルの大きさの選択基準（所定条件）を適応的に変更することが好ましい。
（ａ）２フレーム以上前の１フレームを参照して動きベクトルを算出する場合
（ｂ）直前の１フレームを参照して動きベクトルを算出する場合
（ｃ）複数のフレームを参照する場合
ここで、（ａ）で２フレーム前の1フレームを参照するときの動きベクトルの大きさは、（ｂ）の動きベクトルの大きさと比較して、大凡２倍程度大きくなる。
また、３０フレーム／秒を符号化した動きベクトルの大きさは、１０フレーム／秒を符号化した動きベクトルの大きさと比較して、大凡３倍程度大きくなる。
そのために、所定条件の判定も、その比較程度に応じて適応的に変更する。

＜２．画面内予測の符号量に基づくマクロブロックの選別＞
画面内予測されたマクロブロックの符号量は、画面内にエッジ（物体の輪郭）が存在する場合には多くなり、平坦な場合には少なくなる。
即ち、図４（ａ）の場合、道路領域が平坦であるために、符号量の少ない画面内予測のマクロブロックが多く観測される。一方で、図４（ｂ）の場合、右折しようとしている車両のエッジ部分に、符号量の多い画面内予測のマクロブロックが多く観測される。
この特性を利用して、原映像ストリームにおける物体が存在する領域を推定することができる。

＜３．画面内予測マクロブロックの個数に基づくマクロブロックの選別＞
画面内予測されたマクロブロックは、画面内に急峻な変化が生じた場合には多くなり、変化が少ない場合には少なくなる。
即ち、後述する図６左側の場合、画面内の変化が少ないため画面内予測されるマクロブロックは少なく観測される。一方で、図６右側の場合、車両の領域が新たに出現するため画面内予測のマクロブロックが多く観測される。
この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を推定することができる。

＜４．量子化ステップサイズに基づくマクロブロックの選別＞
適応量子化(adaptive quantization)方式によれば、圧縮効率を高めるために、マクロブロックの量子化ステップサイズが適応的に変更される。原映像ストリームについて、変化の少ない領域では、人間の視覚が敏感であるために、量子化ステップサイズを小さくする。一方で、変化の激しい領域では、人間の視覚が鈍感なために、量子化ステップサイズを大きくする。
即ち、図４（ａ）の場合、量子化ステップサイズが小さいマクロブロックが多く観測される。一方で、図４（ｂ）の右側の前方車両の車輪部分に、量子化ステップサイズが大きいマクロブロックが多く観測される。
この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を推定することができる。

また、他の実施形態として、マクロブロック選別部１２は、有意なマクロブロックを分布情報に応じて空間方向に接合した「符号化パラメータマップ」を生成するものであってもよい。

図５は、本発明における符号化パラメータマップを表す説明図である。

「符号化パラメータマップ」は、符号化パラメータが所定条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調を濃く表示することもできる。
このように符号化パラメータマップでは、例えば、マクロブロックの動きベクトルの大きさ及び方向、符号量又は量子化ステップサイズに応じた階調の色で、マクロブロックの分布部分を表示することができる。

（１）例えば順方向予測の動きベクトルの大きさが大きいほど、及び、消失点に向かう方向からの変位が大きいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（２）例えば画面内予測の符号量が多いほど（当該マクロブロックが画面内予測の符号化モード）、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（３）例えばマクロブロックの量子化ステップサイズが小さいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。

図５の符号化パラメータマップによれば、一定速度へ変化し、急峻な変化が少ない領域は、画面内予測の符号量が少ない。一方で、急峻な変化がある領域は、画面内予測の符号量が多い。

更に、他の実施形態として、フレームにおける時間的変動が無い領域を、符号化パラメータの抽出対象外とすることも好ましい。

図６は、所定条件を満たすマクロブロックの分布部分のみを、符号化パラメータマップとして生成した説明図である。

図６によれば、原映像ストリームについて、急峻な変化のあった領域のみが抽出されている。所定条件を満たさないマクロブロックを含まないために、全体のデータ量を大きく削減することができる。
例えば車両内におけるドライブレコーダの設置場所によっては、カメラによって撮影された原映像ストリームに、ダッシュボードのような領域が映り込んでいる場合もある。このような領域が予め固定的であれば、工場出荷時の設定によって、その領域をマスクすることもできる。勿論、ＧＵＩ(Graphic User Interface)によって、ユーザ自ら設定可能なものであってもよい。
フレームにおける時間的変動が無い領域が、例えば平坦なものである場合、マクロブロックの符号化モードとして「スキップモード」が選択される。このような領域を、符号化パラメータの抽出対象外とすることもできる。例えばダッシュボードの領域は、平坦となっており、例えば画面内予測の符号量も少なくなる。
このように、各マクロブロックについて、所定時間幅における変動状況を観測し、明らかに画面内の他の領域と比べて画面内符号化ブロックの符号量が少なかったり、スキップモードのブロックの出現頻度が高い場合、その領域を削除する。

［有意映像ストリーム生成部１３］
有意映像ストリーム生成部１３は、有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する。
また、有意映像ストリーム生成部１３は、符号化パラメータのフレームに同期した原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものであってもよい。

「符号化パラメータのフレーム」とは、図４又は図５のように、マクロブロックの分布に対応付けて、符号化パラメータを分布させたフレームをいう。即ち、符号化パラメータ抽出部１１によって抽出された符号化パラメータをマッピングさせたものである。
「符号化パラメータのフレームに同期した原映像ストリームのフレーム」とは、文字通りであって、原映像ストリームの各フレームを利用したものである。

各フレームの符号量によって、原映像ストリームについて、急峻な変化のあったフレームのみを選別することができる。
（１）例えば、原映像ストリームについて、一定速度で変化し、急峻な変化がない場合、画面内に動きが存在し、順方向予測のマクロブロックが多くなる。一方で、画面内予測のマクロブロックが少なくなり、フレーム全体の符号量は低下する傾向となる。例えば自車両のカメラから、一定速度で走行中の周辺車両が映り込む原映像ストリームの場合、フレーム全体の符号量は少なくなる。
例えば毎秒６Ｍビット程度の固定ビットレートで符号化するＨ．２６４では、走行中の原映像ストリームにおけるＩ（イントラ）フレームの符号量は、５００Ｋ〜８００Ｋビットで推移する。

（２）一方で、原映像ストリームについて、急峻な変化がある場合、画面内予測のマクロブロックが多くなる。一方で、順方向予測のマクロブロックが少なくなり、フレーム全体の符号量は増加する傾向となる。例えば自車両のカメラから、急峻に変化した周辺車両が映り込む原映像ストリームの場合、フレーム全体の符号量は多くなる。

（３）更に、原映像ストリームについて、画面内に動きが存在しない場合（例えば停止中）、順方向予測のマクロブロックが少なくなり、画面内予測のマクロブロックが多くなり、フレーム全体の符号量が増加する傾向となる。例えば停止中で変化のない原映像ストリームについては、Ｉ（イントラ）フレームの符号量は、１Ｍビット以上になる。
この場合、画像内符号化フレームの符号量として、閾値を１Ｍビットに設定することで、走行／停止の状況を判定することができる。
このように、フレームの符号量を観測することで、走行状況の急峻な変化などを推定することができる（後述する図７参照）。

他の実施形態として、各フレームの符号量を観測することなく、各フレームにおける画面内予測のマクロブロック数を計数したものであってもよい。画面内予測のマクロブロック数が所定数以上となるフレームは、フレームに映り込む物体に急峻な変化があったと判定することができる。
例えば車両がトンネルへ進入・退出した場合や、集中豪雨や煙で視界が急激に悪化した場合、ドライブレコーダのカメラによって撮影された原映像ストリームについて、フレームの大部分の領域が、画面内予測のマクロブロックとなる傾向がある。

図７は、本発明の端末における有意映像ストリーム生成部の説明図である。

＜符号量に基づくフレームの選別＞
有意映像ストリーム生成部１３は、Ｉ（イントラ）フレームの符号量が、第２の符号量（例えば１Ｍビット）以上となるフレームを、当該移動体が停止中であると判定して、有意映像ストリームから除外する。
これによって、有意映像ストリームのフレーム数を削減することができる。

このとき、判定閾値となる第２の符号量を、ＣＢＲ（固定ビットレート）による符号化の場合と、ＶＢＲ（可変ビットレート）による符号化の場合とで、異なる値を設定することも好ましい。絶対的な符号量を評価すべきか、他の予測符号化フレームとの相対的な符号量の差異で評価するのか、などの基準の変更が必要となる。このように、原映像ストリームの構造の違いなどを考慮して、第２の符号量を適応的に制御することが好ましい。

他の実施形態として、除外すべきフレームについて、そのフレーム自体を除外することなく、圧縮率（符号化率）のみを高めたものであってもよい。少なくとも有意なマクロブロックを持つフレームについて十分に再生可能であればよい。

有意映像ストリーム生成部１３は、有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含める。
また、有意映像ストリーム生成部１３は、有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、これらマクロブロックの分布情報とを含めることも好ましい。これによって、有意映像ストリームにおける各フレームの有意な領域を特定することができる。即ち、有意でない領域におけるマクロブロックを削減することができる。

有意映像ストリームを受信したデータセンタ２は、有意映像ストリームと共に、フレーム番号、タイムコード、マクロブロックの分布情報を受信することによって、有意な映像ストリームを再生することができる。

他の実施形態として、有意映像ストリーム生成部１３は、有意映像ストリームとして、フレームを含むＧＯＰ(Group Of Pictures)単位で含めることも好ましい。これによって、伝送対象となる映像フレーム群を集約することができる。
また、有意なマクロブロックを持つ符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮することができる。

また、他の実施形態として、有意映像ストリーム生成部１３は、観測開始と終了とが指定されるユーザインタフェースを備えたものであってもよい。車両が停車しており画面全体が変動していない期間のフレームを、有意映像ストリームから除外することができる。

［映像ストリーム送信部１４］
映像ストリーム送信部１４は、有意映像ストリーム生成部１３から出力された有意映像ストリームを、相手方装置（データセンタ）へ送信する。

有意映像ストリームは、任意のタイミングで送信される。例えば、有意映像ストリーム生成部１３から出力された時点で送信してもよいし、一時的にバッファして、所定容量に達した時点で送信してもよい。
また、有意映像ストリームが、符号化パラメータのフレームによって構成されたものである場合、同時に又は別途、その符号化パラメータのフレームに対応する原映像フレームから構成された原映像ストリームを送信するものであってもよい。
更に、有意映像ストリームと共に、フレーム番号及び／又はタイムコード、有意なマクロブロックと、これらマクロブロックの分布情報とを、同期又は非同期に送信するものであってもよい。これによって、データセンタは、有意映像ストリームから、有意なマクロブロックを再生することができる。

他の実施形態として、映像ストリーム送信部１４は、タイムコードが付与された走行状態情報を、有意映像ストリームと一緒に送信することも好ましい。符号化パラメータと走行状態情報とを、タイムコードに基づいて紐付けることができる。このとき、タイムコードの所定時間幅で紐付けることが好ましい。

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができる。
これによって、符号化された原映像ストリームから、符号化パラメータを用いて、有意な映像フレーム及び映像領域のみ選別し、データ量全体を削減する。特に、データセンタが物体検出や物体識別を処理する際にも、対象とすべき映像ストリームを限定することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１０ 原映像ストリーム記憶部
１１ 符号化パラメータ抽出部
１２ マクロブロック選別部
１３ 有意映像ストリーム生成部
１４ 映像ストリーム送信部
２ データセンタ

本発明のプログラムにおける他の実施形態によれば、
マクロブロック選別手段は、時間的変動が所定以上大きい有意なマクロブロックを選別するために、
所定条件として、マクロブロック毎に、
順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上であるか、
画面内予測の符号量が、第１の符号量以上であるか、又は、
量子化ステップサイズが、所定サイズ以上である
ようにコンピュータを機能させることも好ましい。

［マクロブロック選別部１２］
マクロブロック選別部１２は、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。ここで、「所定条件」とは、時間的変動が所定以上大きい符号化パラメータとする。マクロブロック毎に、例えば以下のいずれかの所定条件で選別する。
＜１＞順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上である
＜２＞画面内予測の符号量が、第１の符号量以上である
＜３＞量子化ステップサイズが、所定サイズ以上である

他の付加的な実施形態として、例えば以下のようなケースに応じて、動きベクトルの大きさの選択基準（所定条件）を適応的に変更することが好ましい。
（ａ）２フレーム以上前の１フレームを参照して動きベクトルを算出する場合
（ｂ）直前の１フレームを参照して動きベクトルを算出する場合
（ｃ）複数のフレームを参照する場合
ここで、（ａ）で２フレーム前の1フレームを参照するときの動きベクトルの大きさは、（ｂ）の動きベクトルの大きさと比較して、２倍程度大きくなる。
また、３０フレーム／秒を符号化した動きベクトルの大きさは、１０フレーム／秒を符号化した動きベクトルの大きさと比較して、１／３程度になる。
そのために、所定条件の判定も、その比較程度に応じて適応的に変更する。

Claims (14)

1. 撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置に搭載されたコンピュータを機能させるプログラムであって、
   原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
   所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、
   前記有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した前記原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と
   してコンピュータを機能させることを特徴とするプログラム。
2. 前記有意映像ストリーム生成手段は、前記符号化パラメータのフレームに同期した前記原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものを有意映像ストリームとして生成する
   ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
3. 前記有意映像ストリーム生成手段は、前記有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含める
   ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
4. 前記有意映像ストリーム生成手段は、前記有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、これらマクロブロックの分布情報とを含める
   ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
5. 前記有意映像ストリーム生成手段は、前記有意映像ストリームとして、前記フレームを含むＧＯＰ(Group Of Pictures)単位で含める
   ようにコンピュータを機能させることを特徴とする請求項３又は４に記載のプログラム。
6. 前記有意なマクロブロックを持つ符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮する
   ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。
7. 前記原映像ストリームは、移動体に搭載されたカメラから撮影されたものであり、
   前記有意映像ストリームは、当該カメラから見える周辺物体の中で、急に出現し又は消滅した周辺物体のみが映り込んだものである
   ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
8. 前記符号化とは、ＭＰＥＧ(Moving Picture Experts Group)に基づくものであり、
   前記符号化パラメータは、以下のいずれかとなる
   順方向予測（インター）の動きベクトルの大きさ及び向き、
   画面内予測（イントラ）の符号量、
   又は、
   量子化(Quantization)ステップのサイズ
   ようにコンピュータを機能させることを特徴とする請求項７に記載のプログラム。
9. 前記マクロブロック選別手段は、時間的変動が所定以上大きい有意なマクロブロックを選別するために、
   前記所定条件として、マクロブロック毎に、
   順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上であるか、
   画面内予測の符号量が、第１の符号量以上であるか、又は、
   量子化ステップサイズが、所定サイズ以下である
   ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
10. 前記有意映像ストリーム生成手段は、画面内予測の符号量が、第２の符号量以上となるフレームを、当該移動体が停止中であると判定して、前記有意映像ストリームから除外する
    ようにコンピュータを機能させることを特徴とする請求項９に記載のプログラム。
11. 前記マクロブロック選別手段は、前記有意なマクロブロックを分布情報に応じて空間方向に接合した符号化パラメータマップを生成する
    ようにコンピュータを機能させ、
    前記符号化パラメータマップは、前記符号化パラメータが前記所定条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調を濃く表示されたマップである
    ようにコンピュータを機能させることを特徴とする請求項１から１０のいずれか１項に記載のプログラム。
12. 前記原映像ストリームは、符号化されており、
    前記符号化パラメータ抽出手段は、前記原映像ストリームを簡易伸張させて、フレーム毎に各マクロブロックの符号化パラメータを抽出する
    ようにコンピュータを機能させることを特徴とする請求項１から１１のいずれか１項に記載のプログラム。
13. 撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置であって、
    原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
    所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、
    前記有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した前記原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と
    を有することを特徴とする装置。
14. 撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置の映像ストリーム生成方法であって、
    前記装置は、
    原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する第１のステップと、
    所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する第２のステップと、
    前記有意なマクロブロックを持つ符号化パラメータのフレームと時間的に同期した前記原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する第３のステップと
    を実行することを特徴とする装置の映像ストリーム生成方法。