JP2018201189A5 - - Google Patents

Description

フレームレートをいつ増加させるべきか、すなわち、時間フレーム距離をいつ減少させるべきかという決定に対する異なる手法が行われ得る。これらの手法の各々では、カメラとシーンとの間の相対的動きの量を示す動きの長さが考慮に入れられる。動きの長さは、サンプル画像フレーム中で符号化された最長動きベクトルとして判定され得、その場合、いずれかのブロックが、動きベクトル探索範囲内に収まる最大長のものである動きベクトルを用いて符号化されるとすぐに、フレームレートは増加される。このようにして、シーンの小さい一部のみを表すわずか単一のブロックが、最長利用可能動きベクトルを必要とするのに十分に移動したとしても、フレームレートは増加されることになる。代替的に、サンプル画像フレームのための動きの長さは、少なくとも所定の数のブロックが符号化された最長動きベクトル長さとして判定され得る。したがって、１つまたは少数のブロックのみが、動きベクトル探索範囲の最大値に対応する動きベクトルを用いて符号化された場合、これは、フレームレートを増加させるという決定につながらないことになるが、たとえば、ブロックの１０％がそのような長い動きベクトルを用いて符号化されていた場合、その長さは、サンプル画像フレームのための動きの長さと見なされることになる。このようにすると、少数のブロックは、Ｉブロックとして符号化されることを許容され、それにより、場合によっては、追加の画像フレームを追加しないことによってビットを節約することになる。また、そのサンプル画像フレームのための動きの長さとしてサンプル画像フレーム中のすべての動きベクトルの平均またはメジアンを使用することも可能であろう。動きの長さを判定するために使用される手法にかかわらず、各動きベクトルは、ｘ方向における長さならびにｙ方向における長さを有し得る。動きベクトルがどのように符号化されるかに応じて、各動きベクトルの全長だけでなく、それぞれｘ成分の長さおよびｙ成分の長さをも検討することが興味深いことがある。

Claims (11)

1. カメラによってキャプチャされたシーンの画像に基づいてビデオストリームを形成するための方法であって、前記方法は、
   前記カメラによってキャプチャされた画像に基づいて、エンコーダによって、画像フレームを符号化し（Ｓ１）、前記ビデオストリームの符号化された部分を形成することと、
   前記符号化された部分の調整部分（Ｐ _Ａ ）中のサンプル画像フレームの動きの長さを、前記サンプル画像フレームのブロックの少なくとも１０％を符号化した最長動きベクトル長さとして判定する（Ｓ３）ことと、
   動きの長さしきい値を、前記エンコーダの動きベクトル探索範囲内で検出可能なピクセルのブロックに関する動きの最も長い長さであるように設定する（Ｓ２）ことと、
   判定された前記動きの長さを、設定された前記動きの長さしきい値と比較する（Ｓ４）ことと、
   判定された前記動きの長さが、設定された前記動きの長さしきい値を上回るときに、前記カメラによってキャプチャされた１つまたは複数の追加の画像に基づいてＮ≧１個の（１つまたは複数の）追加の画像フレーム（３０）を符号化することによって、前記調整部分の選定された時間フレーム距離を減少させること（Ｓ５）であって、前記１つまたは複数の追加の画像フレームが前記調整部分の連続画像フレーム（１０、２０）の間に位置し、前記１つまたは複数の追加の画像フレームは後の符号化されたフレームのインターコーディングにおいて参照フレームとして使用でき、前記１つまたは複数の追加の画像フレームは、前記１つまたは複数の追加の画像フレームが前記ビデオストリームの受信機によって表示されるべきでないことを示す非表示マーカーに関連付けられ、それにより、前記受信機における表示されるフレームレートを維持しつつ、ピクセルブロックがインターコーディングされ得る尤度が増加する、時間フレーム距離を減少させることと、
   判定された前記動きの長さが、設定された前記動きの長さしきい値を下回るときに、前記ビデオストリームの符号化された画像フレームを削除することによって前記調整部分の選定された前記時間フレーム距離を増加させる、または、前記時間フレーム距離を不変のままにすること
   を含む、方法。
2. 前記１つまたは複数の追加の画像フレーム（３０）が、前記サンプル画像フレーム（２０）と先行する画像フレーム（１０）との間に位置する、請求項１に記載の方法。
3. 前記１つまたは複数の追加の画像フレーム（３０）が、動きベクトルを用いて、および残差を用いずにインターフレーム符号化される、請求項１または２に記載の方法。
4. 判定された前記動きの長さを上側動きの長さしきい値と比較することと、
   判定された前記動きの長さが、前記動きの長さしきい値を上回り、かつ、前記上側動きの長さしきい値を下回るという条件に基づいて、選定された前記時間フレーム距離を調整することと
   をさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記符号化された部分中の前記サンプル画像フレームの動きの長さを前記判定することが、
   前記サンプル画像フレーム（２０）を時間的に先行する画像フレーム（１０）と比較すること
   を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記比較することの前に、前記サンプル画像フレーム（２０）と前記先行する画像フレーム（１０）とをスケールダウンすることをさらに含む、請求項５に記載の方法。
7. 前記カメラの動きを示すデータを受信すること
   をさらに備え、
   前記サンプル画像フレームの動きの長さを前記判定することが、受信された前記データに基づく、請求項１から６のいずれか一項に記載の方法。
8. 動きを示す前記データが、前記カメラの動きセンサーまたはパンチルトズーム（ＰＴＺ）制御ユニットから受信される、請求項７に記載の方法。
9. 処理能力を有するデバイスに請求項１から８のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
10. ビデオストリームを形成するように構成された画像処理ユニットであって、前記画像処理ユニットは、
    画像センサー（１０２）によってキャプチャされたシーンの画像を受信するように配置された受信機（９１）と、
    受信された前記画像に基づいて、前記ビデオストリームの符号化された部分を形成するために、画像フレームを符号化するように構成されたエンコーダ（９２）と、
    フレームレートコントローラ（９３）であって、
    前記符号化された部分の調整部分（Ｐ _Ａ ）中のサンプル画像フレーム（２０）の動きの長さを、前記サンプル画像フレームのブロックの少なくとも１０％を符号化した最長動きベクトル長さとして判定することと、
    動きの長さしきい値を、前記エンコーダの動きベクトル探索範囲内で検出可能なピクセルのブロックに関する動きの最も長い長さであるように設定することと、
    判定された前記動きの長さを、設定された前記動きの長さしきい値と比較することと、
    判定された前記動きの長さが、設定された前記動きの長さしきい値を上回るときに、前記画像センサーによってキャプチャされた１つまたは複数の追加の画像に基づいてＮ≧１個の（１つまたは複数の）追加の画像フレーム（３０）を符号化することによって、前記調整部分の選定された時間フレーム距離を減少させることであって、前記１つまたは複数の追加の画像フレームが前記調整部分の連続画像フレーム（１０、２０）の間に位置し、前記１つまたは複数の追加の画像フレームは後の符号化されたフレームのインターコーディングにおいて参照フレームとして使用でき、前記１つまたは複数の追加の画像フレームは、前記１つまたは複数の追加の画像フレームが前記ビデオストリームの表示用受信機によって表示されるべきでないことを示す非表示マーカーに関連付けられ、それにより、前記表示用受信機における表示されるフレームレートを維持しつつ、ピクセルブロックがインターコーディングされ得る尤度が増加する、時間フレーム距離を減少させることと、
    判定された前記動きの長さが、設定された前記動きの長さしきい値を下回るときに、前記ビデオストリームの符号化された画像フレームを削除することによって前記調整部分の選定された前記時間フレーム距離を増加させる、または、前記時間フレーム距離を不変のままにすること
    を行うように構成されたフレームレートコントローラ（９３）と
    を備える、画像処理ユニット。
11. 請求項１０に記載の画像処理ユニット（９０）を備えるカメラ。