JP2020102798A - 動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラム - Google Patents
動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラム Download PDFInfo
- Publication number
- JP2020102798A JP2020102798A JP2018240512A JP2018240512A JP2020102798A JP 2020102798 A JP2020102798 A JP 2020102798A JP 2018240512 A JP2018240512 A JP 2018240512A JP 2018240512 A JP2018240512 A JP 2018240512A JP 2020102798 A JP2020102798 A JP 2020102798A
- Authority
- JP
- Japan
- Prior art keywords
- distortion amount
- intra
- refresh
- distortion
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 43
- 230000001186 cumulative effect Effects 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 32
- 230000006866 deterioration Effects 0.000 abstract description 6
- 238000009825 accumulation Methods 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Abstract
【課題】画質の劣化を抑えて動画像を符号化することが可能な動画像符号化装置を提供する。【解決手段】動画像符号化装置は、イントラリフレッシュ制御手段と符号化手段とを備え、イントラリフレッシュ制御手段２は、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段２０と、動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段２１と、歪量をフレームごとに累計して累計歪量を算出する歪量累計手段２２と、累計歪量が予め定めた閾値を超えた段階で、符号化手段３にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化するリフレッシュ判定手段２４と、を備える。【選択図】図２
Description
本発明は、動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラムに関する。
従来から、動画像（映像）を放送波、通信回線等で伝送したり、記録媒体に保存したりするために、動画像を圧縮して符号化する動画像符号化方式の研究が行われている。
従来の動画像符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ（Advanced Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６４で規定されたＡＶＣ／Ｈ．２６４等がある。
また、現在最新の動画像符号化方式の国際標準化規格としては、ＨＥＶＣ（High Efficiency Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６５で規定されたＨＥＶＣ／Ｈ．２６５がある（非特許文献１参照）。
また、次世代の国際標準化規格としては、ＪＶＥＴ（Joint Video Exploration Team）で開発が進められているＶＶＣ（Versatile Video Coding）がある（非特許文献２参照）。
従来の動画像符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ（Advanced Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６４で規定されたＡＶＣ／Ｈ．２６４等がある。
また、現在最新の動画像符号化方式の国際標準化規格としては、ＨＥＶＣ（High Efficiency Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６５で規定されたＨＥＶＣ／Ｈ．２６５がある（非特許文献１参照）。
また、次世代の国際標準化規格としては、ＪＶＥＴ（Joint Video Exploration Team）で開発が進められているＶＶＣ（Versatile Video Coding）がある（非特許文献２参照）。
ＨＥＶＣ／Ｈ．２６５等の従来の動画像符号化方式では、動画像のフレーム間の時間的相関を利用したインター予測（フレーム間予測）と、フレーム内の空間的相関を利用したイントラ予測（フレーム内予測）とを適宜切り替えて予測画像を生成する。そして、従来の動画像符号化方式は、原画像と予測画像との差分を符号化することで、動画像の符号化データの圧縮を実現している。
インター予測を用いた場合、フレーム間の予測誤差が時間方向に伝播する。
この誤差の伝播を防止するため、従来の動画像符号化方式は、インター予測符号化された符号化データに、周期的にイントラ予測符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いている。
インター予測を用いた場合、フレーム間の予測誤差が時間方向に伝播する。
この誤差の伝播を防止するため、従来の動画像符号化方式は、インター予測符号化された符号化データに、周期的にイントラ予測符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いている。
なお、イントラリフレッシュは、必ずしも周期的に行われるものではない。例えば、受信装置（復号装置）から、送信装置（符号化装置）に通知される符号化データのパケット損失等のレポートを受信したタイミングで、送信装置がイントラリフレッシュを行う手法が開示されている（特許文献１参照）。
大久保榮［監修］、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日発行
"Versatile Video Coding (VVC)"［online］，フラウンホーファー・ハインリッヒ・ヘルツ通信技術研究所，［平成３０年１１月２１日検索］、インターネット＜ＵＲＬ：https://jvet.hhi.fraunhofer.de＞
従来の動画像符号化方式は、イントラフレームを周期的に挿入することで、符号量を抑えつつ、誤差伝播の防止を行っている。
しかし、従来の動画像符号化方式では、イントラフレームを挿入する周期内で時間経過に伴う画像歪、例えば、水面の上から水底を撮影した動画像の水面の揺らぎによる歪等が大きくなった場合、符号化された画像の品質が低下してしまうという問題がある。また、この問題を回避するために、イントラフレームを多く挿入すれば、符号量が増大してしまうという問題がある。
しかし、従来の動画像符号化方式では、イントラフレームを挿入する周期内で時間経過に伴う画像歪、例えば、水面の上から水底を撮影した動画像の水面の揺らぎによる歪等が大きくなった場合、符号化された画像の品質が低下してしまうという問題がある。また、この問題を回避するために、イントラフレームを多く挿入すれば、符号量が増大してしまうという問題がある。
本発明は、このような問題に鑑みてなされたものであり、時間経過に伴う画像の歪が発生する動画像であっても、画像歪の蓄積量が大きくなる前にイントラリフレッシュを行うことで、画質の劣化を抑えて動画像を符号化することが可能な動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係る動画像符号化装置は、動画像を符号化する動画像符号化装置であって、符号化手段と、イントラリフレッシュ制御手段と、を備え、イントラリフレッシュ制御手段は、オプティカルフロー推定手段と、歪量算出手段と、歪量累計手段と、リフレッシュ判定手段と、を備える構成とした。
かかる構成において、動画像符号化装置は、オプティカルフロー推定手段によって、動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。オプティカルフロー推定手段は、勾配法を用いたオプティカルフロー推定を行うことで、勾配を含んだ特徴点によって、移動、回転、拡大・縮小等の変化がフレーム間で発生する場合でも、フレーム間の動きベクトルを精度よく検出することが可能になる。
そして、動画像符号化装置は、歪量算出手段によって、オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する。さらに、動画像符号化装置は、歪量累計手段によって、歪量をフレームごとに累計して累計歪量を算出する。
そして、動画像符号化装置は、リフレッシュ判定手段によって、累計歪量が予め定めた閾値を超えた段階で、符号化手段にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化する。これによって、符号化手段は、イントラリフレッシュを行い、イントラフレームを挿入する。
なお、動画像符号化装置は、コンピュータを、前記した手段として機能させるための動画像符号化プログラムで動作させることができる。
なお、動画像符号化装置は、コンピュータを、前記した手段として機能させるための動画像符号化プログラムで動作させることができる。
また、前記課題を解決するため、本発明に係るイントラリフレッシュ制御装置は、イントラリフレッシュ方式により動画像を符号化する符号化装置のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御装置であって、オプティカルフロー推定手段と、歪量算出手段と、歪量累計手段と、リフレッシュ判定手段と、を備える構成とした。
かかる構成において、イントラリフレッシュ制御装置は、オプティカルフロー推定手段によって、動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。
そして、イントラリフレッシュ制御装置は、歪量算出手段によって、オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する。さらに、イントラリフレッシュ制御装置は、歪量累計手段によって、歪量をフレームごとに累計して累計歪量を算出する。
そして、イントラリフレッシュ制御装置は、リフレッシュ判定手段によって、累計歪量が予め定めた閾値を超えた段階で、符号化装置にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化する。これによって、符号化装置は、イントラリフレッシュを指示されたタイミングでイントラリフレッシュを行い、イントラフレームを挿入する。
なお、イントラリフレッシュ制御装置は、コンピュータを、前記した手段として機能させるためのイントラリフレッシュ制御プログラムで動作させることができる。
なお、イントラリフレッシュ制御装置は、コンピュータを、前記した手段として機能させるためのイントラリフレッシュ制御プログラムで動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、動画像の画像歪の蓄積量が大きくなる前にイントラリフレッシュを行うことで、画質の劣化を抑えて動画像を符号化することができる。
これによって、本発明は、水面の揺らぎ等、回転、拡大、縮小との変化が発生する動画像であっても、イントラフレームの挿入を最小限に抑えるとともに、画質の劣化を抑えて動画像を符号化することができる。
本発明によれば、動画像の画像歪の蓄積量が大きくなる前にイントラリフレッシュを行うことで、画質の劣化を抑えて動画像を符号化することができる。
これによって、本発明は、水面の揺らぎ等、回転、拡大、縮小との変化が発生する動画像であっても、イントラフレームの挿入を最小限に抑えるとともに、画質の劣化を抑えて動画像を符号化することができる。
以下、本発明の実施形態について図面を参照して説明する。
≪動画像符号化装置の構成≫
最初に、図１を参照して、本発明の実施形態に係る動画像符号化装置１の構成について説明する。
動画像符号化装置１は、映像信号である動画像を圧縮符号化するものである。図１に示すように、動画像符号化装置１は、イントラリフレッシュ制御手段２と、符号化手段３と、を備える。
≪動画像符号化装置の構成≫
最初に、図１を参照して、本発明の実施形態に係る動画像符号化装置１の構成について説明する。
動画像符号化装置１は、映像信号である動画像を圧縮符号化するものである。図１に示すように、動画像符号化装置１は、イントラリフレッシュ制御手段２と、符号化手段３と、を備える。
イントラリフレッシュ制御手段２は、符号化手段３におけるイントラフレームを符号化データに挿入するイントラリフレッシュのタイミングを制御するものである。
イントラリフレッシュ制御手段２は、動画像の時間経過に伴う画像の歪量をフレームごとに累計し、累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを行うことを指示する制御信号を符号化手段３に出力する。
イントラリフレッシュ制御手段２は、動画像の時間経過に伴う画像の歪量をフレームごとに累計し、累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを行うことを指示する制御信号を符号化手段３に出力する。
符号化手段３は、イントラリフレッシュ方式により動画像を符号化するものである。
符号化手段３は、ＨＥＶＣ／Ｈ．２６５等の動画像符号化方式により、インター予測（フレーム間予測）符号化された符号化データに、周期的にイントラ予測（フレーム内予測）符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いて、動画像を圧縮符号化する。なお、符号化手段３は、符号化データに、周期的にイントラフレームを挿入する以外に、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データにイントラフレームを挿入する。
これによって、動画像符号化装置１は、イントラフレームの周期内において、インター予測符号によって伝播する画像歪が大きくなることを防止することができる。
以下、動画像符号化装置１の詳細な構成について説明する。
符号化手段３は、ＨＥＶＣ／Ｈ．２６５等の動画像符号化方式により、インター予測（フレーム間予測）符号化された符号化データに、周期的にイントラ予測（フレーム内予測）符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いて、動画像を圧縮符号化する。なお、符号化手段３は、符号化データに、周期的にイントラフレームを挿入する以外に、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データにイントラフレームを挿入する。
これによって、動画像符号化装置１は、イントラフレームの周期内において、インター予測符号によって伝播する画像歪が大きくなることを防止することができる。
以下、動画像符号化装置１の詳細な構成について説明する。
＜イントラリフレッシュ制御手段＞
図２を参照して、動画像符号化装置１のイントラリフレッシュ制御手段２の構成について説明する。
図２に示すように、イントラリフレッシュ制御手段２は、オプティカルフロー推定手段２０と、歪量算出手段２１と、歪量累計手段２２と、累計歪量記憶手段２３と、リフレッシュ判定手段２４と、を備える。
図２を参照して、動画像符号化装置１のイントラリフレッシュ制御手段２の構成について説明する。
図２に示すように、イントラリフレッシュ制御手段２は、オプティカルフロー推定手段２０と、歪量算出手段２１と、歪量累計手段２２と、累計歪量記憶手段２３と、リフレッシュ判定手段２４と、を備える。
オプティカルフロー推定手段２０は、動画像の時系列で入力されるフレーム間でオプティカルフローを推定するものである。オプティカルフローとは、エッジ等の特徴点となる画素のフレーム間における動きベクトルである。
オプティカルフロー推定手段２０は、勾配法を用いた一般的なオプティカルフロー推定手法により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。例えば、オプティカルフロー推定手段２０は、Ｌｕｃａｓ−Ｋａｎａｄｅ法によって動きベクトルを算出する。
オプティカルフロー推定手段２０は、勾配法を用いた一般的なオプティカルフロー推定手法により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。例えば、オプティカルフロー推定手段２０は、Ｌｕｃａｓ−Ｋａｎａｄｅ法によって動きベクトルを算出する。
なお、オプティカルフロー推定手段２０は、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）等によって、勾配を含んだ局所特徴量が類似する画素をフレーム間で探索することで、動きベクトルを求めることとしてもよい。
このように、オプティカルフロー推定手段２０は、勾配を含んだ特徴量を用いて算出した動きベクトルをオプティカルフローとするため、平行運動の運動モデルだけでなく、回転運動や、拡大、縮小等のスケールの変化が発生する場合でも、オプティカルフローを推定することができる。
これによって、オプティカルフロー推定手段２０は、移動、回転、拡大、縮小等の変化を伴う動画像であっても、動きベクトルを求めることができる。
これによって、オプティカルフロー推定手段２０は、移動、回転、拡大、縮小等の変化を伴う動画像であっても、動きベクトルを求めることができる。
図３に、時刻ｔにおけるフレームＦ（ｔ）と、時刻（ｔ＋１）におけるフレームＦ（ｔ＋１）の画像の例を示す。
オプティカルフロー推定手段２０は、フレームＦ（ｔ）とフレームＦ（ｔ＋１）との間で、オプティカルフローを推定する。例えば、図３の例では、オプティカルフロー推定手段２０は、時刻（ｔ＋１）の時点において、オプティカルフロー推定結果として、フレームＦ（ｔ）のＰ１，Ｐ２，Ｐ３の画素が、フレームＦ（ｔ＋１）のＰ１′，Ｐ２′，Ｐ３′の画素にそれぞれ移動したことを示す３つの動きベクトルを算出する。なお、ここで示している３つの特徴点は例示に過ぎず、実際にはもっと多くの特徴点が存在する。
オプティカルフロー推定手段２０は、フレームＦ（ｔ）とフレームＦ（ｔ＋１）との間で、オプティカルフローを推定する。例えば、図３の例では、オプティカルフロー推定手段２０は、時刻（ｔ＋１）の時点において、オプティカルフロー推定結果として、フレームＦ（ｔ）のＰ１，Ｐ２，Ｐ３の画素が、フレームＦ（ｔ＋１）のＰ１′，Ｐ２′，Ｐ３′の画素にそれぞれ移動したことを示す３つの動きベクトルを算出する。なお、ここで示している３つの特徴点は例示に過ぎず、実際にはもっと多くの特徴点が存在する。
オプティカルフロー推定手段２０は、推定したオプティカルフローである動きベクトルの大きさＬ（画素数）と、動きベクトルの方向θ（角度：０°≦θ＜３６０°）とを、推定した特徴点の数ｎだけ、オプティカルフロー推定結果として歪量算出手段２１に出力する。
歪量算出手段２１は、オプティカルフロー推定手段２０で推定されたオプティカルフローから、フレームごとの画像の歪量を算出するものである。
歪量算出手段２１は、オプティカルフロー推定手段２０で推定されたオプティカルフローである動きベクトルの大きさおよび方向の分散の度合いによって、前フレームからの歪量を算出する。ここでは、歪量算出手段２１は、動きベクトルの大きさの分散と、動きベクトルの方向の分散とをそれぞれ算出し乗算することで、フレームごとの歪量を算出する。
具体的には、歪量算出手段２１は、以下の式（１）により、動きベクトルの大きさＬ（Ｌ１，Ｌ２，…，Ｌｎ）の分散ｓＬを算出する。
歪量算出手段２１は、オプティカルフロー推定手段２０で推定されたオプティカルフローである動きベクトルの大きさおよび方向の分散の度合いによって、前フレームからの歪量を算出する。ここでは、歪量算出手段２１は、動きベクトルの大きさの分散と、動きベクトルの方向の分散とをそれぞれ算出し乗算することで、フレームごとの歪量を算出する。
具体的には、歪量算出手段２１は、以下の式（１）により、動きベクトルの大きさＬ（Ｌ１，Ｌ２，…，Ｌｎ）の分散ｓＬを算出する。
また、歪量算出手段２１は、以下の式（２）により、動きベクトルの方向θ（θ１，θ２，…，θｎ）の分散ｓθを算出する。なお、歪量算出手段２１は、反対方向の歪による相殺を防止するため、０°≦θ≦１８０°の範囲で分散ｓθを算出する。具体的には、１８０°＜θ＜３６０°の方向θについては、θを（３６０°−θ）に変換して以下の式（２）の演算を行う。
式（１），式（２）において、ｎはオプティカルフロー推定手段２０で推定された１フレーム分のオプティカルフロー（動きベクトル）の数である。αは歪量における動きベクトルの大きさの重み係数である。βは歪量における動きベクトルの方向の重み係数である。これらの重み係数α，βは、歪量における動きベクトルの大きさの重みと方向の重みとをそれぞれ設定した定数である。例えば、α＝β＝１としてもよいし、α＝１０，β＝１としてもよい。重み係数α，βは、外部から設定することとしてもよい。
そして、歪量算出手段２１は、以下の式（３）により、式（１）で算出した動きベクトルの大きさＬの分散ｓＬと、式（２）で算出した動きベクトルの方向θの分散ｓθとを乗算して、歪量ｄを算出する。
そして、歪量算出手段２１は、以下の式（３）により、式（１）で算出した動きベクトルの大きさＬの分散ｓＬと、式（２）で算出した動きベクトルの方向θの分散ｓθとを乗算して、歪量ｄを算出する。
これによって、歪量算出手段２１は、フレームごとに、前フレームとの歪を定量的に算出することができる。
歪量算出手段２１は、式（３）で算出したフレームごとの歪量ｄを、歪量累計手段２２に出力する。
歪量算出手段２１は、式（３）で算出したフレームごとの歪量ｄを、歪量累計手段２２に出力する。
歪量累計手段２２は、歪量算出手段２１で算出されたフレームごとの歪量を累計するものである。
歪量累計手段２２は、前フレームまでに累計した歪量を累計歪量記憶手段２３から読み出し、歪量算出手段２１から入力した歪量を加算することで、現フレームまでの歪量の累計（累計歪量）を算出する。
歪量累計手段２２は、累計歪量を累計歪量記憶手段２３に記憶するとともに、リフレッシュ判定手段２４に出力する。
歪量累計手段２２は、前フレームまでに累計した歪量を累計歪量記憶手段２３から読み出し、歪量算出手段２１から入力した歪量を加算することで、現フレームまでの歪量の累計（累計歪量）を算出する。
歪量累計手段２２は、累計歪量を累計歪量記憶手段２３に記憶するとともに、リフレッシュ判定手段２４に出力する。
累計歪量記憶手段２３は、歪量累計手段２２で累計される累計歪量を記憶するものである。累計歪量記憶手段２３は、半導体メモリ等の一般的な記憶媒体で構成することができる。
累計歪量記憶手段２３は、歪量累計手段２２によって累計歪量が更新され、リフレッシュ判定手段２４によって累計歪量が初期化（“０”）される。なお、累計歪量記憶手段２３に記憶される累計歪量は、動画像符号化装置１の起動時に予め初期化されるものとする。
累計歪量記憶手段２３は、歪量累計手段２２によって累計歪量が更新され、リフレッシュ判定手段２４によって累計歪量が初期化（“０”）される。なお、累計歪量記憶手段２３に記憶される累計歪量は、動画像符号化装置１の起動時に予め初期化されるものとする。
リフレッシュ判定手段２４は、符号化手段３に対してイントラリフレッシュを指示するか否かを判定するものである。
リフレッシュ判定手段２４は、歪量累計手段２２で累計された累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。このイントラリフレッシュを指示する基準となる閾値は、外部から設定することとしてもよい。
リフレッシュ判定手段２４は、歪量累計手段２２で累計された累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。このイントラリフレッシュを指示する基準となる閾値は、外部から設定することとしてもよい。
リフレッシュ判定手段２４は、イントラリフレッシュを指示する制御信号を符号化手段３に出力した場合、累計歪量記憶手段２３に記憶されている累計歪量を初期化する。
このように、イントラリフレッシュ制御手段２は、動画像のフレーム単位で画像歪量を累計し、累計歪量が予め定めた閾値を超えた段階で符号化手段３にイントラリフレッシュを指示することができる。
このように、イントラリフレッシュ制御手段２は、動画像のフレーム単位で画像歪量を累計し、累計歪量が予め定めた閾値を超えた段階で符号化手段３にイントラリフレッシュを指示することができる。
＜符号化手段＞
図４を参照して、動画像符号化装置１の符号化手段３の構成について説明する。なお、符号化手段３は、イントラリフレッシュを行うものであれば、ＭＰＥＧ−２、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５等、どの符号化方式を用いたものでも構わない。ここでは、一例として、ＨＥＶＣ／Ｈ．２６５の符号化方式を用いた例で説明する。なお、ＨＥＶＣ／Ｈ．２６５については、非特許文献１等で公知であるため、詳細な説明は省略する。
図４を参照して、動画像符号化装置１の符号化手段３の構成について説明する。なお、符号化手段３は、イントラリフレッシュを行うものであれば、ＭＰＥＧ−２、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５等、どの符号化方式を用いたものでも構わない。ここでは、一例として、ＨＥＶＣ／Ｈ．２６５の符号化方式を用いた例で説明する。なお、ＨＥＶＣ／Ｈ．２６５については、非特許文献１等で公知であるため、詳細な説明は省略する。
図４に示すように、符号化手段３は、減算手段３０と、変換手段３１と、量子化手段３２と、逆量子化手段３３と、逆変換手段３４と、加算手段３５と、フィルタ手段３６と、フレーム記憶手段３７と、予測手段３８と、エントロピ符号化手段３９と、を備える。
減算手段３０は、入力された動画像のフレーム画像と予測手段３８で予測される予測画像との差分画像を演算するものである。減算手段３０は、演算した差分画像を変換手段３１に出力する。
変換手段３１は、減算手段３０が生成した差分画像を所定の大きさのブロックごとに直交変換し、直交変換係数を算出するものである。この直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。変換手段３１は、算出した直交変換係数を量子化手段３２に出力する。
量子化手段３２は、変換手段３１が算出した直交変換係数を、予め設定した量子化テーブルに基づいて量子化するものである。量子化手段３２は、量子化した直交変換係数（量子化直交変換係数）を、逆量子化手段３３およびエントロピ符号化手段３９に出力する。
逆量子化手段３３は、量子化手段３２が量子化した量子化直交変換係数に対して、量子化手段３２で行った処理の逆の処理である逆量子化を行うものである。逆量子化手段３３は、逆量子化後の直交変換係数を、逆変換手段３４に出力する。
逆変換手段３４は、逆量子化手段３３が逆量子化した直交変換係数に対して、変換手段３１で行った処理の逆の処理である逆直交変換（例えば、逆離散コサイン変換）を行うものである。この逆変換手段３４で変換されたブロックごとの画像は、動画像符号化装置１の出力である符号化データを復号する復号装置（不図示）が復号する復号画像に対する予測誤差画像となる。逆変換手段３４は、逆変換によって生成した予測誤差画像を、加算手段３５に出力する。
加算手段３５は、逆変換手段３４が生成した予測誤差画像と、予測手段３８が予測した予測画像とを加算するものである。加算手段３５は、予測誤差画像と予測画像とを加算することで、復号装置（不図示）が復号する復号画像を生成する。加算手段３５は、生成した復号画像を、フィルタ手段３６および予測手段３８に出力する。
フィルタ手段３６は、加算手段３５が生成した復号画像にフィルタ処理を行うことで、復号画像から歪（ブロック歪、リンギング等）を除去するものである。フィルタ手段３６に用いられるフィルタは、例えば、デブロッキングフィルタ、サンプリング・アダプティブ・オフセット（ＳＡＯ：Sample Adaptive Offset）等である。フィルタ手段３６は、フィルタ処理後の復号画像をフレーム記憶手段３７に出力する。
フレーム記憶手段３７は、フィルタ手段３６が歪を除去した復号画像をフレーム画像として記憶するものである。フレーム記憶手段３７に記憶したフレーム画像は、予測手段３８において、インター予測により予測画像を生成する際に参照される。
予測手段３８は、動画像の符号化対象である現フレームに対する予測画像を生成するものである。予測手段３８は、イントラ予測手段３８０と、インター予測手段３８１と、切替手段３８２と、を備える。
イントラ予測手段３８０は、イントラ予測（フレーム内予測）を行うことで、入力された動画像の符号化対象のフレーム（符号化対象フレーム）に対する予測画像を生成するものである。イントラ予測手段３８０は、加算手段３５で生成された復号画像（参照フレーム）を用いてイントラ予測を行う。イントラ予測手段３８０は、プレーナ（Planar）予測、直流（ＤＣ）予測、方向性予測の３種類のアルゴリズムによって、復号画像から予測画像を生成する。イントラ予測手段３８０は、生成した予測画像を切替手段３８２に出力する。
インター予測手段３８１は、インター予測（フレーム間予測）を行うことで、入力された動画像の符号化対象のフレーム（符号化対象フレーム）に対する予測画像を生成するものである。インター予測手段３８１は、入力された動画像の符号化対象フレームと、フレーム記憶手段３７に記憶されている直前のフレームの復号画像（参照フレーム）とから画像の動きを検出し、動き補償フレーム間予測を行うことで予測画像を生成する。インター予測手段３８１は、生成した予測画像を切替手段３８２に出力する。
切替手段３８２は、出力する予測画像を、イントラ予測手段３８０で予測した予測画像と、インター予測手段３８１で予測した予測画像とで切り替えるものである。
切替手段３８２は、周期的、例えば、３２フレームに１回のタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、他のタイミングでは、インター予測手段３８１で予測した予測画像を選択して、減算手段３０に出力する。
また、切替手段３８２は、周期的な切替とは独立して、イントラリフレッシュ制御手段２から、制御信号によりイントラリフレッシュが指示されたタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、減算手段３０に出力する。
切替手段３８２は、周期的、例えば、３２フレームに１回のタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、他のタイミングでは、インター予測手段３８１で予測した予測画像を選択して、減算手段３０に出力する。
また、切替手段３８２は、周期的な切替とは独立して、イントラリフレッシュ制御手段２から、制御信号によりイントラリフレッシュが指示されたタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、減算手段３０に出力する。
予測手段３８は、切替手段３８２で切り替えたイントラ予測またはインター予測のいずれの予測を行ったのかを示すパラメータを符号化パラメータの１つとしてエントロピ符号化手段３９に出力する。
エントロピ符号化手段３９は、量子化手段３２で生成された量子化直交変換係数と、予測手段３８から入力された符号化パラメータとを、エントロピ符号化して、符号化データを生成するものである。エントロピ符号化手段３９は、例えば、エントロピ符号化として、コンテキスト適応型二値算術符号化方式（ＣＡＢＡＣ：Context−based Adaptive Binary Arithmetic Coding）により、符号化データを生成する。
なお、ここでは、エントロピ符号化手段３９は、予測手段３８からのみ符号化パラメータを入力しているが、量子化手段３２における量子化処理のパラメータ、フィルタ手段３６におけるフィルタ処理のパラメータ等、本発明に直接関係のないパラメータについては説明を省略している。
このように、符号化手段３は、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データに、イントラフレームを挿入することができる。
なお、ここでは、エントロピ符号化手段３９は、予測手段３８からのみ符号化パラメータを入力しているが、量子化手段３２における量子化処理のパラメータ、フィルタ手段３６におけるフィルタ処理のパラメータ等、本発明に直接関係のないパラメータについては説明を省略している。
このように、符号化手段３は、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データに、イントラフレームを挿入することができる。
以上説明したように、動画像符号化装置１は、動画像の累計歪量が予め定めた閾値を超えた段階でイントラリフレッシュを行い、フレーム間の歪の伝播を抑えることで、画質の劣化を抑えた符号化データを生成することができる。
なお、動画像符号化装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（動画像符号化プログラム）により動作させることができる。
なお、動画像符号化装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（動画像符号化プログラム）により動作させることができる。
≪動画像符号化装置の動作≫
次に、図５を参照（構成については、適宜図１，図２参照）して、本発明の実施形態に係る動画像符号化装置１の動作について説明する。なお、ここでは、本発明の主要構成であるイントラリフレッシュ制御手段２の動作を主に説明する。
次に、図５を参照（構成については、適宜図１，図２参照）して、本発明の実施形態に係る動画像符号化装置１の動作について説明する。なお、ここでは、本発明の主要構成であるイントラリフレッシュ制御手段２の動作を主に説明する。
ステップＳ１において、オプティカルフロー推定手段２０は、動画像の時系列で入力されるフレーム間で、勾配法（例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法）によりオプティカルフローを推定する。これによって、オプティカルフロー推定手段２０は、フレーム内において、オプティカルフローとして、複数の特徴点の動きベクトル（大きさ、方向）を推定する。なお、ここでは、図示を省略するが、動画像符号化装置１は、動画像の第１フレームについては、オプティカルフロー推定手段２０でフレームのみを保持し、オプティカルフローの推定を行わずに、ステップＳ８に動作を進めることとする。
ステップＳ２において、歪量算出手段２１は、ステップＳ１で推定したオプティカルフローである複数の特徴点の動きベクトルの大きさおよび方向の分散の度合いによって、前フレームからの歪量を算出する。
具体的には、歪量算出手段２１は、前記式（１）により、動きベクトルの大きさの分散を算出し、前記式（２）により、動きベクトルの方向の分散を算出する。
そして、歪量算出手段２１は、前記式（３）により、動きベクトルの大きさの分散と、動きベクトルの方向の分散とを乗算して、歪量を算出する。
具体的には、歪量算出手段２１は、前記式（１）により、動きベクトルの大きさの分散を算出し、前記式（２）により、動きベクトルの方向の分散を算出する。
そして、歪量算出手段２１は、前記式（３）により、動きベクトルの大きさの分散と、動きベクトルの方向の分散とを乗算して、歪量を算出する。
ステップＳ３において、歪量累計手段２２は、前フレームまでに累計した歪量を累計歪量記憶手段２３から読み出し、ステップＳ２で算出した歪量を加算することで、現フレームまでの歪量の累計（累計歪量）を算出する。
ステップＳ４において、歪量累計手段２２は、累計した歪量（累計歪量）を、累計歪量記憶手段２３に記憶する
ステップＳ４において、歪量累計手段２２は、累計した歪量（累計歪量）を、累計歪量記憶手段２３に記憶する
ステップＳ５において、リフレッシュ判定手段２４は、累計歪量が予め定めた閾値を超えたか否かを判定する。
ここで、累計歪量が閾値を超えていなければ（ステップＳ５でＮｏ）、動画像符号化装置１は、ステップＳ８に動作を進める。
一方、累計歪量が閾値を超えた場合（ステップＳ５でＹｅｓ）、ステップＳ６において、リフレッシュ判定手段２４は、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。
ステップＳ７において、リフレッシュ判定手段２４は、累計歪量記憶手段２３に記憶している累計歪量の値を“０”に初期化する。
ここで、累計歪量が閾値を超えていなければ（ステップＳ５でＮｏ）、動画像符号化装置１は、ステップＳ８に動作を進める。
一方、累計歪量が閾値を超えた場合（ステップＳ５でＹｅｓ）、ステップＳ６において、リフレッシュ判定手段２４は、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。
ステップＳ７において、リフレッシュ判定手段２４は、累計歪量記憶手段２３に記憶している累計歪量の値を“０”に初期化する。
ステップＳ８において、符号化手段３は、入力した動画像のフレームを符号化する。このとき、符号化手段３は、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュを指示された場合、符号化データにイントラ予測によるイントラフレームを挿入する。
ステップＳ９において、動画像符号化装置１に次のフレームが入力された場合（ステップＳ９でＹｅｓ）、動画像符号化装置１は、ステップＳ１に戻って動作を継続する。
一方、次のフレームが入力されなければ（ステップＳ９でＮｏ）、動画像符号化装置１は、動作を終了する。
以上の動作によって、動画像符号化装置１は、動画像が入力される間、動画像の累計歪量が予め定めた閾値を超えた段階でイントラリフレッシュを行うことで、フレーム間の歪の伝播を抑え、画質の劣化を抑えた符号化データを生成することができる。
一方、次のフレームが入力されなければ（ステップＳ９でＮｏ）、動画像符号化装置１は、動作を終了する。
以上の動作によって、動画像符号化装置１は、動画像が入力される間、動画像の累計歪量が予め定めた閾値を超えた段階でイントラリフレッシュを行うことで、フレーム間の歪の伝播を抑え、画質の劣化を抑えた符号化データを生成することができる。
≪変形例≫
以上、本発明の実施形態に係る動画像符号化装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、動画像符号化装置１を、イントラリフレッシュ制御手段２と、符号化手段３とを装置内部に備える構成とした。
しかし、イントラリフレッシュ制御手段２と、符号化手段３とは、それぞれ分離して構成してもよい。具体的には、図６に示すように、イントラリフレッシュ制御装置２Ｂと、符号化装置３Ｂとで、動画像符号化装置１Ｂを構成してもよい。
イントラリフレッシュ制御装置２Ｂは、図２で説明したイントラリフレッシュ制御手段２と同じ構成である。また、符号化装置３Ｂは、図４で説明した符号化手段３と同じ構成である。
以上、本発明の実施形態に係る動画像符号化装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、動画像符号化装置１を、イントラリフレッシュ制御手段２と、符号化手段３とを装置内部に備える構成とした。
しかし、イントラリフレッシュ制御手段２と、符号化手段３とは、それぞれ分離して構成してもよい。具体的には、図６に示すように、イントラリフレッシュ制御装置２Ｂと、符号化装置３Ｂとで、動画像符号化装置１Ｂを構成してもよい。
イントラリフレッシュ制御装置２Ｂは、図２で説明したイントラリフレッシュ制御手段２と同じ構成である。また、符号化装置３Ｂは、図４で説明した符号化手段３と同じ構成である。
なお、このように、動画像符号化装置１Ｂを分離した場合、イントラリフレッシュ制御装置２Ｂは、コンピュータを、図２で説明した各手段として機能させるためのプログラム（イントラリフレッシュ制御）により動作させることができる。また、符号化装置３Ｂは、コンピュータを、図４で説明した各手段として機能させるためのプログラム（符号化プログラム）により動作させることができる。
このように、イントラリフレッシュ制御装置２Ｂを分離した構成とすることで、符号化方式を変える場合でも、符号化装置３Ｂのみを交換するだけで、同じ、イントラリフレッシュ制御装置２Ｂを使用することが可能になる。
これ以外の作用、効果については、動画像符号化装置１と同様である。
このように、イントラリフレッシュ制御装置２Ｂを分離した構成とすることで、符号化方式を変える場合でも、符号化装置３Ｂのみを交換するだけで、同じ、イントラリフレッシュ制御装置２Ｂを使用することが可能になる。
これ以外の作用、効果については、動画像符号化装置１と同様である。
また、ここでは、符号化手段３が、予め周期的にイントラフレームを挿入するものとした。しかし、符号化手段３は、イントラリフレッシュ制御手段２からの制御信号によってのみ、符号化データにイントラフレームを挿入するものとしてもよい。
≪評価画像≫
最後に、図７を参照して、動画像符号化装置１が生成する符号化データと、従来の動画像符号化装置が生成する符号化データとの画質の違いを、符号化データを復号した復号画像を用いて説明する。
図７（ａ）は、従来の動画像符号化装置で動画像を符号化し、復号したある時点での画像例である。図７（ｂ）は、図７（ａ）と同じ動画像を本発明の動画像符号化装置１で符号化し、復号した図７（ａ）と同じ時点での画像例である。
ここで、動画像は、電子部品を組み込んだ基板を、水底に沈め、水面の上から基板を撮影したものである。
図７（ａ）に示す画像Ｉ１は、図７（ｂ）に示す画像Ｉ２に比べ、画質が劣化している。例えば、画像Ｉ１上のＩＣチップの足部分Ｅ１は、それぞれの足を判別することができないが、画像Ｉ２のＩＣチップの足部分Ｅ２では、それぞれの足を明確に判別することができる。
最後に、図７を参照して、動画像符号化装置１が生成する符号化データと、従来の動画像符号化装置が生成する符号化データとの画質の違いを、符号化データを復号した復号画像を用いて説明する。
図７（ａ）は、従来の動画像符号化装置で動画像を符号化し、復号したある時点での画像例である。図７（ｂ）は、図７（ａ）と同じ動画像を本発明の動画像符号化装置１で符号化し、復号した図７（ａ）と同じ時点での画像例である。
ここで、動画像は、電子部品を組み込んだ基板を、水底に沈め、水面の上から基板を撮影したものである。
図７（ａ）に示す画像Ｉ１は、図７（ｂ）に示す画像Ｉ２に比べ、画質が劣化している。例えば、画像Ｉ１上のＩＣチップの足部分Ｅ１は、それぞれの足を判別することができないが、画像Ｉ２のＩＣチップの足部分Ｅ２では、それぞれの足を明確に判別することができる。
従来の動画像符号化装置では、図７（ａ）に示すように、水底動画像のような水面の揺らぎによって、被写体の動きが単なる移動だけではなく回転、拡大・縮小等で変化する動画像を、高品質に符号化することができなかった。
しかし、本発明に係る動画像符号化装置１では、回転、拡大・縮小等で変化する被写体であっても、オプティカルフローによる特徴点の動きベクトルによって、画像の歪を精度よく検出し、累計歪量が閾値を超えた段階でイントラリフレッシュを行うことができる。
これによって、動画像符号化装置１は、図７（ａ）に示すように、画質の劣化を抑えて、動画像を符号化することができる。
しかし、本発明に係る動画像符号化装置１では、回転、拡大・縮小等で変化する被写体であっても、オプティカルフローによる特徴点の動きベクトルによって、画像の歪を精度よく検出し、累計歪量が閾値を超えた段階でイントラリフレッシュを行うことができる。
これによって、動画像符号化装置１は、図７（ａ）に示すように、画質の劣化を抑えて、動画像を符号化することができる。
１，１Ｂ 動画像符号化装置
２，２Ｂ イントラリフレッシュ制御手段（イントラリフレッシュ制御装置）
２０ オプティカルフロー推定手段
２１ 歪量算出手段
２２ 歪量累計手段
２３ 累計歪量記憶手段
２４ リフレッシュ判定手段
３，３Ｂ 符号化手段（符号化装置）
３０ 減算手段
３１ 変換手段
３２ 量子化手段
３３ 逆量子化手段
３４ 逆変換手段
３５ 加算手段
３６ フィルタ手段
３７ フレーム記憶手段
３８ 予測手段
３８０ イントラ予測手段
３８１ インター予測手段
３８２ 切替手段
３９ エントロピ符号化手段
２，２Ｂ イントラリフレッシュ制御手段（イントラリフレッシュ制御装置）
２０ オプティカルフロー推定手段
２１ 歪量算出手段
２２ 歪量累計手段
２３ 累計歪量記憶手段
２４ リフレッシュ判定手段
３，３Ｂ 符号化手段（符号化装置）
３０ 減算手段
３１ 変換手段
３２ 量子化手段
３３ 逆量子化手段
３４ 逆変換手段
３５ 加算手段
３６ フィルタ手段
３７ フレーム記憶手段
３８ 予測手段
３８０ イントラ予測手段
３８１ インター予測手段
３８２ 切替手段
３９ エントロピ符号化手段
Claims (7)
- 動画像を符号化する動画像符号化装置であって、
イントラリフレッシュ方式により前記動画像を符号化する符号化手段と、
前記符号化手段のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御手段と、を備え、
前記イントラリフレッシュ制御手段は、
前記動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、前記フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段と、
前記オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段と、
前記歪量算出手段で算出した歪量をフレームごとに累計して累計歪量を算出する歪量累計手段と、
前記歪量累計手段で累計した累計歪量が予め定めた閾値を超えた段階で、前記符号化手段にイントラリフレッシュを指示する制御信号を出力するとともに、前記累計歪量を初期化するリフレッシュ判定手段と、
を備えることを特徴とする動画像符号化装置。 - 前記歪量算出手段は、前記オプティカルフローとして推定した動きベクトルの大きさの分散と、前記動きベクトルの方向の分散とをそれぞれ算出し乗算することで、前記歪量を算出することを特徴とする請求項１に記載の動画像符号化装置。
- 前記歪量算出手段は、前記動きベクトルの方向が１８０°＜θ＜３６０°の方向θについては、θを（３６０°−θ）に変換して前記方向の分散を算出することを特徴とする請求項２に記載の動画像符号化装置。
- 前記歪量算出手段は、前記動きベクトルの大きさの分散と、前記動きベクトルの方向の分散とに対して予め設定した重み係数を乗算することを特徴とする請求項２または請求項３に記載の動画像符号化装置。
- コンピュータを、請求項１から請求項４のいずれか一項に記載の動画像符号化装置として機能させるためのイントラリフレッシュ制御プログラム。
- イントラリフレッシュ方式により動画像を符号化する符号化装置のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御装置であって、
前記動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、前記フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段と、
前記オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段と、
前記歪量算出手段で算出した歪量をフレームごとに累計して累計歪量を算出する歪量累計手段と、
前記歪量累計手段で累計した累計歪量が予め定めた閾値を超えた段階で、前記符号化装置にイントラリフレッシュを指示する制御信号を出力するとともに、前記累計歪量を初期化するリフレッシュ判定手段と、
を備えることを特徴とするイントラリフレッシュ制御装置。 - コンピュータを、請求項６に記載のイントラリフレッシュ制御装置として機能させるためのイントラリフレッシュ制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018240512A JP7291478B2 (ja) | 2018-12-25 | 2018-12-25 | 動画像符号化装置およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018240512A JP7291478B2 (ja) | 2018-12-25 | 2018-12-25 | 動画像符号化装置およびそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020102798A true JP2020102798A (ja) | 2020-07-02 |
| JP7291478B2 JP7291478B2 (ja) | 2023-06-15 |
Family
ID=71141327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018240512A Active JP7291478B2 (ja) | 2018-12-25 | 2018-12-25 | 動画像符号化装置およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7291478B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004519973A (ja) * | 2001-04-16 | 2004-07-02 | 三菱電機株式会社 | ビデオ中の歪を決定する方法及びビデオ中の歪を決定するシステム |
| US20050175099A1 (en) * | 2004-02-06 | 2005-08-11 | Nokia Corporation | Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding |
| US20070177667A1 (en) * | 2006-01-20 | 2007-08-02 | Qualcomm Incorporated | Method and apparatus for error resilience algorithms in wireless video communication |
-
2018
- 2018-12-25 JP JP2018240512A patent/JP7291478B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004519973A (ja) * | 2001-04-16 | 2004-07-02 | 三菱電機株式会社 | ビデオ中の歪を決定する方法及びビデオ中の歪を決定するシステム |
| US20050175099A1 (en) * | 2004-02-06 | 2005-08-11 | Nokia Corporation | Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding |
| US20070177667A1 (en) * | 2006-01-20 | 2007-08-02 | Qualcomm Incorporated | Method and apparatus for error resilience algorithms in wireless video communication |
| JP2009524365A (ja) * | 2006-01-20 | 2009-06-25 | クゥアルコム・インコーポレイテッド | 無線映像通信における誤り耐性アルゴリズムの方法および装置 |
Non-Patent Citations (2)
| Title |
|---|
| JIANLE CHEN, ET.AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: T, vol. JVET-G1001-v1, JPN6022054282, 19 August 2017 (2017-08-19), pages 13 - 28, ISSN: 0004958276 * |
| YU M. CHI, ET.AL.: "Optical Flow Approximation of Sub-Pixel Accurate Block Matching for Video Coding", 2007 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING - ICASSP '07, JPN7022005927, 2007, pages 1017 - 1020, ISSN: 0004958277 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7291478B2 (ja) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2015213341B2 (en) | Video decoder, video encoder, video decoding method, and video encoding method | |
| US8908765B2 (en) | Method and apparatus for performing motion estimation | |
| KR101377883B1 (ko) | 비디오 인코딩에서 넌-제로 라운딩 및 예측 모드 선택 기법들 | |
| JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
| KR101482896B1 (ko) | 최적화된 디블록킹 필터 | |
| KR20150009578A (ko) | 비디오 인코딩을 위한 모션 센서 보조 레이트 제어 | |
| KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
| JP2017069866A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
| JP2004215275A (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| JP5649296B2 (ja) | 画像符号化装置 | |
| KR100987921B1 (ko) | 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법. | |
| JP5832263B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP5760950B2 (ja) | 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム | |
| JP2011135460A (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2009284058A (ja) | 動画像符号化装置 | |
| JP7291478B2 (ja) | 動画像符号化装置およびそのプログラム | |
| JP4971817B2 (ja) | 画像符号化装置 | |
| KR101247024B1 (ko) | 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법 | |
| WO2011099242A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| US20130170565A1 (en) | Motion Estimation Complexity Reduction | |
| JP2008153802A (ja) | 動画像符号化装置及び動画像符号化プログラム | |
| KR20110067648A (ko) | 영상 부호화/복호화 방법 및 이를 수행하는 장치 | |
| JP4561701B2 (ja) | 動画像符号化装置 | |
| JP2013077865A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| KR20160087206A (ko) | 영상 트랜스코더 및 트랜스코딩 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7291478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |