JP2018186438A - 符号化装置、及び、符号化方法 - Google Patents

Abstract

【課題】記憶部の記憶容量の圧迫を回避する符号化装置等を提供する。【解決手段】撮影時刻が紐付けられたフレームを複数取得する取得部１２と、記憶部１４と、取得部１２が取得した複数のフレームのうち、撮影時刻に関して互いに間隔を隔てた第一フレームと第二フレームとをフレーム内符号化して記憶部１４に格納し、第一フレームと第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して記憶部１４に格納する符号化部１３と、記憶部１４に記憶された第一フレーム、及び、第一フレームと第二フレームとに挟まれた上記すべてのフレームが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、第一フレームと上記すべてのフレームとを削除する削除部１７とを備える。【選択図】図１

Description

本発明は、符号化装置、及び、符号化方法に関する。

映像データの蓄積又は配信のための映像録画システムが利用されている。

映像録画システムでは、録画された映像データのデータ量を削減するためにＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の画像符号化技術が用いられている。これらの画像符号化技術では、画質の維持とデータ量の削減との両立のため、フレーム内符号化及びフレーム間符号化を利用して符号化フレームを生成する。

符号化装置が備える記憶部の記憶容量は有限である。一方、符号化装置は、なるべく長い時間長の映像を記憶部に保持することが要求される。従来、有限の記憶容量を有する記憶部に符号化データを格納する際に、過去に取得した符号化データを記憶部から削除する技術がある。

特許文献１は、フレーム内符号化の要求を受けた場合であっても、フレーム内符号化の実行を制限して、符号化データがいたずらに増加することを防止する符号化装置を開示している。この符号化装置は、フレーム内符号化の要求信号を間引くなどして調整することで符号化データの増加を防止している。

特開２０１４−１７５５４号公報

しかしながら、上記のようにフレーム内符号化及びフレーム間符号化により符号化されたフレームが記憶部に記憶されているときに、むやみに（つまりフレーム種別に無関係に）記憶部からフレームを削除すると、復号に使われないフレームが記憶部に残存することで記憶部の記憶容量を圧迫するという問題がある。

また、特許文献１には、記憶部に記憶された符号化フレームの削除についての技術は開示されていない。

本発明は、上記問題を解決するためになされたものであり、記憶部の記憶容量の圧迫を回避する符号化装置等を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る符号化装置は、撮影時刻が紐付けられたフレームを複数取得する取得部と、記憶部と、前記取得部が取得した複数の前記フレームのうち、撮影時刻に関して互いに間隔を隔てた第一フレームと第二フレームとをフレーム内符号化して前記記憶部に格納し、前記第一フレームと前記第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して前記記憶部に格納する符号化部と、前記記憶部に記憶された前記第一フレーム、及び、前記第一フレームと前記第二フレームとに挟まれた前記すべてのフレームが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、前記第一フレームと前記すべてのフレームとを削除する削除部とを備える。

これによれば、符号化装置は、現時点から所定時間だけ遡った時点を始期とし、現時点を終期とする期間（保有期間ともいう）に含まれるフレームを記憶部に残すように、フレーム内符号化フレームである第一フレームと、第一フレームと第二フレームとに挟まれたすべてのフレーム間符号化フレームとを削除する。上記すべてのフレームのそれぞれは、第一フレームを参照して復号されるフレームであるので、仮に第一フレームが削除されると参照先を失って復号が不可能になる。つまり、上記すべてのフレームのそれぞれは、第一フレームとともに記憶部に記憶されているときには復号可能である有用なフレームであるが、第一フレームが記憶部に記憶されていないときには復号に使われないフレームであり、記憶部の記憶容量を圧迫するだけの無用なフレームである。そこで、符号化装置の削除部によるフレームの削除により復号に使われないフレームを削除することで、記憶部の記憶容量を削減することができる。このようにして、符号化装置は、記憶部の記憶容量の圧迫を回避できる。

また、前記符号化装置は、さらに、ユーザにより指定される指定時間を受け付ける第一指定部を備え、前記削除部は、前記第一指定部が受け付けた前記指定時間を前記所定時間として用いて、前記第一フレームと前記すべてのフレームとを削除してもよい。

これによれば、符号化装置は、ユーザにより指定される指定時間の分のフレームを記憶部に残すように、記憶部に記憶されているフレームを削除する。よって、符号化装置は、ユーザにより指定される指定時間に基づいて記憶部に記憶しておく映像の時間長を調整することができる。

また、前記削除部は、前記第一フレームと前記すべてのフレームとが前記期間に含まれるに至ったタイミングで、前記第一フレームと前記すべてのフレームとを削除してもよい。

これによれば、符号化装置は、削除の対象となる第一フレームと上記すべてのフレームとが記憶部に格納されている時間を短縮することができる。つまり、符号化装置は、削除対象のフレームが一時的に記憶部に格納されることで、記憶容量が一時的に圧迫される時間を短縮することができる。

また、前記符号化装置は、さらに、フレーム内符号化及びフレーム間符号化のいずれかを示す符号化種別と、当該符号化種別で符号化をするタイミングを示すタイミング情報とを受け付ける第二指定部を備え、前記符号化部は、符号化の対象の前記フレームの撮影時刻が、前記タイミング情報に示される前記タイミングに適合する場合に、前記符号化種別に示される符号化によって前記フレームを符号化してもよい。

これによれば、符号化装置は、第二指定部が受け付けたタイミング情報及び符号化種別に基づいて符号化部による符号化を行う。タイミング情報は、例えば、１回のフレーム内符号化を行うタイミングを示す情報、フレーム内符号化を行う周期を示す情報、又は、周期的なフレーム内符号化の開始タイミングを示す情報などを含む。これにより、符号化装置は、第二指定部が受け付けた情報に基づいて、より柔軟に、符号化種別と符号化タイミングとを制御できる。

また、前記取得部は、カメラが撮影により生成したフレームを前記フレームとして取得し、前記第二指定部は、前記カメラの撮影対象の領域における人の存在を検知する人感センサが人の存在を検知したタイミングを示す前記タイミング情報と、フレーム内符号化を示す前記符号化種別とを受け付け、前記符号化部は、前記人感センサが前記人の存在を検知した前記タイミングに、前記フレームをフレーム内符号化してもよい。

これによれば、符号化装置は、人感センサが人の存在を検知した場合にフレーム内符号化を行うことにより、より柔軟な符号化種別と符号化タイミングとの制御がなされ得る。このようにすることで、人感センサが人の存在を検知した時点からの映像の復号及び再生をする、つまり、頭出しをするときの処理を低減できる利点がある。

また、撮影時刻が紐付けられたフレームを複数取得する取得部と、前記取得部が取得した複数の前記フレームをフレーム内符号化又はフレーム間符号化する符号化部と、フレーム内符号化及びフレーム間符号化のいずれかを示す符号化種別と、当該符号化種別で符号化をするタイミングを示すタイミング情報とを受け付ける第二指定部を備え、前記符号化部は、符号化の対象の前記フレームの撮影時刻が、前記タイミング情報に示される前記タイミングに適合する場合に、前記符号化種別に示される符号化によって対象の前記フレームを符号化してもよい。

これによれば、符号化装置は、第二指定部が受け付けたタイミング情報及び符号化種別に基づいて符号化部による符号化を行う。タイミング情報は、例えば、１回のフレーム内符号化を行うタイミングを示す情報、フレーム内符号化を行う周期を示す情報、又は、周期的なフレーム内符号化の開始タイミングを示す情報などを含む。これにより、符号化装置は、第二指定部が受け付けた情報に基づいて、より柔軟に、符号化種別と符号化タイミングとを制御できる。

また、本発明の一態様に係る符号化装置の制御方法は、撮影時刻が紐付けられたフレームを複数取得する取得ステップと、前記取得ステップで取得した複数の前記フレームのうち、撮影時刻に関して互いに間隔を隔てた第一フレームと第二フレームとをフレーム内符号化して記憶部に格納し、前記第一フレームと前記第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して前記記憶部に格納する符号化ステップと、前記記憶部に記憶された前記第一フレーム、及び、前記第一フレームと前記第二フレームとに挟まれた前記すべてのフレームとが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、前記第一フレームと前記すべてのフレームとを削除する削除ステップとを含む。

これによれば、上記符号化装置と同様の効果を奏する。

本発明に係る符号化装置等は、記憶部の記憶容量の圧迫を回避できる。

図１は、実施の形態に係る符号化装置の機能ブロックを示すブロック図である。 図２は、実施の形態に係る符号化装置のハードウェア構成の機能ブロックを示すブロック図である。 図３は、実施の形態に係る符号化装置の符号化処理を示すフロー図である。 図４は、実施の形態に係る符号化装置の削除処理を示すフロー図である。 図５は、実施の形態に係る符号化装置の限定録画モードでの符号化処理及び削除処理の対象となるフレームを具体的に示す第一の説明図である。 図６は、実施の形態に係る符号化装置の限定録画モードでの符号化処理及び削除処理の対象となるフレームを具体的に示す第二の説明図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

（実施の形態）
本実施の形態において、記憶部の記憶容量の圧迫を回避する符号化装置１０などについて説明する。

符号化装置１０は、符号化対象のフレームを取得し、取得したフレームを符号化して保持又は外部に出力する符号化装置である。符号化装置１０は、「限定録画モード」、「録画モード」及び「配信モード」の３つの動作モードのいずれかで動作し得る。３つの動作モードのうちのどの動作モードで動作するかはユーザ等により設定又は変更され得る。

限定録画モードは、符号化対象フレームのうちの最新の所定期間（保持期間ともいう）に撮影されたフレームだけを符号化装置１０内に保持し、保持期間より過去に撮影されたフレームを破棄するモードである。録画モードは、符号化対象フレームを符号化して符号化装置１０内に保持するモードである。配信モードは、符号化対象フレームを符号化して符号化装置１０の外部の通信装置等に配信するモードである。

図１は、本実施の形態に係る符号化装置１０の機能ブロックを示すブロック図である。

図１に示されるように、符号化装置１０は、取得部１２と、符号化部１３と、記憶部１４と、出力部１５と、制御部１６と、削除部１７とを備える。

取得部１２は、符号化対象フレームを取得する処理部である。符号化対象フレームには、当該符号化対象フレームが撮影された撮影時刻が紐付けられている。取得部１２は、例えば、符号化装置１０の外部又は内部のカメラ（不図示）から、動画像を構成する複数の静止画であるフレームを取得する。動画像のフレームレートは、特に限定されないが、例えば、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、又は、６０ｆｐｓである。

符号化部１３は、取得部１２が取得したフレームを符号化する符号化処理部である。符号化部１３は、取得部１２が取得したフレームを、フレーム内符号化又はフレーム間符号化により符号化し、符号化したフレームを記憶部１４に格納する。符号化部１３は、制御部１６による制御、より具体的には、フレームの符号化種別及び符号化タイミングについての制御に基づいて符号化を行う。例えば、符号化部１３が周期的にフレーム内符号化を行う場合には、その周期が制御部１６により制御される。また、符号化部１３が、１回の単発のフレーム内符号化を行う場合には、そのタイミングが制御部１６により制御される。

なお、フレーム内符号化及びフレーム間符号化を行う符号化方法は、公知の技術を採用し得る。すなわち、フレーム内符号化は、一のフレーム内の画素値等に基づく符号化であり、フレーム間符号化は、参照先のフレームの画素値との差分等に基づく符号化である。そして、復号時には、フレーム内符号化フレームは、当該フレーム内符号化フレームの情報だけを用いて復号され得る。また、フレーム間符号化フレームは、参照すべきフレーム内符号化フレームとの加算等を用いて復号される。このように、フレーム間符号化フレームの復号には、参照すべきフレーム内符号化フレームが必要である。

符号化部１３は、限定録画モード及び録画モードでは、符号化対象フレームのうちの先頭フレームをフレーム内符号化した後、時間間隔をあけながら符号化対象フレームをフレーム内符号化し、それ以外の符号化対象フレームをフレーム間符号化する。また、符号化部１３は、配信モードでは、最初の符号化対象フレームをフレーム内符号化した後、符号化対象フレームをフレーム間符号化する。

言い換えれば、符号化部１３は、限定録画モード及び録画モードでは、取得部１２が取得した複数のフレームのうち、撮影時刻に関して互いに間隔を隔てた２つのフレームである第一フレームと第二フレームとをフレーム内符号化して記憶部１４に格納する。また、符号化部１３は、第一フレームと第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して記憶部１４に格納する。ここで、「すべてのフレーム」とは、撮影時刻に関して第一フレームの直後のフレームから第二フレームの直前のフレームまでのフレームを意味する。

記憶部１４は、符号化部１３が符号化したフレームを記憶する記憶装置である。記憶部１４には、符号化されたフレームが符号化部１３により格納される。また、記憶部１４に格納されたフレームは、出力部１５により取り出される。また、格納されたフレームの一部（後述）は、削除部１７により削除される。

出力部１５は、記憶部１４に格納されているフレームを出力する出力インタフェースである。出力部１５は、例えば、上記フレームを復号装置又は格納サーバ等に送信する。復号装置に送信されたフレームは、復号装置による復号後に再生され得る。格納サーバに送信されたフレームは、格納サーバに格納され、その後、検索などをされたときに読み出され、復号装置による復号を経て再生され得る。

制御部１６は、符号化部１３による符号化を制御する処理部である。制御部１６は、符号化部１３による符号化種別、すなわち、フレームをフレーム内符号化するか、又は、フレーム間符号化するかを制御する。また、制御部１６は、上記符号化種別で符号化をするタイミングを制御する。

制御部１６は、上記制御の一例として、周期的にフレーム内符号化をする場合の周期（つまり時間間隔）を制御する。例えば、制御部１６は、ユーザ等からフレーム内符号化をする周期（例えば１秒）を受け付け、受け付けた周期で符号化部１３が周期的にフレーム内符号化をするよう制御する。

また、制御部１６は、上記制御の一例として、フレーム内符号化をするタイミングを制御する。例えば、制御部１６は、ユーザ等からフレーム内符号化をするタイミングを受け付け、符号化部１３が上記タイミングでフレームをフレーム内符号化するよう制御する。上記タイミングは、時分秒形式等で指定される絶対的な時刻であってもよいし、現時点、又は、現時点を基準とした相対的な時刻であってもよい。例えば、制御部１６は、カメラによる撮影対象の領域に人感センサ（不図示）により人の存在が検知された時点で、フレーム内符号化をするよう制御し得る。

また、制御部１６は、上記制御の一例として、周期的に行うフレーム内符号化の起点を制御する。例えば、制御部１６は、カメラで撮影している対象領域における人の存在を人感センサにより検知し、人が出現した時点から周期的（例えば１秒間隔）にフレーム内符号化を行うよう制御する。

なお、制御部１６は、フレーム内符号化及びフレーム間符号化のいずれかを示す符号化種別と、当該符号化種別で符号化をするタイミングを示すタイミング情報とを受け付けてもよい。そして、制御部１６は、符号化の対象のフレームの撮影時刻が、上記タイミング情報に示されるタイミングに適合する場合に、符号化種別に示される符号化によって対象のフレームを符号化部１３により符号化させてもよい。これにより、符号化装置１０は、より柔軟に、符号化種別と符号化タイミングとを制御できる。なお、「適合」とは、符号化の対象のフレームの撮影時刻が、タイミング情報に示されるタイミングに一致する場合の他、１フレーム時間程度の範囲内に含まれる場合を含む概念である。１フレーム時間は、例えば、フレームレートが３０ｆｐｓであるときには、３３ｍｓｅｃ程度である。なお、制御部１６の上記符号化種別と上記タイミング情報とを受け付ける機能は、第二指定部（不図示）の機能に相当する。

なお、制御部１６は、符号化装置１０の動作モードを切り替える指示をユーザ等から取得し、取得した指示に従って符号化装置１０の動作モードを切り替えてもよい。

削除部１７は、限定録画モードにおいて、記憶部１４に記憶されたフレームを削除する処理部である。撮影時刻に関して互いに間隔を隔てた第一フレーム及び第二フレームがフレーム内符号化されて記憶部１４に記憶されているとき、削除部１７は、限定録画モードにおいて、記憶部１４に記憶された第一フレーム、及び、第一フレームと第二フレームとに挟まれた上記すべてのフレームとが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、第一フレームと上記すべてのフレームとを削除する。なお、上記期間の始期は、記憶部１４に記憶された最も古いフレームと同じ時点か、その時点より過去の任意の時点とする。

削除部１７により削除される対象となるフレーム、及び、フレームを削除するタイミングなどについては後で詳しく説明する。なお、第一フレーム、及び、第一フレームと第二フレームとに挟まれた上記すべてのフレームをまとめて「フレーム群」ともいう。また、上記期間を「削除期間」ともいう。削除期間は、上記のとおり、現時点を基準として定められる期間であり、時間経過により現時点が変更されれば削除期間も変更される。

削除部１７は、ユーザにより指定される指定時間を受け付けてもよい。その場合、削除部１７は、受け付けた指定時間を上記所定時間として用いて、上記フレーム群の削除をしてもよい。これにより、ユーザにより指定される指定時間に基づいて記憶部１４に記憶しておく映像の時間長を調整することができる。なお、削除部１７の上記指定時間を受け付ける機能は、第一指定部（不図示）の機能に相当する。

また、削除部１７が第一フレームと上記すべてのフレームとを削除するタイミングは任意であってよいが、例えば、削除部１７は、第一フレームと上記すべてのフレームとが削除期間に含まれるに至ったタイミングで、第一フレームと前記すべてのフレームとを削除してもよい。これにより、削除の対象となるフレーム群が記憶部１４に格納されている時間を短縮することができる。つまり、符号化装置１０は、削除対象のフレームが一時的に記憶部１４に格納されることで、記憶容量が一時的に圧迫される時間を短縮することができる。

ここで、符号化装置１０を実現するハードウェア構成の一例について説明する。

図２は、本実施の形態に係る符号化装置１０のハードウェア構成の機能ブロックを示すブロック図である。

図２に示されるように、符号化装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、メインメモリ２３と、ストレージ２４と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２５とを備える。

ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４等に記憶された制御プログラムを実行するプロセッサである。

ＲＯＭ２２は、制御プログラム等を保持する読み出し専用記憶領域である。

メインメモリ２３は、ＣＰＵ２１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。

ストレージ２４は、制御プログラム、及び、コンテンツなどを保持する不揮発性の記憶領域である。

通信ＩＦ２５は、通信データを送受信する通信インタフェースである。通信ＩＦ２５は、例えば、ＩＥＥＥ８０２．３規格等に適合する有線通信インタフェース、又は、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格等に適合する無線通信インタフェースである。通信ＩＦ２５は、通信信号の生成回路、及び、アンテナ又はコネクタ等を備える。

例えば、図１における符号化部１３、制御部１６及び削除部１７は、ＣＰＵ２１がメインメモリ２３等を用いて制御プログラムを実行することで実現し得る。取得部１２及び出力部１５は、ＣＰＵ２１がメインメモリ２３等を用いて制御プログラムを実行し、また、通信ＩＦ２５、及び、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）その他のインタフェース装置等を用いて実現し得る。記憶部１４は、メインメモリ２３又はストレージ２４により実現し得る。

以上のように構成された符号化装置１０の動作について以下で説明する。

図３は、本実施の形態に係る符号化装置１０の符号化処理を示すフロー図である。

ステップＳ１０１において、取得部１２は、符号化対象フレームを取得する。

ステップＳ１０２において、符号化部１３は、動作モードが限定録画モードであるか、録画モードであるか、又は、配信モードであるかによって処理を分岐する。動作モードが限定録画モードであるときにはステップＳ１０３に進み、動作モードが録画モードであるときにはステップＳ１１１に進み、動作モードが配信モードであるときにはステップＳ１２１に進む。

ステップＳ１０３において、符号化部１３は、符号化対象フレームを符号化する。具体的には、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームが先頭フレームであるか、又は、現時点がフレーム内符号化をすべきタイミングに適合しているか否かを判定する。符号化部１３は、上記フレームが先頭フレームである、又は、現時点がフレーム内符号化をすべきタイミングに適合していると判定した場合（ステップＳ１０３でＹｅｓ）にはステップＳ１０４に進み、そうでない場合（ステップＳ１０３でＮｏ）にはステップＳ１０５に進む。

ステップＳ１０４において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム内符号化し、フレーム内符号化したフレームを記憶部１４に格納する。

ステップＳ１０５において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム間符号化し、フレーム間符号化したフレームを記憶部１４に格納する。

ステップＳ１０６において、削除部１７は、記憶部１４に格納されているフレームを対象として削除処理を行う。削除処理の詳細は後で詳細に説明する。ステップＳ１０６の処理を終えたら、符号化装置１０は、次の符号化対象フレームを対象としてステップＳ１０１以降の処理を実行する。

ステップＳ１１１において、符号化部１３は、符号化対象フレームを符号化する。具体的には、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームが先頭フレームであるか、又は、現時点がフレーム内符号化をすべきタイミングに適合しているか否かを判定する。符号化部１３は、上記フレームが先頭フレームである、又は、現時点がフレーム内符号化をすべきタイミングに適合していると判定した場合（ステップＳ１１１でＹｅｓ）にはステップＳ１１２に進み、そうでない場合（ステップＳ１１１でＮｏ）にはステップＳ１１３に進む。

ステップＳ１１２において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム内符号化し、フレーム内符号化したフレームを記憶部１４に格納する。

ステップＳ１１３において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム間符号化し、フレーム間符号化したフレームを記憶部１４に格納する。

ステップＳ１１２又はＳ１１３の処理を終えたら、符号化装置１０は、次の符号化対象フレームを対象としてステップＳ１０１以降の処理を実行する。

ステップＳ１２１において、符号化部１３は、符号化対象フレームを符号化する。具体的には、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームが先頭フレームであるか否かを判定する。符号化部１３は、上記フレームが先頭フレームであると判定した場合（ステップＳ１２１でＹｅｓ）にはステップＳ１２２に進み、そうでない場合（ステップＳ１２１でＮｏ）にはステップＳ１２３に進む。

ステップＳ１２２において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム内符号化し、フレーム内符号化したフレームを記憶部１４に格納する。

ステップＳ１２３において、符号化部１３は、ステップＳ１０１で取得部１２が取得したフレームをフレーム間符号化し、フレーム間符号化したフレームを記憶部１４に格納する。

ステップＳ１２２又はＳ１２３の処理を終えたら、符号化装置１０は、次の符号化対象フレームを対象としてステップＳ１０１以降の処理を実行する。

なお、上記一連の処理の任意の時点で動作モードの変更が可能である。動作モードが変更された場合、符号化装置１０は、ステップＳ１０２の分岐によって、変更の動作モードの処理を実行する。

以上の一連の処理により、符号化装置１０は、３つの動作モードのいずれかにより符号化対象フレームを符号化し記憶部１４に格納する。

図４は、本実施の形態に係る符号化装置１０の削除処理を示すフロー図である。

ステップＳ２０１において、削除部１７は、削除期間を設定する。

ステップＳ２０２において、削除部１７は、記憶部１４に格納されているフレームのうち、ステップＳ２０１で設定した削除期間に完全に含まれているフレーム群を抽出する。ここで、「削除期間に完全に含まれているフレーム群」とは、当該フレーム群に含まれるすべてのフレームが削除期間に含まれている場合を意味する概念であり、当該フレーム群に含まれる一部のフレームだけが削除期間に含まれている場合を排除する概念である。

ステップＳ２０３において、削除部１７は、ステップＳ２０２で抽出したフレーム群を記憶部１４から削除する。

以降において、符号化装置１０が符号化対象フレームを順次に取得する場合の、符号化装置１０の限定録画モードの動作をより具体的に説明する。

図５は、本実施の形態に係る符号化装置１０の限定録画モードでの符号化処理及び削除処理の対象となるフレームを具体的に示す第一の説明図である。図５を参照しながら、取得部１２が符号化対象フレームとしてのフレームＦ０１、Ｆ０２、・・・、Ｆ３４を順次に取得したときの符号化部１３及び削除部１７の動作を説明する。なお、図５の例では、フレーム内符号化をする周期（時間間隔）を１秒とし、保持期間の時間長を１０秒とする。

図５において、横軸は、フレームＦ０１（後述）の撮影時刻をゼロとした相対的な時刻を示しており、紙面上の右に進むほど時間が進行していることが示されている。また、図５において、図３及び図４に示される処理に対応する処理には、図３及び図４におけるものと共通の符号が付されている。また、フレームに付された符号「Ｆ０１」等は、フレームの単なる識別子であり、フレーム番号を意味するものではない。具体的には、例えば、フレームＦ１２は、先頭から１２番目のフレームであることを示しているわけではない。フレームＦ１２は、フレームレートが３０ｆｐｓであれば、先頭から３１番目のフレームに相当する。

取得部１２が符号化対象フレームの先頭フレームであるフレームＦ０１を取得すると、取得部１２は、フレームＦ０１を符号化部１３に提供する。符号化部１３は、提供されたフレームＦ０１をフレーム内符号化する（ステップＳ１０３）。

その後、取得部１２が符号化対象フレームであるフレームＦ０２〜Ｆ１１を順次に取得し、取得したフレームＦ０２〜Ｆ１１を順次に符号化部１３に提供する。符号化部１３は、順次に提供されたフレームＦ０２〜Ｆ１１それぞれを、順次にフレーム内符号化して記憶部１４に格納する（ステップＳ１０４）。

フレームＦ０１の撮影時刻からフレーム内符号化をする周期が経過した時点である時刻１秒が到来すると、取得部１２は、その時点で取得している最新のフレームであるフレームＦ１２をフレーム内符号化（ステップＳ１０３）して、記憶部１４に格納する。

その後、取得部１２が符号化対象フレームであるフレームＦ１３、Ｆ１４、Ｆ２１、Ｆ２３〜Ｆ３１、Ｆ３３〜Ｆ３４等を取得し、これらのフレームが上記と同様に符号化部１３によりフレーム間符号化（ステップＳ１０５）されて記憶部１４に格納される。また、取得部１２が符号化対象フレームであるフレームＦ２２及びＦ３２を取得し、これらのフレームが上記と同様に符号化部１３によりフレーム内符号化（ステップＳ１０４）されて記憶部１４に格納される。

削除部１７は、記憶部１４に格納されているフレームを監視している。削除部１７は、符号化部１３が符号化対象フレームを符号化するごとに削除期間を設定する。時刻１１秒が到来するまでの時点では、一のフレーム群が削除期間に完全に含まれることは起きない。

時刻１１秒が到来すると、削除部１７は、時刻１秒を終期とする期間、つまり、時刻０秒から時刻１秒までの期間を削除期間として設定する。ここで、削除期間の始期は、記憶部１４に記憶されているフレームのうちの最も古いフレームの撮影時刻である０秒としたが、削除期間の始期は、０秒より過去の任意の時点としてもよい。上記のように設定された削除期間に、フレーム群Ｇ１が完全に含まれている。

そして、削除期間に完全に含まれているフレーム群であるフレーム群Ｇ１を抽出し（ステップＳ２０２）、フレーム群Ｇ１に含まれるすべてのフレームを削除する（ステップＳ２０３）。

その結果、時刻１１秒の時点において、記憶部１４には、時刻１秒から時刻１１秒までの１０秒間のフレームが残存している状態になる。

ここで仮に、フレーム群の考え方を導入せずに、フレーム内符号化フレーム又はフレーム間符号化フレームを区別せずに順次に記憶部１４に格納されたフレームを古い方から順に削除するとすれば、参照先を失ったフレーム間符号化フレームが記憶部１４に残存している状態が生じ得る。例えば、図５において、記憶部１４からフレームＦ０１だけが削除された状態が生じ得る。この状態では、フレーム間符号化フレームであるフレームＦ０２〜Ｆ１１は、参照先であるフレーム内符号化フレームであるフレームＦ０１が存在しないので復号不能なフレームである。復号不能なフレームは、記憶部１４の記憶容量を消費するだけの無用なフレームであるので、存在しないのが適切である。

本発明の符号化装置１０によれば、上記説明における復号不能なフレームが生じることがないので、記憶部１４に記憶される符号化データの容量を削減し得る。

なお、制御部１６は、符号化部１３に対する制御の一例として、人感センサにより人の存在を検知したときに符号化部１３がフレーム内符号化をするよう制御することができる。このようにすると、当該人の存在を検知した時点からの映像の復号及び再生をする、つまり、頭出しをするときの処理を低減できる利点がある。

すなわち、制御部１６（第二指定部）は、カメラの撮影対象の領域における人の存在を検知する人感センサが人の存在を検知したタイミングを示すタイミング情報と、フレーム内符号化を示す符号化種別とを受け付けてもよい。そして、符号化部１３は、人感センサが人の存在を検知したタイミングに、フレームをフレーム内符号化してもよい。

この場合の符号化装置１０による符号化処理及び削除処理について、図６を参照しながら説明する。

図６は、本実施の形態に係る符号化装置１０の限定録画モードでの符号化処理及び削除処理の対象となるフレームを具体的に示す第二の説明図である。図６を参照しながら、取得部１２が符号化対象フレームとしてのフレームＦ０１、Ｆ０２、・・・、Ｆ５２を順次に取得したときの符号化部１３及び削除部１７の動作を説明する。なお、図５の場合と同様、フレーム内符号化をする周期を１秒とし、保持期間の時間長を１０秒とする。またフレームに付された符号についても図５と同様である。

図６に示されるように、時刻ゼロの時点でカメラによる撮影対象の領域に人の存在が検知されていないとする（人感センサがＯＦＦ）。

取得部１２が符号化対象フレームであるフレームＦ０１〜Ｆ４１を取得したときの符号化部１３の処理は、図５における場合と同様である。

その後、時刻Ｔにおいて、制御部１６が人感センサにより人の存在を検知したとする（人感センサがＯＮ）。人感センサによる人の存在の検知に応じて、制御部１６は、フレーム内符号化をするよう符号化部１３を制御する。

取得部１２は、時刻Ｔより後の最初の符号化対象フレームであるＦ４２をフレーム内符号化（ステップＳ１０４）して記憶部１４に格納する。

その後、取得部１２が符号化対象フレームであるフレームＦ４３等を取得し、これらのフレームが上記と同様に符号化部１３によりフレーム間符号化（ステップＳ１０５）されて記憶部１４に格納される。また、取得部１２が符号化対象フレームであるフレームＦ５１を取得し、これらのフレームが上記と同様に符号化部１３によりフレーム内符号化（ステップＳ１０４）されて記憶部１４に格納される。

このようにすることで、記憶部１４に記憶される一連のフレームにおいて、周期的なフレーム内符号化のタイミングと、人の存在が検知された時刻のフレームとが、フレーム内符号化されてフレーム内符号化フレームとなり、フレーム群Ｇ１、Ｇ２、Ｇ３及びＧ４が生成される。よって、人の存在を検知した時点からの映像の復号及び再生をする、つまり、頭出しをするときに、当該フレーム内符号化フレームから映像の復号を開始するだけで済み、処理を低減できる利点がある。

以上のように、本変形例における符号化装置は、現時点から所定時間だけ遡った時点を始期とし、現時点を終期とする期間（保有期間ともいう）に含まれるフレームを記憶部に残すように、フレーム内符号化フレームである第一フレームと、第一フレームと第二フレームとに挟まれたすべてのフレーム間符号化フレームとを削除する。上記すべてのフレームのそれぞれは、第一フレームを参照して復号されるフレームであるので、仮に第一フレームが削除されると参照先を失って復号が不可能になる。つまり、上記すべてのフレームのそれぞれは、第一フレームとともに記憶部に記憶されているときには復号可能である有用なフレームであるが、第一フレームが記憶部に記憶されていないときには復号に使われないフレームであり、記憶部の記憶容量を圧迫するだけの無用なフレームである。そこで、符号化装置の削除部によるフレームの削除により復号に使われないフレームを削除することで、記憶部の記憶容量を削減することができる。このようにして、符号化装置は、記憶部の記憶容量の圧迫を回避できる。

また、符号化装置は、ユーザにより指定される指定時間の分のフレームを記憶部に残すように、記憶部に記憶されているフレームを削除する。よって、符号化装置は、ユーザにより指定される指定時間に基づいて記憶部に記憶しておく映像の時間長を調整することができる。

また、符号化装置は、削除の対象となる第一フレームと上記すべてのフレームとが記憶部に格納されている時間を短縮することができる。つまり、符号化装置は、削除対象のフレームが一時的に記憶部に格納されることで、記憶容量が一時的に圧迫される時間を短縮することができる。

また、符号化装置は、第二指定部が受け付けたタイミング情報及び符号化種別に基づいて符号化部による符号化を行う。タイミング情報は、例えば、１回のフレーム内符号化を行うタイミングを示す情報、フレーム内符号化を行う周期を示す情報、又は、周期的なフレーム内符号化の開始タイミングを示す情報などを含む。これにより、符号化装置は、第二指定部が受け付けた情報に基づいて、より柔軟に、符号化種別と符号化タイミングとを制御できる。

また、符号化装置は、人感センサが人の存在を検知した場合にフレーム内符号化を行うことにより、より柔軟な符号化種別と符号化タイミングとの制御がなされ得る。このようにすることで、人感センサが人の存在を検知した時点からの映像の復号及び再生をする、つまり、頭出しをするときの処理を低減できる利点がある。

以上、本発明の符号化装置等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、記憶部の記憶容量の圧迫を回避する符号化装置等に利用可能である。具体的には、ドライブレコーダなどの録画装置、公共スペース又は商業施設などにおいて設置され、画像等を再生する映像配信装置などに利用可能である。

１０ 符号化装置
１２ 取得部
１３ 符号化部
１４ 記憶部
１５ 出力部
１６ 制御部
１７ 削除部
２１ ＣＰＵ
２２ ＲＯＭ
２３ メインメモリ
２４ ストレージ
２５ 通信ＩＦ
Ｆ０１〜Ｆ５２ フレーム
Ｇ１、Ｇ２、Ｇ３、Ｇ４ フレーム群

Claims (7)

1. 撮影時刻が紐付けられたフレームを複数取得する取得部と、
   記憶部と、
   前記取得部が取得した複数の前記フレームのうち、撮影時刻に関して互いに間隔を隔てた第一フレームと第二フレームとをフレーム内符号化して前記記憶部に格納し、前記第一フレームと前記第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して前記記憶部に格納する符号化部と、
   前記記憶部に記憶された前記第一フレーム、及び、前記第一フレームと前記第二フレームとに挟まれた前記すべてのフレームが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、前記第一フレームと前記すべてのフレームとを削除する削除部とを備える
   符号化装置。
2. 前記符号化装置は、さらに、
   ユーザにより指定される指定時間を受け付ける第一指定部を備え、
   前記削除部は、
   前記第一指定部が受け付けた前記指定時間を前記所定時間として用いて、前記第一フレームと前記すべてのフレームとを削除する
   請求項１に記載の符号化装置。
3. 前記削除部は、前記第一フレームと前記すべてのフレームとが前記期間に含まれるに至ったタイミングで、前記第一フレームと前記すべてのフレームとを削除する
   請求項１又は２に記載の符号化装置。
4. 前記符号化装置は、さらに、
   フレーム内符号化及びフレーム間符号化のいずれかを示す符号化種別と、当該符号化種別で符号化をするタイミングを示すタイミング情報とを受け付ける第二指定部を備え、
   前記符号化部は、符号化の対象の前記フレームの撮影時刻が、前記タイミング情報に示される前記タイミングに適合する場合に、前記符号化種別に示される符号化によって前記フレームを符号化する
   請求項１〜３のいずれか１項に記載の符号化装置。
5. 前記取得部は、カメラが撮影により生成したフレームを前記フレームとして取得し、
   前記第二指定部は、
   前記カメラの撮影対象の領域における人の存在を検知する人感センサが人の存在を検知したタイミングを示す前記タイミング情報と、フレーム内符号化を示す前記符号化種別とを受け付け、
   前記符号化部は、前記人感センサが前記人の存在を検知した前記タイミングに、前記フレームをフレーム内符号化する
   請求項４に記載の符号化装置。
6. 撮影時刻が紐付けられたフレームを複数取得する取得部と、
   前記取得部が取得した複数の前記フレームをフレーム内符号化又はフレーム間符号化する符号化部と、
   フレーム内符号化及びフレーム間符号化のいずれかを示す符号化種別と、当該符号化種別で符号化をするタイミングを示すタイミング情報とを受け付ける第二指定部を備え、
   前記符号化部は、符号化の対象の前記フレームの撮影時刻が、前記タイミング情報に示される前記タイミングに適合する場合に、前記符号化種別に示される符号化によって対象の前記フレームを符号化する
   符号化装置。
7. 撮影時刻が紐付けられたフレームを複数取得する取得ステップと、
   前記取得ステップで取得した複数の前記フレームのうち、撮影時刻に関して互いに間隔を隔てた第一フレームと第二フレームとをフレーム内符号化して記憶部に格納し、前記第一フレームと前記第二フレームとに挟まれたすべてのフレームそれぞれをフレーム間符号化して前記記憶部に格納する符号化ステップと、
   前記記憶部に記憶された前記第一フレーム、及び、前記第一フレームと前記第二フレームとに挟まれた前記すべてのフレームとが、現時点から所定時間だけ遡った時点を終期とする期間に含まれる場合に、前記第一フレームと前記すべてのフレームとを削除する削除ステップとを含む
   符号化方法。

Images