JP2014060512A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 - Google Patents
動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 Download PDFInfo
- Publication number
- JP2014060512A JP2014060512A JP2012203146A JP2012203146A JP2014060512A JP 2014060512 A JP2014060512 A JP 2014060512A JP 2012203146 A JP2012203146 A JP 2012203146A JP 2012203146 A JP2012203146 A JP 2012203146A JP 2014060512 A JP2014060512 A JP 2014060512A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- region
- input
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得る。
【解決手段】関心領域画像抽出部３４は、順次入力される入力画像から複数の関心領域画像を抽出する。関心領域画像符号化部３６は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は、前回の暗号化対象画像において選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化し、非選択関心領域画像を第２の符号化方法で符号化し、非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は第３の符号化方法で符号化する。暗号化部３８は、個々の暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、個々の暗号化対象画像における選択関心領域画像に対応した暗号鍵で暗号化する。
【選択図】図１
【解決手段】関心領域画像抽出部３４は、順次入力される入力画像から複数の関心領域画像を抽出する。関心領域画像符号化部３６は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は、前回の暗号化対象画像において選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化し、非選択関心領域画像を第２の符号化方法で符号化し、非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は第３の符号化方法で符号化する。暗号化部３８は、個々の暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、個々の暗号化対象画像における選択関心領域画像に対応した暗号鍵で暗号化する。
【選択図】図１
Description
開示の技術は動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置に関する。
近年では、カメラ技術、特に動画像の符号化及び復号化の技術の進歩に伴って、監視カメラ等でも非常に高精細な画像を記録し、監視に供することが可能になってきている。一方で、プライバシー保護の観点からは、一般人が高精細に写っている画像が誰もがアクセス可能な状態におかれることは好ましくない。
一方、プライバシー保護のために解像度の低い画像で記録したり、人の顔にモザイクをかけたりすると、高解像度の画像ではないため、監視能力が低下してしまう。
また、誰もがアクセスできないように、画像に対して暗号化を行うという方法もあるが、画像全体に暗号化を行ってしまうと、特定の個人の顔の画像だけを復元したい場合でも、その他の一緒に写っている人の画像も復元されてしまう。これはプライバシー保護の観点から好ましくない。
また、画像の一部を暗号化する技術があるが、これを監視カメラに適用する場合、画像に含まれる個人の顔を抽出し、それぞれ暗号化する処理が必要となり、処理が煩雑となる。
開示の技術は、一つの側面として、動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得ることが目的である。
開示の技術は、関心領域画像抽出部は、順次入力される入力画像から複数の関心領域画像を抽出する。関心領域画像符号化部は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像については、前回の暗号化対象画像において複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択する。関心領域画像符号化部は、選択関心領域画像を第１の符号化方法で符号化する。また、関心領域画像符号化部は、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化する。また、関心領域画像符号化部は、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する。暗号化部は、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する。
開示の技術は、一つの側面として、動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得ることができる、という効果を有する。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
図１には、本実施形態に係る動画像処理装置１０が示されている。動画像処理装置１０は、撮影装置１２、動画像符号化装置１４、記憶装置１６、動画像復号化装置１８、及び表示装置２０を備えている。動画像処理装置１０は、例えば、デジタルカメラ、ビデオカメラ、及びカメラ機能付きの携帯電話等、動画像の撮影機能を備えた装置に搭載される。
撮影装置１２は、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮影素子を備えている。撮影装置１２は、動画像の撮影が指示されると、撮影素子により撮影された画像を予め定めたフレームレートで動画像符号化装置１４へ出力する。これにより、動画像符号化装置１４には、撮影素子により撮影された画像が順次入力される。
動画像符号化装置１４は、画像処理部３０、入力画像符号化部３２、関心領域画像抽出部３４、関心領域画像符号化部３６、暗号化部３８、及び多重化部４０を備えている。
画像処理部３０は、撮影装置１２から入力された入力画像に対して予め定めた画像処理を施す。画像処理部３０は、本実施形態では、例えば図２に示すように、関心領域画像Ａ〜Ｃを含む入力画像４２を縮小する処理を実行し、縮小画像４４を生成し、メイン画像とする。なお、図３に示すように、画像処理部３０は、入力画像４２に含まれる関心領域画像Ａ〜Ｃを抽出し、抽出した関心領域画像Ａ〜Ｃのみをモザイク化したモザイク画像４６を生成する処理を実行し、これをメイン画像としてもよい。
入力画像符号化部３２は、メイン画像を圧縮符号化する。本実施形態では、フレーム間予測を用いた圧縮符号化方法、例えばＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ勧告のＨ．２６４等の符号化方法によりメイン画像を符号化する。
関心領域画像抽出部３４は、撮影装置１２から順次入力される入力画像から予め定めた関心領域の画像である関心領域画像を抽出する。関心領域画像は、本実施形態では、例えば人物の顔の画像であるが、これに限られるものではない。図２、３に示す入力画像４２の場合、例えば人物の顔の画像である関心領域画像Ａ〜Ｃが抽出される。また、関心領域画像抽出部３４は、図２、３に示すように、抽出した関心領域画像Ａ〜Ｃを集合した集合画像４８をサブ画像として生成する。
関心領域画像符号化部３６は、入力された入力画像から抽出された複数の関心領域画像から選択した選択関心領域画像を第１の符号化方法で符号化する。
第１の符号化方法は、例えば選択関心領域画像をイントラ符号化する方法である。ここで、イントラ符号化とは、過去の符号化されたフレーム画像を参照してフレーム間予測して符号化するのではなく、符号化対象の入力画像のみから符号化する方法である。従って、復号（伸張）する際には、過去のフレーム画像を参照することなく復号できる。
また、暗号化対象画像は、例えば入力画像がＮ回入力される毎に設定される。図４には、画像の入力順と符号化順が等しく、全ての画像が参照画となりうる画像シーケンス構成で、Ｎ＝３の場合の例を示した。同図では、Ｐ０〜Ｐ８までのサブ画像に含まれる関心領域画像Ａ〜Ｃをそれぞれ符号化した関心領域画像領域の列５０Ａ〜５０Ｃを示した。また、同図における矢印は参照関係を示している。同図に示す例の場合、Ｐ０、Ｐ３、Ｐ６の符号化された関心領域画像Ａ〜Ｃの集合画像を暗号化する。すなわち、入力画像が３回入力される毎に関心領域画像Ａ〜Ｃの集合画像を暗号化する。
また、関心領域画像符号化部３６は、前回の暗号化対象画像において複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択する。例えば図４に示すように、Ｐ０で関心領域画像Ａが選択関心領域画像５２Ａとして選択され、イントラ符号化された場合、次の暗号化対象画像であるＰ３では、関心領域画像Ｂが選択関心領域画像５２Ｂとして選択される。そして、次の暗号化対象画像であるＰ６では、関心領域画像Ｃが選択関心領域画像５２Ｃとして選択される。このように、暗号化対象画像が設定される毎に、前回の暗号化対象画像の選択関心領域画像と異なる関心領域画像が選択される。
また、関心領域画像符号化部３６は、選択関心領域画像以外の非選択関心領域画像を第１の符号化方法と異なる第２の符号化方法で符号化する。第２の符号化方法は、例えば直前の非暗号化対象画像として符号化されたフレーム画像を参照画像（所謂Ｐピクチャ）として非選択関心領域画像をインター符号化する方法である。ここで、インター符号化とは、過去のフレーム画像を参照画像としてフレーム間予測して予測画像を生成し、入力画像と予測画像との差分を符号化する方法である。従って、復号（伸張）する際には、過去のフレーム画像を参照画像として復号する。
例えば図４に示すように、Ｐ３の非選択関心領域画像５４Ａである関心領域画像Ａは、矢印Ａ１で示すように、Ｐ３の直前の非暗号化対象画像であるＰ２で符号化された関心領域画像Ａを参照画像としてインター符号化する。同様に、Ｐ３における非選択関心領域画像５４Ｃである関心領域画像Ｃは、矢印Ｃ１で示すように、Ｐ３の直前の非暗号化対象画像であるＰ２で符号化された関心領域画像Ｃを参照画像としてインター符号化する。
また、関心領域画像符号化部３６は、非暗号化対象画像として生成されたサブ画像に含まれる複数の関心領域画像については、第３の符号化方法で符号化する。第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像のうち選択関心領域画像に対応する関心領域画像は、暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像であるＰ４の関心領域画像Ｂは、矢印Ｂ１で示すように、暗号化対象画像であるＰ３の選択関心領域画像５２Ｂを参照画像としてインター符号化する。
また、第３の符号化方法では、非選択関心領域画像に対応する関心領域画像については、暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像のＰ４の関心領域画像Ａは、矢印Ａ２で示すように、暗号化対象画像であるＰ３の非選択関心領域画像５４Ａを参照画像とするのではなく、Ｐ３の前のＰ２の関心領域画像Ａを参照画像としてインター符号化する。なお、Ｐ４の関心領域画像Ｃについても同様に、矢印Ｃ２で示すように、Ｐ３よりも前のＰ２の関心領域画像Ｃを参照画像としてインター符号化する。
また、第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、暗号化対象画像であるＰ３の次の非暗号化対象画像であるＰ４の後の非暗号化対象画像であるＰ５の関心領域画像Ａは、矢印Ａ３で示すように、Ｐ５の直前のＰ４の関心領域画像Ａを参照画像としてインター符号化する。なお、関心領域画像Ｂ、Ｃについても同様である。
暗号化部３８は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、選択関心領域画像に対応する暗号鍵で暗号化する。例えば、図４に示すように、選択関心領域画像として関心領域画像Ａが選択されたＰ０の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ａに対応する暗号鍵ＫｅｙＡで暗号化する。同様に、選択関心領域画像として関心領域画像Ｂが選択されたＰ３の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｂに対応する暗号鍵ＫｅｙＢで暗号化する。同様に、選択関心領域画像として関心領域画像Ｃが選択されたＰ６の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｃに対応する暗号鍵ＫｅｙＣで暗号化する。
多重化部４０は、入力画像符号化部３２によりメイン画像が符号化されたメイン画像符号化データと、関心領域画像符号化部３６によりサブ画像が符号化されたサブ画像符号化データと、を多重化し、動画像符号化データとして記憶装置１６に記憶する。なお、多重化する際、各暗号鍵も多重化される。
動画像復号化装置１８は、分離部６０、入力画像伸張部６２、画像処理部６４、復号化部６６、関心領域画像伸張部６８、関心領域画像切出部７０、及び合成部７２を備えている。
分離部６０は、動画像の復号が指示されると、記憶装置１６に記憶された動画像符号化データを読み出し、読み出した動画像符号化データをメイン画像符号化データとサブ画像符号化データと、に分離する。
入力画像伸張部６２は、メイン画像符号化データを復号（伸張）する。
画像処理部６４は、入力画像伸張部６２によって伸張されたメイン画像に予め定めた画像処理を施す。予め定めた画像処理は、動画像符号化装置１４の画像処理部３０で行われた画像処理と対応する画像処理である。本実施形態では、動画像符号化装置１４の画像処理部３０において、入力画像を縮小する縮小処理を行ってメイン画像を生成しているので、入力画像伸張部６２では、メイン画像を拡大する拡大処理、すなわち、メイン画像のサイズを元のサイズに戻す処理を行う。なお、動画像符号化装置１４の画像処理部３０で入力画像をモザイク化する処理が行われた場合には、画像処理部６４は、伸張した画像をそのまま出力する。
復号化部６６は、復号を指示された関心領域画像に対応した復号鍵により、暗号化対象画像として符号化された選択関心領域画像のフレーム画像を復号する。
関心領域画像伸張部６８は、複数の関心領域画像のうち特定の関心領域画像の復号（伸張）がユーザーにより指示された場合に、サブ画像符号化データで表される複数の関心領域画像のうち、復号を指示された関心領域画像を伸張する。
関心領域画像切出部７０は、サブ画像から復号を指示された関心領域画像のフレーム画像を切り出して合成部７２に出力する。
合成部７２は、関心領域画像切出部７０により切り出された関心領域画像を、画像処理部６４によって元に戻された入力画像に合成して、表示装置２０に出力する。
動画像符号化装置１４は、例えば図５に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８２、メモリ８４、不揮発性の記憶部８６を備え、これらはバス８８を介して互いに接続されている。
また、記憶部８６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部８６には、コンピュータ８０を動画像符号化装置１４として機能させるための動画像符号化プログラム９０が記憶されている。ＣＰＵ８２は、動画像符号化プログラム９０を記憶部８６から読み出してメモリ８４に展開し、動画像符号化プログラム９０が有するプロセスを順次実行する。
動画像符号化プログラム９０は、画像処理プロセス９２、入力画像符号化プロセス９４、関心領域画像抽出プロセス９６、関心領域画像符号化プロセス９８、暗号化プロセス１００、及び多重化プロセス１０２を有する。
ＣＰＵ８２は、画像処理プロセス９２を実行することで、図１に示す画像処理部３０として動作する。また、ＣＰＵ８２は、入力画像符号化プロセス９４を実行することで、図１に示す入力画像符号化部３２として動作する。また、ＣＰＵ８２は、関心領域画像抽出プロセス９６を実行することで、図１に示す関心領域画像抽出部３４として動作する。またＣＰＵ８２は、関心領域画像符号化プロセス９８を実行することで、図１に示す関心領域画像符号化部３６として動作する。またＣＰＵ８２は、暗号化プロセス１００を実行することで、図１に示す暗号化部３８として動作する。またＣＰＵ８２は、多重化プロセス１０２を実行することで、図１に示す多重化部４０として動作する。
これにより、動画像符号化プログラム９０を実行したコンピュータ８０が、動画像符号化装置１４として機能することになる。なお、動画像符号化プログラム９０は開示の技術における動画像符号化プログラムの一例である。
なお、動画像符号化装置１４は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
動画像復号化装置１８は、例えば図６に示すコンピュータ１１０で実現することができる。コンピュータ１１０はＣＰＵ１１２、メモリ１１４、不揮発性の記憶部１１６を備え、これらはバス１１８を介して互いに接続されている。
また、記憶部１１６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部１１６には、コンピュータ１１０を動画像復号化装置１８として機能させるための動画像復号化プログラム１２０が記憶されている。ＣＰＵ１１２は、動画像復号化プログラム１２０を記憶部１１６から読み出してメモリ１１４に展開し、動画像復号化プログラム１２０が有するプロセスを順次実行する。
動画像復号化プログラム１２０は、分離プロセス１２２、入力画像伸張プロセス１２４、画像処理プロセス１２６、復号化プロセス１２８、関心領域画像伸張プロセス１３０、関心領域画像切出プロセス１３２、及び合成プロセス１３４を有する。
ＣＰＵ１１２は、分離プロセス１２２を実行することで、図１に示す分離部６０として動作する。また、ＣＰＵ１１２は、入力画像伸張プロセス１２４を実行することで、図１に示す入力画像伸張部６２として動作する。また、ＣＰＵ１１２は、画像処理プロセス１２６を実行することで、図１に示す画像処理部６４として動作する。またＣＰＵ１１２は、復号化プロセス１２８を実行することで、図１に示す復号化部６６として動作する。またＣＰＵ１１２は、関心領域画像伸張プロセス１３０を実行することで、図１に示す関心領域画像伸張部６８として動作する。またＣＰＵ１１２は、関心領域画像切出プロセス１３２を実行することで、図１に示す関心領域画像切出部７０として動作する。またＣＰＵ１１２は、合成プロセス１３４を実行することで、図１に示す合成部７２として動作する。
これにより、動画像復号化プログラム１２０を実行したコンピュータ１１０が、動画像復号化装置１８として機能することになる。なお、動画像復号化プログラム１２０は開示の技術における動画像復号化プログラムの一例である。
なお、動画像復号化装置１８は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
次に本実施形態の作用を説明する。まず、動画像符号化装置１４により実行される動画像符号化処理について図７に示すフローチャートを参照して説明する。なお、図３に示す動画像符号化処理は、撮影装置１２により動画像の撮影が開始されると実行される。撮影装置１２により動画像の撮影が開始されると、撮影装置１２により撮影された画像が予め定めたフレームレートで動画像符号化装置１４に順次入力される。
動画像符号化処理のステップ２００において、画像処理部３０が、撮影装置１２から入力された入力画像に対して予め定めた画像処理を施す。画像処理部３０は、図２に示すように、撮影装置１２から入力された入力画像４２を縮小した縮小画像４４を生成する処理を実行する。
ステップ２０２では、入力画像符号化部３２が、ステップ２０４で画像処理を施したメイン画像をフレーム間予測を用いた符号化方法、例えばＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ勧告のＨ．２６４等の符号化方法により符号化する。
ステップ２００、２０２の処理と並行して、ステップ２０４では、関心領域画像抽出部３４が、図２に示すように、入力画像４２から関心領域画像として例えば人物の顔の画像を抽出する。なお、人物の顔の画像の抽出方法としては、特徴抽出処理やパターンマッチング等の公知の手法を用いる。
ステップ２０６では、関心領域画像抽出部３４が、ステップ２０４で抽出した関心領域画像を集合した集合画像を生成する。これにより、図２に示したように、関心領域画像を集合した集合画像４８が生成される。
ステップ２０８では、関心領域画像符号化部３６が、入力画像が暗号化対象であるか否かを判断する。本実施形態では、暗号化対象画像は、入力画像が３回入力される毎に設定される。従って、図４に示す例の場合、Ｐ０、Ｐ３、Ｐ６では、ステップ２０８は肯定判定され、その他ではステップ２０８は否定判定される。
ステップ２１０では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像から、第１の符号化方法で符号化する関心領域画像を選択関心領域画像として選択し、選択した選択関心領域画像を第１の符号化方法で符号化する。第１の符号化方法は、本実施形態では、選択関心領域画像をイントラ符号化する方法である。選択関心領域画像以外の非選択関心領域画像は、第１の符号化方法と異なる第２の符号化方法で符号化する。第２の符号化方法は、本実施形態では直前の非暗号化対象画像として符号化されたフレーム画像を参照画像として非選択関心領域画像をインター符号化する方法である。例えば図４の矢印Ａ１で示すように、Ｐ３における非選択関心領域画像５４Ａである関心領域画像Ａは、Ｐ３の直前の非暗号化対象画像であるＰ２の関心領域画像Ａを参照画像としてインター符号化する。同様に、Ｐ３における非選択関心領域画像５４Ｃである関心領域画像Ｃは、Ｐ３の直前の非暗号化対象画像あるＰ２の関心領域画像Ｃを参照画像としてインター符号化する。
また、関心領域画像符号化部３６は、暗号化対象画像が設定される毎に、前回の暗号化対象画像の選択関心領域画像と異なる関心領域画像を選択する。例えば図４の例では、Ｐ０では関心領域画像Ａを選択関心領域画像５２Ａとして選択する。また、次の暗号化対象画像のＰ３では関心領域画像Ｂを選択関心領域画像５２Ｂとして選択する。また、次の暗号化対象画像のＰ６では関心領域画像Ｃを選択関心領域画像５２Ｃとして選択する。
ステップ２１４では、暗号化部３８が、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、選択関心領域画像に対応する暗号鍵で暗号化する。例えば、図４に示すように、選択関心領域画像５２Ａとして関心領域画像Ａが選択されたＰ０の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ａに対応する暗号鍵ＫｅｙＡで暗号化する。同様に、選択関心領域画像５２Ｂとして関心領域画像Ｂが選択されたＰ３の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｂに対応する暗号鍵ＫｅｙＢで暗号化する。同様に、選択関心領域画像５２Ｃとして関心領域画像Ｃが選択されたＰ６の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｃに対応する暗号鍵ＫｅｙＣで暗号化する。
一方、ステップ２０８で入力画像が暗号化対象でないと判定された場合、すなわち非暗号化対象画像であると判定された場合、ステップ２１６へ移行する。
ステップ２１６では、直前の参照画像が暗号化対象であったか否かを判定し、直前の参照画像が暗号化対象であった場合にはステップ２１８へ移行する。図４の例では、Ｐ１、Ｐ４、Ｐ７の入力画像については、Ｐ１、Ｐ４、Ｐ７の参照画像候補となる、Ｐ１、Ｐ４、Ｐ７の直前のＰ０、Ｐ３、Ｐ６が暗号化対象であることから、ステップ２１６は肯定判定される。一方、Ｐ２、Ｐ５、Ｐ８の入力画像については、Ｐ２、Ｐ５、Ｐ８の参照画像候補となる、Ｐ２、Ｐ５、Ｐ８の直前のＰ１、Ｐ４、Ｐ７は暗号化対象ではないことから、ステップ２１６は否定判定される。
ステップ２１８では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像を第３の符号化方法で符号化する。第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像のうち選択関心領域画像に対応する関心領域画像は、暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像であるＰ４の関心領域画像Ｂは、暗号化対象画像であるＰ３の選択関心領域画像Ｂを参照画像としてインター符号化する。
また、第３の符号化方法では、非選択関心領域画像に対応する関心領域画像については、暗号化対象画像の直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４の矢印Ａ２で示すように、非暗号化対象画像であるＰ４の関心領域画像Ａは、暗号化対象画像であるＰ３の非選択関心領域画像Ａを参照画像とするのではなく、Ｐ３よりも前のＰ２における関心領域画像Ａを参照画像としてインター符号化する。なお、Ｐ４の関心領域画像Ｃについても同様である。
一方、ステップ２１６で否定判定された場合、すなわち、暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像の場合、ステップ２２０へ移行する。
ステップ２２０では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像を、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。
例えば、図４の矢印Ａ３で示すように、非暗号化対象画像であるＰ４より後の非暗号化対象画像であるＰ５の関心領域画像Ａは、Ｐ５の直前の非暗号化対象画像であるＰ４の関心領域画像Ａを参照画像としてインター符号化する。なお、関心領域画像Ｂ、Ｃについても同様である。
例えば、図４の矢印Ａ３で示すように、非暗号化対象画像であるＰ４より後の非暗号化対象画像であるＰ５の関心領域画像Ａは、Ｐ５の直前の非暗号化対象画像であるＰ４の関心領域画像Ａを参照画像としてインター符号化する。なお、関心領域画像Ｂ、Ｃについても同様である。
ステップ２２２では、多重化部４０が、メイン画像が符号化されたメイン画像符号化データと、サブ画像が符号化されたサブ画像符号化データと、を多重化し、動画像符号化データとして記憶装置１６に記憶する。なお、多重化する際、各暗号鍵も多重化される。
以下、具体的な多重化の方法について説明する。本実施形態では、一例としてデジタル放送等において符号化された音声及び映像を多重化して伝送する際の形式の一つであるＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＴＳ）形式で多重化処理を行う場合について説明する。
図８にＴＳ形式のパケットデータのイメージ図を示した。ここでは、同図においては、サブ画像符号化データ用のパケットと、その暗号鍵が含まれるパケットのみを表している。ＴＳパケット１４０は、Ｈｅａｄｅｒ部１４０Ａとｄａｔａ部１４０Ｂから構成されており、このＨｅａｄｅｒ部１４０Ａに含まれる情報を参照することにより、そのパケットが暗号化された状態であるか否かを把握することができる。
ここでは、暗号化に関するパラメータであるtransport_scrambling_controlフィールドの値が「００」の場合は、ｄａｔａ部１４０Ｂが暗号化されておらず、「０１」の場合はＯｄｄ鍵で暗号化、「１０」の場合はＥｖｅｎ鍵で暗号化されていると定義する。ここで、Ｏｄｄ鍵、Ｅｖｅｎ鍵の情報は、鍵が含まれるＴＳパケット（鍵パケット）に含まれている。鍵パケットには必ずＯｄｄ鍵、Ｅｖｅｎ鍵の二つが含まれており、時系列的に何れか一方の鍵のみ変更される。例えば、図８に示すように、Ｐ０の前に設けられた鍵パケット１４２は、Ｏｄｄ鍵は暗号鍵ＫｅｙＡ、Ｅｖｅｎ鍵は暗号鍵ＫｅｙＢと定義されている。また、Ｐ３の前に設けられた鍵パケット１４４は、その前の鍵パケット１４２と比較すると、Ｏｄｄ鍵のみ暗号鍵ＫｅｙＣに変更されている。また、Ｐ６の前に設けられた鍵パケット１４６は、その前の鍵パケット１４４と比較すると、Ｅｖｅｎ鍵のみ暗号鍵ＫｅｙＡに変更されている。
図８の例では、Ｐ０のパケットは暗号鍵ＫｅｙＡで暗号化されているため、Ｏｄｄ鍵を使用するようtransport_scrambling_controlは「０１」で定義されている。Ｐ３のパケットは暗号鍵ＫｅｙＢで暗号化されているため、Ｅｖｅｎ鍵を使用するようtransport_scrambling_controlは「１０」で定義されている。また、Ｐ６のパケットは暗号鍵ＫｅｙＣで暗号化されているため、Ｏｄｄ鍵を使用するようtransport_scrambling_controlは「０１」で定義されている。
また、図８に示すように、暗号鍵ＫｅｙＡ、ＫｅｙＢ、ＫｅｙＣは、各々に対応したより上位の鍵であるワーク鍵Ａ、Ｂ、Ｃで暗号化されている。
従って、マスタ鍵を保有している特定の管理者だけが、暗号化対象のパケットを復号するのに必要な暗号鍵に対応したワーク鍵を復号できる。そして、復号されたワーク鍵を用いて、対応する暗号鍵を復号し、復号された暗号鍵を用いて暗号化されているパケットを復号する。
次に、動画像復号化装置１８により実行される動画像復号化処理について、図９に示すフローチャートを参照して説明する。なお、図９に示す動画像復号化処理は、ユーザーにより動画像の再生が指示されると実行される。ユーザーにより動画像の再生が指示されると、記憶装置１６に記憶された動画像符号化データが読み出されて動画像復号化装置１８に入力される。
動画像復号化処理のステップ３００において、分離部６０が、記憶装置１６に記憶された動画像符号化データをメイン画像符号化データとサブ画像符号化データと、に分離する。
ステップ３０２では、入力画像伸張部６２が、メイン画像符号化データを復号（伸張）する。
ステップ３０４では、画像処理部６４が、入力画像伸張部６２によって伸張された入力画像に予め定めた画像処理を施す。予め定めた画像処理は、動画像符号化装置１４の画像処理部３０で行われた画像処理と対応する画像処理である。本実施形態では、動画像符号化装置１４の画像処理部３０では、入力画像を縮小する縮小処理を行っているので、入力画像伸張部６２では、入力画像を拡大する拡大処理、すなわち、入力画像のサイズを元のサイズに戻す処理を行う。
ステップ３０２、３０４の処理と並行して、ステップ３０６では、復号化部６６が、特定の関心領域画像の復号が指示されたか否かを判断する。管理者は、特定の関心領域画像の復号を行う場合、マスタ鍵を用いて復号された特定の関心領域画像に対応したワーク鍵を動画像復号化装置１８に入力する。そして、ステップ３０６で肯定判定された場合はステップ３０８へ移行し、否定判定された場合はステップ３２０へ移行する。このように、特定の関心領域画像の復号が指示されなかった場合は、サブ画像の復号は行わないため、関心領域画像が高精細で表示されることはなく、プライバシーが保護される。なお、複数の関心領域画像の復号を行う場合は、各々の関心領域画像に対応したワーク鍵を入力すればよい。
ステップ３０８では、復号化部６６が、復号を指示された関心領域画像に対応した暗号鍵を取得する。具体的には、入力されたワーク鍵を用いて、鍵パケットに含まれた復号を指示された関心領域画像に対応する暗号鍵を復号する。例えば、復号を指示された関心領域画像が関心領域画像Ａである場合には、これに対応したワーク鍵Ａを用いて暗号鍵ＫｅｙＡを復号する。
ステップ３１０では、復号化部６６が、入力されたフレーム画像が暗号化されているフレーム画像であるか否かを判断する。そして、暗号化されているフレーム画像である場合にはステップ３１２へ移行し、暗号化されていないフレーム画像である場合はステップ３１６へ移行する。
例えば、図１０に示すように、Ｐ０、Ｐ３、Ｐ６のサブ画像は、それぞれ暗号鍵ＫｅｙＡ、ＫｅｙＢ、ＫｅｙＣで暗号化されているため、ステップ３１０は肯定判定され、その他のサブ画像は暗号化されていないため、ステップ３１０は否定判定される。
ステップ３１２では、復号化部６６が、入力されたフレーム画像が、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像であるか否かを判断する。そして、入力されたフレーム画像が、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像である場合にはステップ３１４へ移行し、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像でない場合にはステップ３２０へ移行する。
例えば、関心領域画像Ｂに対応したワーク鍵が入力され、ステップ３０８で暗号鍵ＫｅｙＢを取得した場合、図１０に示すように、Ｐ０、Ｐ６のサブ画像は暗号鍵ＫｅｙＡ、ＫｅｙＣで各々暗号化されているため、ステップ３１２は否定判定される。一方、Ｐ３のサブ画像は暗号鍵ＫｅｙＢで暗号化されているため、ステップ３１２は肯定判定される。
ステップ３１４では、復号を指示された特定の関心領域画像に対応する暗号鍵で入力されたフレーム画像の暗号化された符号化データの復号を行う。図１０に示すように、関心領域画像Ｂの復号が指示された場合、Ｐ３のサブ画像の暗号化された符号化データが、暗号鍵ＫｅｙＢによって復号される。
ステップ３１６では、関心領域画像伸張部６８が、入力されたフレーム画像を伸張する。図１０に示すように、関心領域画像Ｂの復号が指示された場合には、Ｐ３のサブ画像が、暗号鍵ＫｅｙＢによって復号されており、またＰ３の関心領域画像Ｂはイントラ符号化されているため、関心領域画像Ｂは正常に伸張される。
一方、復号が指示されていない関心領域画像Ａ、Ｃについては、Ｐ０，Ｐ６の暗号化されたサブ画像が復号されないため、正常に伸張されないが、復号が指示されていない関心領域画像であるため、特に問題はない。
ステップ３１８では、関心領域画像切出部７０が、復号されたフレーム画像から、復号を指示された関心領域画像のフレーム画像を切り出して合成部７２に出力する。図１０に示すように関心領域画像Ｂの復号が指示された場合には、関心領域画像Ｂのみがサブ画像から切り出されて合成部７２に出力される。
ステップ３２０では、合成部７２が、関心領域画像切出部７０により切り出された関心領域画像を、入力画像伸張部６２により伸張されたメイン画像に合成して、表示装置２０に出力する。これにより、表示装置２０に動画像が表示される。なお、ステップ３２０では、ステップ３０６、３１２で否定判定された場合は、合成処理は実行せず、メイン画像がそのまま出力される。これにより、関心領域画像が高精細で表示されることはなく、プライバシーが保護される。
このように、本実施形態では、暗号化対象画像におけるサブ画像に含まれる複数の関心領域画像のうち何れかの選択関心領域画像をイントラ符号化し、その他をインター符号化する。そして、暗号化対象画像が設定される毎に選択関心領域画像を異ならせて選択関心領域画像に対応する暗号鍵で暗号化する。このため、復号する際には特定の関心領域画像のみ正常に復号されるため、特定の関心領域画像のみ高解像度化した画像を得ることができる。従って、監視カメラ等に開示の技術を適用した場合、平常時はプライバシー保護に留意した低解像度の画像又は人物の顔のみモザイク化した画像を表示し、犯罪等が発生した場合のみ、犯人の顔等を精細な画像で復号して表示することが可能となる。
なお、本実施形態では、第２の符号化方法として、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像として非選択関心領域画像をインター符号化する場合について説明したが、これに限られない。例えば、第２の符号化方法として、非選択関心領域画像をダミー画像に置き換えてイントラ符号化するようにしてもよい。この場合、図７のステップ２１０において、非選択関心領域画像をダミー画像に置き換え、ダミー画像のみを用いてイントラ符号化すればよい。
また、本実施形態では、暗号化対象画像におけるサブ画像に含まれる複数の関心領域画像のうち何れかの選択関心領域画像をイントラ符号化し、その他をインター符号化する場合について説明したが、これに限られない。
例えば、ＩＴＵ−Ｔ勧告のＨ．２６４において規格化されているマルチビュー符号化（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ：ＭＶＣ）を適用してもよい。ＭＶＣでは、複数の始点（マルチビュー）で撮影された映像を、ベースビュー（Ｂａｓｅ Ｖｉｅｗ）と、非ベースビュー（Ｎｏｎ Ｂａｓｅ Ｖｉｅｗ）として符号化する。ベースビューは非ベースビューから参照される元の画像であり、非ベースビューは、ベースビューの画像を参照画像としてビュー間予測（ｉｎｔｅｒ ｖｉｅｗ ｐｒｅｄｉｔｉｏｎ）により符号化される画像である。
従って、例えば図１１に示すように、メイン画像をベースビュー、サブ画像を非ベースビューとする。そして、図７のステップ２１０において、暗号化対象画像であるＰ０では、選択関心領域画像５２Ａは、対応するベースビューの関心領域画像Ａを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ｂ、Ｃについては、図７のステップ２１０において、過去のサブ画像の関心領域画像Ｂ，Ｃを参照画像としてインター符号化する。そして、Ｐ０のサブ画像は、暗号鍵ＫｅｙＡにより暗号化する。同様に、暗号化対象画像であるＰ３では、選択関心領域画像５２Ｂは、対応するベースビューの関心領域画像Ｂを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ａ、Ｃについては過去のサブ画像の関心領域画像Ａ，Ｃを参照画像としてインター符号化する。そして、Ｐ３のサブ画像は、暗号鍵ＫｅｙＢにより暗号化する。また、暗号化対象画像であるＰ６では、選択関心領域画像５２Ｃは、対応するベースビューの関心領域画像Ｃを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ａ、Ｂについては過去のサブ画像の関心領域画像Ａ，Ｃを参照画像としてインター符号化する。そして、Ｐ６のサブ画像は、暗号鍵ＫｅｙＣにより暗号化する。
このように、選択関心領域画像についてもベースビューの対応する関心領域画像を参照画像としてインター符号化するので、選択関心領域画像をイントラ符号化する場合と比較してサブ画像のデータ量を削減することが可能となる。
なお、本実施形態では、動画像符号化装置１４及び動画像復号化装置１８を含む動画像処理装置１０について説明したが、動画像符号化装置１４及び動画像復号化装置１８が別々の装置に搭載されていてもよい。
また、上記では開示の技術に係る動画像符号化プログラムの一例である動画像符号化プログラム９０が記憶部８６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る動画像符号化プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。また、動画像復号化プログラムについても動画像符号化プログラムと同様に、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、
を含む動画像符号化装置。
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、
を含む動画像符号化装置。
（付記２）
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記１記載の動画像符号化装置。
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記１記載の動画像符号化装置。
（付記３）
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
（付記４）
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
（付記５）
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備えた付記１〜付記４の何れか１項に記載の動画像符号化装置。
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備えた付記１〜付記４の何れか１項に記載の動画像符号化装置。
（付記６）
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備え、
前記関心領域画像符号化部は、前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記１記載の動画像符号化装置。
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備え、
前記関心領域画像符号化部は、前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記１記載の動画像符号化装置。
（付記７）
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記５又は付記６記載の動画像符号化装置。
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記５又は付記６記載の動画像符号化装置。
（付記８）
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む動画像符号化方法。
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む動画像符号化方法。
（付記９）
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記８記載の動画像符号化方法。
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記８記載の動画像符号化方法。
（付記１０）
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
（付記１１）
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
（付記１２）
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化する
を備えた付記９〜付記１１の何れか１項に記載の動画像符号化方法。
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化する
を備えた付記９〜付記１１の何れか１項に記載の動画像符号化方法。
（付記１３）
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化し、
前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記８記載の動画像符号化方法。
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化し、
前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記８記載の動画像符号化方法。
（付記１４）
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記１２又は付記１３記載の動画像符号化方法。
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記１２又は付記１３記載の動画像符号化方法。
（付記１５）
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む処理を実行させるための動画像符号化プログラム。
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む処理を実行させるための動画像符号化プログラム。
（付記１６）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、
前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、
を備えた動画像復号化装置。
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、
前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、
を備えた動画像復号化装置。
（付記１７）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む動画像復号化方法。
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む動画像復号化方法。
（付記１８）
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像のフレーム画像を伸張し、
前記復号を指示された関心領域画像に対応した復号鍵により、前記暗号化対象画像として符号化された前記選択関心領域画像のフレーム画像を復号する
ことを含む処理を実行させるための動画像復号化プログラム。
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像のフレーム画像を伸張し、
前記復号を指示された関心領域画像に対応した復号鍵により、前記暗号化対象画像として符号化された前記選択関心領域画像のフレーム画像を復号する
ことを含む処理を実行させるための動画像復号化プログラム。
（付記１９）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置と、
前記動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、を備えた動画像復号化装置と、
を備えた動画像処理装置。
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置と、
前記動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、を備えた動画像復号化装置と、
を備えた動画像処理装置。
１０ 動画像処理装置
１２ 撮影装置
１４ 動画像符号化装置
１６ 記憶装置
１８ 動画像復号化装置
２０ 表示装置
３０ 画像処理部
３２ 入力画像符号化部
３４ 関心領域画像抽出部
３６ 関心領域画像符号化部
３８ 暗号化部
４０ 多重化部
６０ 分離部
６２ 入力画像伸張部
６４ 画像処理部
６６ 復号化部
６８ 関心領域画像伸張部
７０ 関心領域画像切出部
７２ 合成部
８０、１１０ コンピュータ
９０ 動画像符号化プログラム
１２０ 動画像復号化プログラム
１２ 撮影装置
１４ 動画像符号化装置
１６ 記憶装置
１８ 動画像復号化装置
２０ 表示装置
３０ 画像処理部
３２ 入力画像符号化部
３４ 関心領域画像抽出部
３６ 関心領域画像符号化部
３８ 暗号化部
４０ 多重化部
６０ 分離部
６２ 入力画像伸張部
６４ 画像処理部
６６ 復号化部
６８ 関心領域画像伸張部
７０ 関心領域画像切出部
７２ 合成部
８０、１１０ コンピュータ
９０ 動画像符号化プログラム
１２０ 動画像復号化プログラム
Claims (13)
- 順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、
を含む動画像符号化装置。 - 前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
請求項１記載の動画像符号化装置。 - 前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項２記載の動画像符号化装置。 - 前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項２記載の動画像符号化装置。 - 前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備えた請求項１〜請求項４の何れか１項に記載の動画像符号化装置。 - 前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備え、
前記関心領域画像符号化部は、前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項１記載の動画像符号化装置。 - 前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
請求項５又は請求項６記載の動画像符号化装置。 - 順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む動画像符号化方法。 - コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む処理を実行させるための動画像符号化プログラム。 - 順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、
前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、
を備えた動画像復号化装置。 - 順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む動画像復号化方法。 - コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む処理を実行させるための動画像復号化プログラム。 - 順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置と、
前記動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、を備えた動画像復号化装置と、
を備えた動画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012203146A JP5958219B2 (ja) | 2012-09-14 | 2012-09-14 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012203146A JP5958219B2 (ja) | 2012-09-14 | 2012-09-14 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014060512A true JP2014060512A (ja) | 2014-04-03 |
| JP5958219B2 JP5958219B2 (ja) | 2016-07-27 |
Family
ID=50616626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012203146A Expired - Fee Related JP5958219B2 (ja) | 2012-09-14 | 2012-09-14 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5958219B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106850515A (zh) * | 2015-12-07 | 2017-06-13 | 中国移动通信集团公司 | 一种数据处理方法及视频采集装置、解码装置 |
| WO2018024972A1 (fr) | 2016-08-05 | 2018-02-08 | Viaccess | Procédé de lecture et de génération d'un flux vidéo contenant des images compressées et chiffrées |
| CN109495670A (zh) * | 2018-10-24 | 2019-03-19 | 中山大学 | 一种彩色jpeg图像的格式兼容加解密方法 |
| JP2020504959A (ja) * | 2016-12-29 | 2020-02-13 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたｖｒ、低遅延、無線ｈｍｄビデオストリーミングのためのフォービエイテッドビデオリンク |
| JP2022169345A (ja) * | 2021-04-27 | 2022-11-09 | 高千穂交易株式会社 | 情報処理システム、情報処理装置、情報処理装置の制御方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001211164A (ja) * | 2000-01-27 | 2001-08-03 | Victor Co Of Japan Ltd | 画像符号化方式 |
| JP2003069556A (ja) * | 2001-08-28 | 2003-03-07 | Nippon Telegr & Teleph Corp <Ntt> | Ｍｐｅｇ２データの暗号化方法および配信方法並びに記録媒体 |
| JP2005229188A (ja) * | 2004-02-10 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 映像通信装置および映像通信方法 |
| JP2006319775A (ja) * | 2005-05-13 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 映像配信システム |
| JP2012105031A (ja) * | 2010-11-10 | 2012-05-31 | Fujifilm Corp | 画像圧縮装置、画像伸長装置、方法、及びプログラム |
-
2012
- 2012-09-14 JP JP2012203146A patent/JP5958219B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001211164A (ja) * | 2000-01-27 | 2001-08-03 | Victor Co Of Japan Ltd | 画像符号化方式 |
| JP2003069556A (ja) * | 2001-08-28 | 2003-03-07 | Nippon Telegr & Teleph Corp <Ntt> | Ｍｐｅｇ２データの暗号化方法および配信方法並びに記録媒体 |
| JP2005229188A (ja) * | 2004-02-10 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 映像通信装置および映像通信方法 |
| JP2006319775A (ja) * | 2005-05-13 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 映像配信システム |
| JP2012105031A (ja) * | 2010-11-10 | 2012-05-31 | Fujifilm Corp | 画像圧縮装置、画像伸長装置、方法、及びプログラム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106850515A (zh) * | 2015-12-07 | 2017-06-13 | 中国移动通信集团公司 | 一种数据处理方法及视频采集装置、解码装置 |
| WO2018024972A1 (fr) | 2016-08-05 | 2018-02-08 | Viaccess | Procédé de lecture et de génération d'un flux vidéo contenant des images compressées et chiffrées |
| FR3054945A1 (fr) * | 2016-08-05 | 2018-02-09 | Viaccess | Procede de lecture et de generation d'un flux video contenant des images compressees et chiffrees |
| US11202111B2 (en) | 2016-08-05 | 2021-12-14 | Viaccess | Method of reading and generating a video stream containing compressed and encrypted images |
| US11546610B2 (en) | 2016-12-29 | 2023-01-03 | Sony Interactive Entertainment Inc. | Foveated video link for VR with gaze tracking |
| JP2020504959A (ja) * | 2016-12-29 | 2020-02-13 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたｖｒ、低遅延、無線ｈｍｄビデオストリーミングのためのフォービエイテッドビデオリンク |
| JP7244584B2 (ja) | 2016-12-29 | 2023-03-22 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたｖｒのためのフォービエイテッドビデオリンク |
| US11025918B2 (en) | 2016-12-29 | 2021-06-01 | Sony Interactive Entertainment Inc. | Foveated video link for VR, low latency wireless HMD video streaming with gaze tracking |
| JP2021192508A (ja) * | 2016-12-29 | 2021-12-16 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたｖｒ、低遅延、無線ｈｍｄビデオストリーミングのためのフォービエイテッドビデオリンク |
| CN109495670A (zh) * | 2018-10-24 | 2019-03-19 | 中山大学 | 一种彩色jpeg图像的格式兼容加解密方法 |
| CN109495670B (zh) * | 2018-10-24 | 2020-10-23 | 中山大学 | 一种彩色jpeg图像的格式兼容加解密方法 |
| JP7186823B2 (ja) | 2021-04-27 | 2022-12-09 | 高千穂交易株式会社 | 情報処理システム、情報処理装置、情報処理装置の制御方法及びプログラム |
| JP2022169345A (ja) * | 2021-04-27 | 2022-11-09 | 高千穂交易株式会社 | 情報処理システム、情報処理装置、情報処理装置の制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5958219B2 (ja) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5958219B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 | |
| CN111355964B (zh) | 对图像帧序列进行编码的方法、设备、相机和介质 | |
| KR101460552B1 (ko) | 프라이버시 영역의 마스킹 및 복원 방법 | |
| JP4825449B2 (ja) | 映像配信システム | |
| US20140307090A1 (en) | Communication system, communication apparatus and communication method | |
| JP3840026B2 (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| US8971532B1 (en) | System and methods for protecting video content | |
| JP4630073B2 (ja) | コンテンツ暗号化装置及びそのプログラム | |
| KR101707663B1 (ko) | Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법 | |
| JP2012114654A (ja) | 監視カメラおよび蓄積装置、並びに監視画像改ざん検出方法 | |
| JP2010068421A (ja) | 電子透かし装置及び電子透かし方法 | |
| TWI586176B (zh) | 基於壓縮視訊之縮時概要產出系統與方法 | |
| CN116437019A (zh) | 一种全0行和全0列编码的密文域可逆信息隐藏方法 | |
| JP2010147749A (ja) | 動画配信モジュール、動画受信モジュールおよび動画伝送システム | |
| JP2007300478A (ja) | 情報処理装置および方法、並びにプログラム | |
| KR20180102455A (ko) | 고효율비디오코딩 파일 영상내 개인정보 보호 방법 | |
| WO2020223858A1 (zh) | 发送端和接收端的隐私保护方法、电子设备、以及计算机可读存储介质 | |
| JP5621014B2 (ja) | 映像再生装置、映像処理装置および映像再生方法、映像処理方法ならびに映像再生プログラム、映像処理プログラム | |
| CN110544199A (zh) | 一种图像处理方法、装置、存储介质和电子设备 | |
| JP5497974B2 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
| US20120013756A1 (en) | Image capture apparatus, computer-readable recording medium, and control method | |
| JP2004007100A (ja) | 画像処理装置 | |
| JP4241898B2 (ja) | 情報処理システムおよび情報処理方法 | |
| JP5610981B2 (ja) | 画像暗号化装置及び画像復号装置及び画像暗号化方法及び画像復号方法及び画像暗号化プログラム及び画像復号プログラム | |
| JP2006013776A (ja) | 画像記録装置、デジタルカメラ及び画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5958219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |