JP2012124724A - 撮像装置および画像データの送受信方法 - Google Patents

Abstract

【課題】画像データの送信に際して、安全性を大幅に高めることができ、汎用性を向上できる撮像装置を提供する。
【解決手段】画像送信モード、画像受信モードを選択的に実行可能な撮像装置であって、撮像部、表示部、画像分割部、無線送信部、無線受信部、復元部、画像合成部を有し、画像送信モードでは、画像分割部により送信元画像データを第一の部分データと残りの第二の部分データとに分割して、第一の部分データに基づく画像を前記表示部に表示するとともに、第二の部分データを無線送信部により無線送信し、画像受信モードでは、撮像部により撮像された画像に基づいて復元部により画像データを復元し、該復元された画像データと無線受信部で受信された画像データとを画像合成部で合成して送信元画像データを生成する。
【選択図】図１

Description

本発明は、画像送信モードまたは画像受信モードを選択的に実行可能な撮像装置、および撮像装置等の画像処理装置間で画像データを送受信する画像データの送受信方法に関するものである。

近年、デジタルカメラは、進歩が目覚しく、撮影した画像をデジタル情報としてカメラ内のメモリに記憶する他、記憶したデジタル情報を、カメラに付属する通信機能を用いて他のデジタル機器、例えばパーソナルコンピュータ、プリンタ、テレビジョン、あるいはインターネットを介して画像サーバやプリントサービスステーション等に送信できるようになっている。

また、デジタルカメラあるいはデジタルカメラ機能を有する携帯電話や情報端末の普及率も向上しており、今日では、多くの人が通信機能を有するデジタルカメラを携帯している状況にある。

こうした日常の中で、自分のカメラに、他のカメラで撮影された画像を簡単に取込みたいというニーズが増えている。例えば、友人との旅行やパーティ等で、他の人が撮影した画像を自分のカメラに取込みたいというニーズがある、この場合、旅行先で友人が撮影した美しい景色や相手のカメラで撮影してもらった自分の写真、あるいは自分のカメラより高性能のカメラで撮影された写真を送信してもらう１対１の画像交換、写真教室で先生が撮影したお手本の写真を複数Ｎの生徒に配信するような１対Ｎの画像送信、複数Ｎの人が撮影した画像を一箇所に集めてスクリーンに投影して楽しむようなＮ対１の画像送信、パーティや団体旅行等で各自が撮影した写真をその場で交換するようなＮ対Ｎの画像交換、等が想定される。

一方、従来からカメラの通信機能や表示および撮像機能を利用して画像の転送や交換を行う種々の撮像装置が提案されている。例えば、受信側の撮像装置に表示された認証情報を送信側の撮像装置で直接撮像し、その認証情報を用いて送信側の撮像装置から受信側の撮像装置に対して画像を加工して無線送信することにより、撮像装置間で安全かつ容易に画像の交換を可能にした撮像装置が知られている（例えば、特許文献１参照）。また、撮像装置間の無線通信において、無線による通信距離を敢えて短くすることにより、データ漏洩の危険性を低くした、トランスファージェットと称される近距離無線転送技術も知られている。

特開２００８−２６９４８６号公報

しかしながら、本発明者が鋭意検討したところ、従来提案されている上述した技術には、更に改良すべき点があることが判明した。すなわち、特許文献１に開示の技術では、送信すべき画像情報が受信側の撮像装置の認証情報に基づいて加工されて無線により送信される。そのため、送信情報が傍受されて復元される危険性が排除できない。また、トランスファージェットのような近距離無線転送技術では、送信情報の安全性は高められるものの、通信距離が短いために通信相手が限定される。そのため、用途が限られて、汎用性が低下することになる。

したがって、かかる点に鑑みてなされた本発明の目的は、画像データの送信に際して、安全性を大幅に高めることができ、汎用性を向上できる撮像装置および画像データの送受信方法を提供することにある。

上記目的を達成する第一の観点に係る撮像装置の発明は、
画像送信モードまたは画像受信モードを選択的に実行可能な撮像装置であって、
画像を撮像する撮像部と、画像を表示する表示部と、送信元画像データを分割する画像分割部と、画像データを無線送信する無線送信部と、無線送信された画像データを受信する無線受信部と、画像データを復元する復元部と、送信元画像データを生成する画像合成部と、を有し、
前記画像送信モードでは、
前記画像分割部により送信元画像データを第一の部分データと残りの第二の部分データとに分割して、前記第一の部分データに基づく画像を前記表示部に表示するとともに、前記第二の部分データを前記無線送信部により無線送信し、
前記画像受信モードでは、
前記撮像部により撮像された画像に基づいて前記復元部により画像データを復元し、該復元された画像データと前記無線受信部で受信された画像データとを前記画像合成部で合成して送信元画像データを生成する、
ことを特徴とするものである。

第二の観点に係る発明は、第一の観点に係る撮像装置において、
前記画像分割部は、
前記送信元画像データを異なる色成分の前記第一の部分データと前記第二の部分データとに分割する、
ことを特徴とするものである。

第三の観点に係る発明は、第一の観点に係る撮像装置において、
前記画像分割部は、
前記送信元画像データを周波数成分の異なる前記第一の部分データと前記第二の部分データとに分割する、
ことを特徴とするものである。

第四の観点に係る発明は、第一の観点に係る撮像装置において、
前記画像分割部は、
前記送信元画像データを、当該送信元画像データ内の位置情報に基づいて前記第一の部分データと前記第二の部分データとに分割する、
ことを特徴とするものである。

第五の観点に係る発明は、第四の観点に係る撮像装置において、
前記送信元画像データ内の位置情報は、
当該送信元画像データ内の特定被写体を含む領域の位置情報である、
ことを特徴とするものである。

第六の観点に係る発明は、第四の観点に係る撮像装置において、
前記送信元画像データ内の位置情報は、
当該送信元画像データ内の時間方向における位置情報である、
ことを特徴とするものである。

第七の観点に係る発明は、第六の観点に係る撮像装置において、
前記時間方向における位置情報は、
キーフレームであるか否かに基づく位置情報である、
ことを特徴とするものである。

第八の観点に係る発明は、第七の観点に係る撮像装置において、
前記画像分割部は、
前記送信元画像データ内の複数のキーフレームを、特定のキーフレームからなる前記第一の部分データと該特定のキーフレームとの差分からなる前記第二の部分データとに分割する、
ことを特徴とするものである。

上記目的を達成する第九の観点に係る画像データの送受信方法の発明は、
送信側画像処理装置と受信側画像処理装置との間で画像データを送受信するにあたり、
前記送信側画像処理装置は、
送信元画像データを画像分割部により第一の部分データと残りの第二の部分データとに分割するステップと、
前記第一の部分データに基づく画像を表示部に表示するステップと、
前記第二の部分データを無線送信部により無線送信するステップと、を実行し、
前記受信側画像処理装置は、
前記表示部に表示された前記第一の部分データに基づく画像を撮像部により撮像するステップと、
無線送信された前記第二の部分データを無線受信部により受信するステップと、
該撮像した画像に基づいて復元部により前記第一の部分データを復元するステップと、
前記復元部で復元された前記第一の部分データと前記無線受信部で受信された前記第二の部分データとを画像合成部により合成して前記送信元画像データを生成するステップと、を実行する、
ことを特徴とするものである。

本発明によれば、画像データの送信に際して、安全性を大幅に高めることができ、汎用性を向上することができる。

本発明の第一実施の形態に係る撮像装置の全体の要部の構成を示すブロック図である。 図１に示した画像分割部の要部の構成を示すブロック図である。 図１に示した画像合成部の要部の構成を示すブロック図である。 第一実施の形態に係る撮像装置の動作例を説明するための図である。 図２および図３に示した画像分割部および画像合成部の具体的処理を説明するための図である。 画像を８×８画素のブロックに分割した様子と、その一つのブロックの画素の様子とを示す図である。 図６に示したデータをＤＣＴ処理した後、量子化およびハフマン符号化した場合のデータ例を示す図である。 本発明の第二実施の形態に係る撮像装置における画像分割部の要部の構成を示すブロック図である。 本発明の第二実施の形態に係る撮像装置における画像合成部の要部の構成を示すブロック図である。 第二実施の形態における特定被写体の位置情報の一生成態様を説明するための図である。 図８に示した画像分割部の具体的処理を説明するための図である。 図１０に示した特定被写体の位置情報に基づくブロック領域情報の一生成例を示す図である。 本発明の第三実施の形態に係る撮像装置における画像分割部の要部の構成を示すブロック図である。 本発明の第三実施の形態に係る撮像装置における画像合成部の要部の構成を示すブロック図である。 本発明の第三実施の形態に係る撮像装置の動作を説明するための図である。

以下、本発明の実施の形態について、図を参照して説明する。

（第一実施の形態）
図１は、本発明の第一実施の形態に係る撮像装置の全体の要部の構成を示すブロック図である。本実施の形態に係る撮像装置は、画像処理機能を有するもので、バス１００を介して相互の接続された、撮像部１０１、信号処理部１０２、圧縮部１０３、記録部１０４、伸張部１０５、表示部１０６、画像分割部１０７、無線送信部１０８、無線受信部１０９、画像合成部１１０、および制御部１１１を備える。

撮像部１０１は、ＣＭＯＳセンサーやＣＣＤセンサー等の撮像素子によって被写体を撮像してＡ／Ｄ変換されたＲａｗデータを出力する。信号処理部１０２は、撮像部１０１からのＲａｗデータに、デモザイク処理、ノイズ低減処理、エッジ強調処理、色変換処理等を行い、ＲＧＢ画像信号を出力する。圧縮部１０３は、信号処理部１０２からの画像信号のデータ量を圧縮して圧縮画像データ（ＪＰＥＧデータやＭＰＥＧデータ等）を生成する。記録部１０４は、圧縮部１０３からの圧縮画像データを保存する。伸張部１０５は、記録部１０４に保存されている圧縮画像データを伸張して、ＲＧＢ画像信号を生成する。表示部１０６は、例えば液晶ディスプレイを備え、伸張部１０５で伸張されたＲＧＢ画像信号やその他の画像信号を表示する。

本実施の形態に係る撮像装置は、ＪＰＥＧデータを送受信可能する。そのため、画像送信モードにおいては、画像分割部１０７において、記録部１０４に記録されているＪＰＥＧデータを、輝度ＤＣ（直流）成分係数（第一の部分データ）と、残りの輝度ＡＣ（交流）・色差成分係数（第二の部分データ）とに分割する。つまり、送信元画像データであるＪＰＥＧデータを、異なる色成分の第一の部分データと第二の部分データとに分割する。そして、無線送信部１０８により、分割された輝度ＡＣ・色差成分係数を暗号化して、その暗号化されたデータで無線送信波を変調して送信する。また、表示部１０６により、輝度ＤＣ成分係数に基づく画像を表示する。

一方、画像受信モードにおいては、無線受信部１０９において、暗号化された輝度ＡＣ・色差成分係数で変調された無線信号を受信して、輝度ＡＣ・色差成分係数を復号する。また、撮像部１０１により撮像された画像に基づいて、無線受信部１０９で受信された輝度ＡＣ・色差成分係数に対応する輝度ＤＣ成分係数を信号処理部１０２で復元する。したがって、信号処理部１０２は、復元部をも構成している。そして、信号処理部１０２で復元された輝度ＤＣ成分係数と、無線受信部１０９で復号された輝度ＡＣ・色差成分係数とを、画像合成部１１０により合成して、ＪＰＥＧデータを復元する。制御部１１１は、全体の動作を制御する。

図２は、図１に示した画像分割部１０７の要部の構成を示すブロック図である。画像分割部１０７は、輝度抽出部１２１、色差抽出部１２２、ＤＣ抽出部１２３、ＡＣ抽出部１２４、およびＡＣ・色差合成部１２５を備える。画像送信モードにおいて、輝度抽出部１２１および色差抽出部１２２には、記録部１０４から送信元のＪＰＥＧデータがそれぞれ入力される。

輝度抽出部１２１は、ＪＰＥＧデータから輝度成分係数を抽出する。抽出された輝度成分係数は、ＤＣ抽出部１２３およびＡＣ抽出部１２４にそれぞれ入力される。色差抽出部１２２は、ＪＰＥＧデータから色差成分係数を抽出する。抽出された色差成分係数は、ＡＣ・色差合成部１２５に入力される。ＤＣ抽出部１２３は、入力される輝度成分係数から輝度ＤＣ成分係数を抽出する。抽出された輝度ＤＣ成分係数は、信号処理部１０２へ出力される。ＡＣ抽出部１２４は、入力される輝度成分係数から輝度ＡＣ成分係数を抽出する。抽出された輝度ＡＣ成分係数は、ＡＣ・色差合成部１２５に入力される。そして、ＡＣ・色差合成部１２５は、入力される色差成分係数および輝度ＡＣ成分係数を合成して輝度ＡＣ・色差成分係数を生成する。生成された輝度ＡＣ・色差成分係数は、無線送信部１０８へ出力される。

図３は、図１に示した画像合成部１１０の要部の構成を示すブロック図である。画像合成部１１０は、輝度復元部１２６、輝度ＡＣ復元部１２７、色差復元部１２８、およびデータ合成部１２９を備える。画像受信モードにおいて、輝度復元部１２６には、信号処理部１０２から輝度ＤＣ成分係数が入力される。また、輝度ＡＣ復元部１２７および色差復元部１２８には、それぞれ無線受信部１０９で復号された輝度ＡＣ・色差成分係数が入力される。

輝度ＡＣ復元部１２７は、入力される輝度ＡＣ・色差成分係数から輝度ＡＣ成分係数を抽出する。抽出された輝度ＡＣ成分係数は、輝度復元部１２６に入力される。そして、輝度復元部１２６は、入力される輝度ＤＣ成分係数と輝度ＡＣ成分係数とに基づいて輝度成分係数を復元する。復元された輝度成分係数は、データ合成部１２９に入力される。また、色差復元部１２８は、入力される輝度ＡＣ・色差成分係数から色差成分係数を復元する。復元された色差成分係数は、データ合成部１２９に入力される。そして、データ合成部１２９は、入力される輝度成分係数と色差成分係数とを合成して、送信元のＪＰＥＧデータを復元する。復元されたＪＰＥＧデータは、記録部１０４に記録されるとともに、必要に応じて伸張部１０５を経て表示部１０６に入力されて表示される。

以下、本実施の形態に係る撮像装置の動作例について説明する。なお、以下の動作例では、図４に示すように、それぞれ図１に示した構成を有する二つの撮像装置１１，１２間で、一方の撮像装置１１の記録部１０４に記録されているＪＰＥＧデータを、他方の撮像装置１２へ送信するものとする。なお、撮像装置１１の記録部１０４には、撮像部１０１、信号処理部１０２、圧縮部１０３による通常の撮影動作によって、ＪＰＥＧデータが保存されているものとする。

まず、撮像装置１１は、画像送信モードに設定される。そして、送信したい画像が選択されて、当該ＪＰＥＧデータの輝度ＤＣ成分係数に基づく画像が表示部１０６に表示される。また、撮像装置１２は、画像受信モードに設定されて、撮像装置１１の表示部１０６の表示画面を撮影するように保持される。そして、撮像装置１２によって、撮像装置１１の表示部１０６に表示された輝度ＤＣ成分係数に基づく画像の撮影操作が行われると、無線通信によるコマンドによって、撮像装置１１は輝度ＡＣ・色差成分係数の送信を開始し、撮像装置１２は輝度ＡＣ・色差成分係数の受信を開始する。

以下、撮像装置１１による画像送信モードの詳細について説明する。

撮像装置１１が画像送信モードに設定されると、記録部１０４から送信元画像データとなるＪＰＥＧデータが読み出されて、画像分割部１０７において、ＪＰＥＧデータが輝度ＤＣ成分係数と輝度ＡＣ・色差成分係数とに分割される。この画像分割部１０７での具体的処理について、図５に従ってさらに詳細に説明する。

画像分割部１０７に入力されるＪＰＥＧデータは、図５（ａ）に示すように、８×８画素のブロックごとに、輝度Ｙと色差Ｃｂ，ＣｒのＤＣＴ（Discrete Cosine Transfer）係数を並べたもの（Ｙｘ，Ｃｂｘ，Ｃｒｘ：ｘはブロック番号）である。例えば、Ｙ０は、最初のブロックの輝度成分のＤＣＴ係数を表し、Ｃｂ０，Ｃｒ０は、最初のブロックの色差成分のＤＣＴ係数を表す。各ブロックは、図５（ｂ）に示すように、輝度、色差ごとに６４個のＤＣＴ係数（Ｙｘ，ｐ、Ｃｂｘ，ｐ、Ｃｒｘ，ｐ：ｘはブロック番号、ｐはＤＣＴ基底の番号）により構成されている。

図６は、画像を８×８画素のブロックに分割した様子と、その一つのブロックの画素の様子とを示す図である。図６に示す８×８画素のブロックのデータをＤＣＴ処理し、得られた係数を量子化、ハフマン符号化した後、図７に示す順番に並べたものが、図５（ａ），（ｂ）に示したデータとなる。

ＪＰＥＧデータは、輝度抽出部１２１および色差抽出部１２２にそれぞれ入力される。輝度抽出部１２１は、図５（ｃ）に示すように、入力されたＪＰＥＧデータから輝度成分係数Ｙ０，Ｙ１，Ｙ２・・・を抽出して、ＤＣ抽出部１２３およびＡＣ抽出部１２４へそれぞれ出力する。色差抽出部１２２は、図５（ｆ）に示すように、入力されたＪＰＥＧデータから色差成分係数Ｃｂ０，Ｃｂ１，Ｃｂ２・・・、Ｃｒ０，Ｃｒ１，Ｃｒ２・・・を抽出して、ＡＣ・色差合成部１２５へ出力する。

ＤＣ抽出部１２３は、図５（ｄ）に示すように、輝度抽出部１２１から入力された輝度成分係数Ｙ０，Ｙ１，Ｙ２・・・から、各ブロックの輝度ＤＣ成分係数Ｙ０，０、Ｙ１，０、Ｙ２，０・・・を抽出する。抽出された輝度ＤＣ成分係数Ｙ０，０、Ｙ１，０、Ｙ２，０・・・は、図５（ｇ）に示すように結合されて信号処理部１０２へ出力される。また、ＡＣ抽出部１２４は、図５（ｅ）に示すように、輝度抽出部１２１から入力された輝度成分係数Ｙ０，Ｙ１，Ｙ２・・・から、各ブロックの輝度ＡＣ成分係数Ｙ０，１・・・Ｙ０，６３、Ｙ１，１・・・Ｙ１，６３、Ｙ２，１・・・Ｙ２，６３、・・・を抽出して、ＡＣ・色差合成部１２５へ出力する。

そして、ＡＣ・色差合成部１２５は、ＡＣ抽出部１２４から入力される輝度ＡＣ成分係数と色差抽出部１２２から入力される色差成分係数とを合成して、図５（ｈ）に示すように、輝度ＡＣ・色差成分係数を生成する。生成された輝度ＡＣ・色差成分係数は、無線送信部１０８へ出力される。

信号処理部１０２は、画像分割部１０７からの輝度ＤＣ成分係数を、内蔵するコード化手段により、例えば、ドットコード、ＰＤＦ４１７、ＱＲコード等の二次元バーコードにコード化して表示部１０６へ転送する。表示部１０６は、転送されたコードを、コードを表す画像信号に変換して、図４に示すように、表示部１０６に設けられたディスプレイ１３にコード画像１４を表示する。なお、信号処理部１０２による輝度ＤＣ成分係数のコード化は、二次元バーコードに限らず、輝度ＤＣ成分係数を画像として表現できれば、一次元のバーコードや他の公知のコード化手法を用いることができる。

また、無線送信部１０８は、画像分割部１０７からの輝度ＡＣ・色差成分係数を、例えば公知の無線ＬＡＮ規格に則ってアドホックモードで無線送信する。なお、無線送信部１０８および無線受信部１０９で用いられる送受信方法は、無線ＬＡＮに限らず、赤外線通信等の他の公知の手法を用いることができる。

次に、撮像装置１２における画像受信モードの詳細について説明する。

撮像装置１２は、撮像部１０１および信号処理部１０２による通常の撮像動作により、撮像装置１１の表示部１０６に表示されたコード画像１４を撮影した画像信号を取得する。信号処理部１０２は、コード画像１４の撮影によって取得された画像信号に含まれる二次元ドットコードから、内蔵のデコード化手段により、図５（ｉ）に示すように、輝度ＤＣ成分係数を復元する。また、無線受信部１０９は、撮像装置１１からの無線送信信号を受信し、その受信信号から輝度ＡＣ・色差成分係数を復調（復号）する。

信号処理部１０２で復元された輝度ＤＣ成分係数および無線受信部１０９で復号された輝度ＡＣ・色差成分係数は、画像合成部１１０へ転送される。画像合成部１１０では、信号処理部１０２からの輝度ＤＣ成分係数が輝度復元部１２６に入力される。また、無線受信部１０９からの輝度ＡＣ・色差成分係数は、輝度ＡＣ復元部１２７および色差復元部１２８にそれぞれ入力される。そして、図５（ｊ）に示すように、輝度ＡＣ復元部１２７により、輝度ＡＣ成分係数Ｙ０，１・・・Ｙ０，６３、Ｙ１，１・・・Ｙ１，６３、Ｙ２，１・・・Ｙ２，６３、・・・が復元され、色差復元部１２８により、色差成分係数Ｃｂ０，Ｃｂ１，Ｃｂ２・・・、Ｃｒ０，Ｃｒ１，Ｃｒ２・・・が復元される。

輝度ＡＣ復元部１２７で復元された輝度ＡＣ成分係数は、輝度復元部１２６に供給される。輝度復元部１２６は、入力された輝度ＤＣ成分係数と輝度ＡＣ成分係数とにより輝度成分係数を復元し、その復元した輝度成分係数をデータ合成部１２９へ出力する。また、色差復元部１２８で復元された色差成分係数は、データ合成部１２９に入力される。そして、データ合成部１２９は、入力された色差成分係数と色差成分係数とにより、図５（ｋ）に示すように、送信元画像データであるＪＰＥＧデータを復元する。この復元されたＪＰＥＧデータは、記録部１０４に転送されて保存されるとともに、必要に応じて伸張部１０５で伸張されて表示部１０６のディスプレイに表示される。

このように、本実施の形態に係る撮像装置１１は、送信すべきＪＰＥＧデータを、輝度ＤＣ成分係数（第一の部分データ）と輝度ＡＣ・色差成分係数（第二の部分データ）とに分割し、相対的に情報量の多い輝度ＤＣ成分係数のデータは、表示部１０６にコード画像１４として表示して、受信側の撮像装置１２が撮像することにより光学的に送信し、相対的に情報量の少ない輝度ＡＣ・色差成分係数のデータは無線送信部１０８から無線送信する。以上のように、画像データを分割して異なる通信経路を介して転送することにより、画像を安全に送信することが可能となる。しかも、無線送信される輝度ＡＣ・色差成分係数のデータは、傍受されても、その受信データのみでは画像を復元することができない。したがって、撮像装置１１，１２間の無線通信範囲を、受信側の撮像装置１２が送信側の撮像装置１１の表示部１０６に表示されるコード画像１４を撮影可能な範囲に限定することができるので、無線通信範囲が広く汎用性が高い無線通信デバイスを使用しつつ、撮像装置を近接させて画像を転送する際のデータの安全性を高めることができる。また、多くの撮像装置に設けられている表示部を活用することにより、装置の複雑化を招くことがない。

（第二実施の形態）
本発明の第二実施の形態に係る撮像装置は、ＪＰＥＧデータを、特定被写体領域とそれ以外の背景領域とに分割して送受信する。そのため、本実施の形態に係る撮像装置は、図１に示した撮像装置において、主として画像分割部１０７および画像合成部１１０の構成が異なるものである。

図８は、本実施の形態に係る撮像装置における画像分割部１０７の要部の構成を示すブロック図である。画像分割部１０７は、特定被写体抽出部１３１、特定被写体位置抽出部１３２および背景抽出部１３３を備える。画像送信モードにおいて、特定被写体抽出部１３１、特定被写体位置抽出部１３２および背景抽出部１３３には、記録部１０４から送信元のＪＰＥＧデータがそれぞれ入力される。

特定被写体位置抽出部１３２は、入力されるＪＰＥＧデータから特定被写体の位置情報を抽出する。抽出された特定被写体位置情報は、特定被写体抽出部１３１および背景抽出部１３３にそれぞれ入力される。そして、特定被写体抽出部１３１は、入力される特定被写体位置情報に基づいて送信元のＪＰＥＧデータから特定被写体領域係数（第一の部分データ）を抽出する。抽出された特定被写体領域係数は、特定被写体位置抽出部１３２から出力された特定被写体位置情報とともに、信号処理部１０２へ出力される。また、背景抽出部１３３は、入力される特定被写体位置情報に基づいて送信元のＪＰＥＧデータから残りの背景領域係数（第二の部分データ）を抽出する。抽出された背景領域係数は、無線送信部１０８へ出力される。

図９は、本実施の形態に係る撮像装置における画像合成部１１０の要部の構成を示すブロック図である。画像合成部１１０は、合成情報抽出部１３５、特定被写体復元部１３６、背景復元部１３７、およびデータ合成部１３８を備える。画像受信モードにおいて、合成情報抽出部１３５および特定被写体復元部１３６には、信号処理部１０２から特定被写体領域係数がそれぞれ入力される。また、背景復元部１３７には、無線受信部１０９で復号された背景領域係数が入力される。

合成情報抽出部１３５は、入力される特定被写体領域係数から特定被写体位置情報を抽出する。抽出された特定被写体位置情報は、データ合成部１３８に入力される。特定被写体復元部１３６は、入力される特定被写体領域係数から特定被写体領域のＤＣＴ係数を復元する。復元されたＤＣＴ係数は、データ合成部１３８に入力される。また、背景復元部１３７は、入力される背景領域係数から背景領域のＤＣＴ係数を復元する。復元されたＤＣＴ係数は、データ合成部１３８に入力される。そして、データ合成部１３８は、入力される特定被写体位置情報に基づいて、特定被写体領域のＤＣＴ係数と背景領域のＤＣＴ係数とを合成して、送信元のＪＰＥＧデータを復元する。復元されたＪＰＥＧデータは、記録部１０４に転送されて保存されるとともに、必要に応じて伸張部１０５で伸張されて表示部１０６に入力されて表示される。

以下、本実施の形態に係る撮像装置の動作例について、図１を参照しながら説明する。なお、以下の動作例では、図４に示したと同様にして、一方の撮像装置１１の記録部１０４に記録されているＪＰＥＧデータを、撮像装置１１と同様の構成を有する他方の撮像装置１２へ送信するものとする。ここで、撮像装置１１の記録部１０４には、第一実施の形態の場合と同様に、通常の撮影動作によってＪＰＥＧデータが保存されるが、本実施の形態においては、ＪＰＥＧデータの保存に際して、撮影時に取得された特定被写体の画像内での位置に関する情報が、画像データとともに記録される。例えば、特定被写体を人物の顔とする場合は、図１０に示すように、撮影時に、公知の顔検出処理により、顔を含む領域（ブロック領域）２１の位置情報が生成されて、該位置情報が撮影された画像データとともに記録される。ブロック領域２１は、顔を含む領域を包含するように設定されたＪＰＥＧデータを構成するブロックの集合とする。

まず、撮像装置１１は、画像送信モードに設定される。そして、送信したい画像が選択されて、当該ＪＰＥＧデータの特定被写体領域係数に基づく画像が表示部１０６に表示される。また、撮像装置１２は、画像受信モードに設定されて、撮像装置１１の表示部１０６の表示画面を撮影するように保持される。そして、撮像装置１２によって、撮像装置１１の表示部１０６に表示された特定被写体領域係数に基づく画像の撮影操作が行われると、無線通信によるコマンドによって、撮像装置１１は背景領域係数の送信を開始し、撮像装置１２は背景領域係数の受信を開始する。

以下、撮像装置１１による画像送信モードの詳細について説明する。

撮像装置１１が画像送信モードに設定されると、記録部１０４から送信元画像データとなるＪＰＥＧデータが読み出されて、画像分割部１０７において、ＪＰＥＧデータが特定被写体領域係数と背景領域係数とに分割される。この画像分割部１０７での具体的処理について、図１１に従ってさらに詳細に説明する。

画像分割部１０７に入力されるＪＰＥＧデータには、図１１（ａ）に示すように、背景のＤＣＴ係数を並べたもの（０，１，２，・・・，ｎ）と、顔を含むブロック領域２１のＤＣＴ係数を並べたもの（ｋ，ｋ＋１，・・・ｋ＋４ｗ＋５）とが含まれる。ただし、ｋは、顔を含むブロック領域２１の最も左上のブロックの番号、ｗは、画像の幅方向のブロック数とする。特定被写体位置抽出部１３２は、入力されたＪＰＥＧデータのヘッダ部に記録されている顔を含む領域の位置情報を抽出し、その抽出した位置情報に基づいて、図１２に示すように、顔を含むブロック領域２１の情報を生成して、特定被写体抽出部１３１および背景抽出部１３３へそれぞれ出力する。なお、顔を含むブロック領域２１の情報は、顔を含む領域を包含するように設定された領域を構成するブロックの番号を記録したものである。具体的には、ｋ，ｋ＋１，・・・，ｋ＋ｗ，・・・，ｋ＋４ｗ＋５が記録されている。

特定被写体抽出部１３１は、ブロック領域２１の情報に基づいて、図１１（ｂ）に示すように、ブロック領域２１のＤＣＴ係数を抽出する。そして、抽出したＤＣＴ係数とブロック領域２１の情報とを合成して特定被写体領域係数を生成し、その生成した特定被写体領域係数を、図１１（ｄ）に示すように結合して信号処理部１０２へ出力する。また、背景抽出部１３３は、ブロック領域２１の情報に基づいて、図１１（ｃ）に示すように、残りの背景部分のＤＣＴ係数を抽出し、その抽出した残りの背景部分のＤＣＴ係数を、図１１（ｅ）に示すように結合して、背景領域係数として無線送信部１０８へ出力する。

信号処理部１０２は、画像分割部１０７からの特定被写体領域係数を、第一実施の形態の場合と同様にコード化して表示部１０６へ転送する。そして、表示部１０６により、転送されたコードを、コードを表す画像信号に変換して、図４に示したようにディスプレイ１３にコード画像１４を表示する。また、無線送信部１０８は、画像分割部１０７からの背景領域係数を、第一実施の形態の場合と同様に無線送信する。

次に、撮像装置１２における画像受信モードの詳細について説明する。

撮像装置１２は、第一実施の形態の場合と同様に、通常の撮像動作により撮像装置１１の表示部１０６に表示されたコード画像１４を撮影して画像信号を取得し、その画像信号に基づいて、信号処理部１０２により特定被写体領域係数を復元する。また、無線受信部１０９は、撮像装置１１からの無線送信信号を受信して、その受信信号から背景領域係数を復号する。信号処理部１０２で復元された特定被写体領域係数および無線受信部１０９で復号された背景領域係数は、画像合成部１１０へ転送される。

画像合成部１１０は、入力された特定被写体領域係数から、合成情報抽出部１３５により顔を含む領域を包含するブロック領域の情報（特定被写体位置情報）を抽出するとともに、特定被写体復元部１３６により顔を含む領域のＤＣＴ係数を復元する。これら、抽出されたブロック領域の情報および復元された顔を含む領域のＤＣＴ係数は、データ合成部１３８へ出力される。また、画像合成部１１０は、入力された背景領域係数から、背景復元部１３７により背景部分のＤＣＴ係数を復元する。この背景部分のＤＣＴ係数は、データ合成部１３８へ出力される。そして、データ合成部１３８は、合成情報抽出部１３５からのブロック領域の情報に基づいて、特定被写体復元部１３６からの顔を含む領域のＤＣＴ係数と、背景復元部１３７からの残りの部分のＤＣＴ係数とを合成して、送信元のＪＰＥＧデータを復元する。この復元されたＪＰＥＧデータは、記録部１０４に転送されて保存されるとともに、必要に応じて伸張部１０５で伸張されて表示部１０６のディスプレイに表示される。

本実施の形態によれば、送信元のＪＰＥＧデータを、特定被写体領域係数（第一の部分データ）と背景領域係数（第二の部分データ）とに分割する。そして、特定被写体領域係数のデータは、表示部１０６にコード画像１４として表示して、受信側の撮像装置１２が撮像することにより光学的に送信し、背景領域係数のデータは、無線送信部１０８から無線送信する。したがって、顔等の傍受されたくない特定被写体領域のデータを光学的に送信することで、第一実施の形態の場合と同様に、画像を安全に送信することができるとともに、汎用性を向上でき、装置の複雑化を招くこともない。

（第三実施の形態）
本発明の第三実施の形態に係る撮像装置は、ＭＰＥＧ等のキーフレームデータとキーフレームデータに対する差分フレームデータとを有する圧縮された動画像データを送受信可能としたものである。そのため、本実施の形態に係る撮像装置は、図１に示した撮像装置において、主として画像分割部１０７および画像合成部１１０の構成が異なる。

図１３は、本実施の形態に係る撮像装置における画像分割部１０７の要部の構成を示すブロック図である。画像分割部１０７は、圧縮された動画像データを、キーフレームデータ（第一の部分データ）と、キー差分・差分フレームデータ（第二の部分データ）とに分割するもので、キーフレーム抽出部２２１、差分フレーム抽出部２２２、キー差分生成部２２３およびキー差分・差分フレーム合成部２２４を備える。

動画像送信モードにおいて、キーフレーム抽出部２２１および差分フレーム抽出部２２２には、記録部１０４から圧縮された送信元の動画像データがそれぞれ入力される。キーフレーム抽出部２２１は、入力される動画像データからキーフレームデータを抽出する。抽出されたキーフレームデータは、キー差分生成部２２３に入力されるとともに、信号処理部１０２へ入力される。差分フレーム抽出部２２２は、入力される動画像データから差分フレームデータを抽出する。抽出された差分フレームデータは、キー差分・差分フレーム合成部２２４に入力される。また、キー差分生成部２２３は、入力される順次のキーフレームデータからキー差分データを抽出する。抽出されたキー差分データは、キー差分・差分フレーム合成部２２４に入力される。そして、キー差分・差分フレーム合成部２２４は、入力されるキー差分データおよび差分フレームデータを合成して、キー差分・差分フレームデータを生成する。生成されたキー差分・差分フレームデータは、無線送信部１０８へ出力される。

図１４は、本実施の形態に係る撮像装置における画像合成部１１０の要部の構成を示すブロック図である。画像合成部１１０は、キーフレーム復元部２２５、キー差分復元部２２６、差分フレーム復元部２２７およびデータ合成部２２８を備える。動画像受信モードにおいて、キーフレーム復元部２２５には、信号処理部１０２からキーフレームデータが入力される。また、キー差分復元部２２６および差分フレーム復元部２２７には、無線受信部１０９で復号されたキー差分・差分フレームデータが入力される。

キー差分復元部２２６は、入力されるキー差分・差分フレームデータからキー差分データを抽出する。抽出されたキー差分データは、キーフレーム復元部２２５に入力される。そして、キーフレーム復元部２２５は、入力されるキーフレームデータとキー差分データとに基づいて順次のキーフレームデータを復元する。復元されたキーフレームデータは、データ合成部２２８に入力される。また、差分フレーム復元部２２７は、入力されるキー差分・差分フレームデータから差分フレームデータを抽出する。抽出された差分フレームデータは、データ合成部２２８に入力される。そして、データ合成部２２８は、入力されるキーフレームデータと差分フレームデータとを合成して送信元の動画像データを復元する。復元された動画像データは、記録部１０４に記憶されるとともに、必要に応じて伸張部１０５で伸張されて表示部１０６に入力されて表示される。

以下、本実施の形態に係る撮像装置の動作例について、図１および図１５を参照しながら説明する。なお、以下の動作例では、図４に示したようにして、一方の撮像装置１１の記録部１０４に記録されている圧縮された送信元の動画像データを、撮像装置１１と同様の構成を有する他方の撮像装置１２へ送信するものとする。まず、撮像装置１１は、動画像送信モードに設定される。そして、送信したい動画像が選択されて、当該動画像データのキーフレームデータに基づく画像が表示部１０６に表示される。また、撮像装置１２は、動画像受信モードに設定されて、撮像装置１１の表示部１０６の表示画面を撮影するように保持される。そして、撮像装置１２によって、撮像装置１１の表示部１０６に表示されたキーフレームデータに基づく画像の撮影操作が行われると、無線通信によるコマンドによって、撮像装置１１はキー差分・差分フレームデータの送信を開始し、撮像装置１２はキー差分・差分フレームデータの受信を開始する。

以下、撮像装置１１による画像送信モードの詳細について説明する。

撮像装置１１が画像送信を開始すると、記録部１０４から送信対象となる動画像データが読み出されて、画像分割部１０７において、動画像データがキーフレームデータとキー差分・差分フレームデータとに分割される。この画像分割部１０７での具体的処理について、図１５に従ってさらに詳細に説明する。

画像分割部１０７に入力される動画像データには、図１５に示すように、順次のキーフレームデータと、各キーフレームデータとの差分フレームデータとが含まれる。キーフレーム抽出部２２１は、入力された動画像データから第一キーフレームデータを抽出し、その抽出した第一キーフレームデータを信号処理部１０２へ出力する。

差分フレーム抽出部２２２は、入力された動画像データから差分フレームデータを抽出し、その抽出した差分フレームデータをキー差分・差分フレーム合成部２２４へ出力する。また、キー差分生成部２２３は、第一キーフレームデータを基準として、順次のキーフレームデータとの差分データを生成し、その生成したキー差分データをキー差分・差分フレーム合成部２２４へ出力する。そして、キー差分・差分フレーム合成部２２４は、差分フレーム抽出部２２２からの差分フレームデータと、キー差分生成部２２３からのキー差分データとを合成してキー差分・差分フレームデータを生成し、その生成したキー差分・差分フレームデータを無線送信部１０８へ出力する。

信号処理部１０２は、画像分割部１０７からの第一キーフレームデータを、第一実施の形態の場合と同様にコード化して表示部１０６へ転送する。これにより、表示部１０６において、図４に示したようにディスプレイ１３にコード画像１４を表示する。また、無線送信部１０８は、画像分割部１０７からのキー差分・差分フレームデータを、上記実施の形態の場合と同様に無線送信する。

次に、撮像装置１２における画像受信モードの詳細について説明する。

撮像装置１２は、上記実施の形態の場合と同様に、通常の撮像動作により撮像装置１１の表示部１０６に表示されたコード画像１４を撮影して画像信号を取得し、その画像信号に基づいて、信号処理部１０２によりキーフレームデータを復号する。また、無線受信部１０９は、撮像装置１１からの無線送信信号を受信して、その受信信号からキー差分・差分フレームデータを復調する。信号処理部１０２で復号されたキーフレームデータおよび無線受信部１０９で復調されたキー差分・差分フレームデータは、画像合成部１１０へ転送される。

画像合成部１１０では、信号処理部１０２からのキーフレームデータ（第一キーフレームデータ）がキーフレーム復元部２２５に入力される。また、無線受信部１０９からのキー差分・差分フレームデータは、キー差分復元部２２６および差分フレーム復元部２２７にそれぞれ入力される。そして、キー差分復元部２２６により、第一キーフレームデータを基準とする順次のキーフレームデータとのキー差分データを復元して、キーフレーム復元部２２５に入力する。また、差分フレーム復元部２２７により、各キーフレームにおける差分フレームデータを復元して、データ合成部２２８に入力する。

キーフレーム復元部２２５は、入力された第一キーフレームデータとキー差分データとに基づいて、順次のキーフレームデータを復元し、その復元したキーフレームデータをデータ合成部２２８に入力する。そして、データ合成部２２８は、キーフレーム復元部２２５からのキーフレームデータと、差分フレーム復元部２２７からの差分フレームデータとを合成して動画像データを復元する。この復元された動画像データは、記録部１０４に転送されて保存されるとともに、必要に応じて伸張部１０５で伸張されて表示部１０６のディスプレイに表示される。

本実施の形態によれば、送信元の圧縮処理された動画像データを、第一キーフレームデータ（第一の部分データ）と、第一キーフレームデータに対する順次のキーフレームデータの差分データおよび各キーフレームに対する差分フレームデータからなるキー差分・差分フレームデータ（第二の部分データ）とに分割する。そして、第一キーフレームデータは、表示部１０６にコード画像１４として表示して、受信側の撮像装置１２が撮像することにより光学的に送信し、キー差分・差分フレームデータは無線送信部１０８から無線送信する。したがって、無線送信されるキー差分・差分フレームデータは、傍受されても、その受信データのみでは動画像を復元できないので、上記実施の形態の場合と同様に、安全性を向上できるとともに、汎用性を向上でき、装置の複雑化を招くこともない。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上記各実施の形態において、表示・撮像により光学的に送信するデータと、無線により送信するデータとは、逆転させてもよい。また、送信元の画像データは、周波数成分の異なる第一の部分データと第二の部分データとに分割して、同様にして送受信するように構成してもよい。

１１，１２ 撮像装置
１３ ディスプレイ
１４ コード画像
１００ バス
１０１ 撮像部
１０２ 信号処理部
１０３ 圧縮部
１０４ 記録部
１０５ 伸張部
１０６ 表示部
１０７ 画像分割部
１０８ 無線送信部
１０９ 無線受信部
１１０ 画像合成部
１１１ 制御部
１２１ 輝度抽出部
１２２ 色差抽出部
１２３ ＤＣ抽出部
１２４ ＡＣ抽出部
１２５ ＡＣ・色差合成部
１２６ 輝度復元部
１２７ 輝度ＡＣ復元部
１２８ 色差復元部
１２９ データ合成部
１３１ 特定被写体抽出部
１３２ 特定被写体位置抽出部
１３３ 背景抽出部
１３５ 合成情報抽出部
１３６ 特定被写体復元部
１３７ 背景復元部
１３８ データ合成部
２２１ キーフレーム抽出部
２２２ 差分フレーム抽出部
２２３ キー差分生成部
２２４ キー差分・差分フレーム合成部
２２５ キーフレーム復元部
２２６ キー差分復元部
２２７ 差分フレーム復元部
２２８ データ合成部

Claims (9)

1. 画像送信モードまたは画像受信モードを選択的に実行可能な撮像装置であって、
   画像を撮像する撮像部と、画像を表示する表示部と、送信元画像データを分割する画像分割部と、画像データを無線送信する無線送信部と、無線送信された画像データを受信する無線受信部と、画像データを復元する復元部と、送信元画像データを生成する画像合成部と、を有し、
   前記画像送信モードでは、
   前記画像分割部により送信元画像データを第一の部分データと残りの第二の部分データとに分割して、前記第一の部分データに基づく画像を前記表示部に表示するとともに、前記第二の部分データを前記無線送信部により無線送信し、
   前記画像受信モードでは、
   前記撮像部により撮像された画像に基づいて前記復元部により画像データを復元し、該復元された画像データと前記無線受信部で受信された画像データとを前記画像合成部で合成して送信元画像データを生成する、
   ことを特徴とする撮像装置。
2. 前記画像分割部は、
   前記送信元画像データを異なる色成分の前記第一の部分データと前記第二の部分データとに分割する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像分割部は、
   前記送信元画像データを周波数成分の異なる前記第一の部分データと前記第二の部分データとに分割する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記画像分割部は、
   前記送信元画像データを、当該送信元画像データ内の位置情報に基づいて前記第一の部分データと前記第二の部分データとに分割する、
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記送信元画像データ内の位置情報は、
   当該送信元画像データ内の特定被写体を含む領域の位置情報である、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記送信元画像データ内の位置情報は、
   当該送信元画像データ内の時間方向における位置情報である、
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記時間方向における位置情報は、
   キーフレームであるか否かに基づく位置情報である、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記画像分割部は、
   前記送信元画像データ内の複数のキーフレームを、特定のキーフレームからなる前記第一の部分データと該特定のキーフレームとの差分からなる前記第二の部分データとに分割する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 送信側画像処理装置と受信側画像処理装置との間で画像データを送受信するにあたり、
   前記送信側画像処理装置は、
   送信元画像データを画像分割部により第一の部分データと残りの第二の部分データとに分割するステップと、
   前記第一の部分データに基づく画像を表示部に表示するステップと、
   前記第二の部分データを無線送信部により無線送信するステップと、を実行し、
   前記受信側画像処理装置は、
   前記表示部に表示された前記第一の部分データに基づく画像を撮像部により撮像するステップと、
   無線送信された前記第二の部分データを無線受信部により受信するステップと、
   該撮像した画像に基づいて復元部により前記第一の部分データを復元するステップと、
   前記復元部で復元された前記第一の部分データと前記無線受信部で受信された前記第二の部分データとを画像合成部により合成して前記送信元画像データを生成するステップと、を実行する、
   ことを特徴とする画像データの送受信方法。
   

Images