JP2004254051A - 画像送信方法と装置、画像記録方法と装置 - Google Patents

Abstract

【課題】大きな画像データの受信には時間がかかり、ユーザに待ち時間が生じる。
【解決手段】画像送信方法は、原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、取得された複数の領域画像を、再生時に円滑に再生可能な形式にて保存するステップとを含む。

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理技術に関し、とくに、原画像を領域画像をもとに処理する画像記録技術、画像通信技術、画像再現技術に関する。
【０００２】
【従来の技術】
デジタルカメラの出荷台数が銀塩カメラのそれを超え、個人レベルで画像を楽しむ人口が増加している。最近では、１０００万画素を超える解像度の写真を撮影できるデジタルカメラも市場に投入されている。
【０００３】
【発明が解決しようとする課題】
しかし、こうした画像を例えば友人へ送ったり、遠隔のサーバへ保存するなどの際、通信がブロードバンドになったとはいえ、やはり相当の時間がかかる。デジタルカメラの画像に限らず、たとえば高精細な画像をユーザへ配信するサービスにおいても、同様にユーザ端末での待ち時間が問題になる。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像の精細度を損なうことなく画像を伝送する技術を提供することにある。また、その際、伝送の待ち時間の影響を低減する技術を提供することにある。
【０００５】
【課題を解決するための手段】
本発明では、原画像から複数の領域画像を切り出し、それらの領域画像の位置関係を取得する。そのため、領域画像を再生する際、前記の位置関係をもとに領域画像間を連続的に、または円滑に表示することができる。また、そうして領域画像を表示している間に、つぎつぎと領域画像を保存していけば、いずれ原画像全体を保存することができる。
【０００６】
送信側から領域画像をストリーミング配信すれば、受信側はデータ量の少ない領域画像を受信しては再生し、バックグラウンドでは、徐々にデータを蓄積し、前記位置関係の情報をもとに、領域画像を合成して原画像またはその一部を再現または再構築することができる。その間、領域画像間を補間その他の方法で連続的に表示すれば、ユーザはいわば、ウォークスルー映像やそれに類する動画を楽しみながら原画像のデータを取得することができる。
【０００７】
なお、本発明の処理をプログラムまたはそれを記録した記録媒体として提供してもよい。また、本発明の処理を各手段に割り当てた装置を提供してもよい。本発明の各処理を組み替え、または組み合わせた技術もまた本発明として有効である。
【０００８】
【発明の実施の形態】
実施の形態に係る画像通信システムは、画像送信装置と画像受信装置を含み、これらがインターネットその他放送を含むネットワークで接続されている。
【０００９】
［１］画像送信装置は、以下の構成を含む。
通信部・・・ネットワークと通信する。
画像入力部・・・処理の対象となる原画像を任意の方法で取得する。そのため、たとえばカメラを含んでもよいし、別の場所で撮影または生成された原画像を通信部経由で入力してもよい。原画像はカメラで撮影されたものに限らず、ＣＧで生成された画像でもよいが、ある程度画素数の多い、すなわち高解像度のものが好適である。
【００１０】
領域画像選択部・・・ＧＵＩをもち、ドローイングソフトウエアまたは画像編集ソフトウエアとしての機能を備える。ユーザに原画像を表示する。原画像は高解像度のため、画像送信装置の画面には、その一部の領域しか表示できないことがある。その場合、領域画像選択部は、画面上でユーザが原画像をスクロールさせるインタフェイスを備える。ユーザはスクロールした位置で所望の部分が表示されたら、「キャプチャ」を指示する。ユーザは領域画像を複数回キャプチャする。
【００１１】
キャプチャ指示入力部・・・前記のキャプチャ指示を検出する。
位置取得部・・・キャプチャ指示が検出されたとき、ユーザがたとえば画面上でカーソルをおいていた位置をキャプチャすべき領域画像の「センタ位置」として取得し、かつ領域画像が原画像において切り出された「領域位置情報」を取得する。
【００１２】
第１マッチング情報生成部・・・キャプチャされた領域画像間の相対位置情報を「センタ位置」と「領域位置情報」から求め、マッチング情報（これを第１マッチング情報とよぶ）として保存する。相対位置情報は、領域画像どうしが単なる平行移動の場合は動きベクトルとして取得されるが、一般にはアフィン変換情報として取得される。すなわち、領域画像どうしの関係は、平行移動、回転、拡大または縮小で記述できるためである。
【００１３】
第２マッチング情報生成部・・・キャプチャされた領域画像間で既知の画像マッチング処理を施し、これらの画像間のマッチング情報（これを第２マッチング情報とよぶ）として保存する。この情報は、画素単位や画像ブロック単位の対応情報として記述される。
【００１４】
データストリーム生成部・・・領域画像と第１マッチング情報を関連づけながらデータストリーム化し、通信部に渡す。または、ローカルの記録部に記録する。必要に応じて、第２マッチング情報も加える。例えば、｛領域画像Ａ、領域画像Ｂ、領域画像ＡＢ間の第１および第２マッチング情報、・・・｝のようなストリームを作る。データストリーム生成部は、必要に応じて領域画像を圧縮符号化し、またはデータストリーム全体を圧縮符号化する符号化器をもつ。
［２］画像受信装置は、以下の構成を含む。
通信部・・・ネットワークと通信する。
ストリーム入力部・・・画像送信装置から、前述のデータストリームを受信する。
ストリーム解析部・・・受信したデータストリームから領域画像のデータ、第１および第２マッチング情報を検出し、分別する。
画像ビュア・・・領域画像および後述の第１、第２補間画像を画面に表示する。領域画像のデータが圧縮されている場合、画像ビュアは画像復号器をもち、画像を復号した後、再生する。
【００１５】
第１補間部・・・第１マッチング情報をもとに、領域画像間の補間画像（第１補間画像とよぶ）を生成する。第１補間画像は、始点側の領域画像にアフィン変換を施して終点側の領域画像に至る間を内挿補間して得られる。第１補間画像は一枚とは限らず、滑らかな表示が可能な程度の多さとする。
【００１６】
第２補間部・・・第２マッチング情報をもとに、領域画像間の補間画像（第２補間画像とよぶ）を生成する。第２補間画像は、始点側の領域画像と終点側の領域画像の対応画素や対応ブロックを内挿補間したモーフィング画像として得られる。第２補間画像は一枚とは限らず、滑らかな表示が可能な程度の多さとする。
【００１７】
画像合成部・・・領域画像と第１情報をもとに、領域画像どうしを合成、すなわちつなぎ合わせることで原画像またはその一部を再構成する。領域画像をそのセンタ位置と領域位置情報をもとに並べていき、複数の領域画像で重なり合うところを一方で代表させる処理を繰り返せば、複数の領域画像によってカバーされる全領域の画像が再構成できる。これが原画像全体をカバーしていれば、原画像が完全に再生できるが、カバーしていなければ、カバーできるところだけでも再生が可能である。なお、カバーできない領域は、画像送信装置のストリーム生成部で、「未カバー領域画像データ」としてデータストリームに組み込んでもよい。その場合、画像合成部で原画像を完全に再生できる。
【００１８】
［３］画像の送信と受信
原画像は、非常に高精細な画像であり、データ量が多いとする。実施の形態の画像データ通信技術は、原画像全体を送りきるまで表示を止めて待つのではなく、まず領域画像を送り、これを表示する。つぎつぎと領域画像を送り、それらを順に表示している間、ユーザの退屈を紛らすと同時に、バックグラウンドでは原画像のデータから徐々に蓄積される。したがって、実施の形態の技術は、画像プログレッシブ伝送技術の利点を有するが、領域画像を順に動画として見せる点で、伝送中にもコンテンツとしての価値を有する。
【００１９】
ユーザは画像送信装置に原画像を表示し、領域画像を複数キャプチャする。領域画像は、いわば原画像に窓を設けてそこから覗き込んだ領域の画像であるから、これら複数の領域画像を順に表示させれば、広い原画像のうえをウォークスルーするような画像になる。このため、ユーザは、予めそうした効果を見込んで、好適な動きを実現するモーションパス上でキャプチャ指示をする。
【００２０】
画像受信装置では、領域画像だけでなく、それらの補間画像も第１マッチング情報から生成されるため、複数の領域画像が非常に滑らかな動画として表示される。したがって、いわばカメラのファインダーをとおして広い空間の一部を順に見ていく要領で原画像を徐々に受け取る。
【００２１】
なお、第２マッチング情報は、領域画像間の変化が大きい場合や、そもそも２枚の領域画像を取り出した原画像が異なり、うまくアフィン変換で表現できないときなどに用いる。すなわち、本実施の形態では、単一の原画像だけでなく、異なる原画像をもとに画像受信装置で動画再生ができる。その場合、領域画像それぞれにそれを切り出した原画像のＩＤを付せば、原画像ごとに合成と再構築ができる。
【００２２】
以上、この実施の形態によれば、非常に高精細な原画像をひとつの動画コンテンツとしてユーザに表示することができ、かつ待ち時間を感じさずに原画像のデータ全体を蓄積することができる。 領域画像をキャプチャするモーションパスや領域画像の大きさ等によって、送信側が意図するコンテンツとして原画像を送信できる。その意味では、原画像の蓄積を必要としないアプリケーションにおいても、静止画から動画コンテンツを創造して配信するという新しい映像表現およびサービスの技術が実現する。
【００２３】
［４］本発明のいろいろな態様
画像送信装置側の処理の態様は以下のとおりである。
［態様１］ 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
取得された複数の領域画像を、再生時に円滑に再生可能な形式にて保存するステップと、
を含むことを特徴とする画像記録方法。
［態様２］ 原画像の一部領域を前記原画像上に設けられたモーションパス上において複数回切り出して複数の領域画像を取得するステップと、
取得された複数の領域画像を前記モーションパスの情報とともに保存するステップと、
を含むことを特徴とする画像記録方法。
［態様３］ 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
取得された複数の領域画像をそれらの相対位置情報とともに保存するステップと、
を含むことを特徴とする画像記録方法。
［態様４］ 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
取得された複数の領域画像が、前記原画像においてそれぞれ占めていた領域位置情報とともに保存するステップと、
を含むことを特徴とする画像記録方法。
［態様５］ 態様１〜４のいずれかに記載の方法において、保存されたデータをストリーミングデータとして送信するステップをさらに含むことを特徴とする方法。
［態様６］ 態様３に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
［態様７］ 態様４に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
［態様８］ 態様３に記載の方法において、前記複数の領域画像間のマッチングデータをさらに保存することを特徴とする方法。
［態様９］ 態様８に記載の方法において、前記複数の領域画像間で画像マッチング計算を行うことにより、前記マッチングデータを生成することを特徴とする方法。
一方、画像受信装置側の処理の態様は以下のとおりである。
［態様１０］ 原画像の一部領域を切り出して領域画像として送信する処理を繰り返し行い、その送信の際に、前記領域画像の前記原画像における位置情報を併せて送信することを特徴とする画像通信方法。
［態様１１］ 態様１０に記載の方法において、前記領域画像と前記位置情報を受信し、その受信装置のローカルな記録装置に保存することを特徴とする方法。
［態様１２］ 態様１１に記載の方法において、前記位置情報をもとに前記領域画像を合成し、前記原画像またはその一部を再現することを特徴とする方法。
［態様１３］ 態様１１に記載の方法において、前記領域画像どうしのマッチングデータをさらに送信することを特徴とする方法。
［態様１４］ 原画像上に設けられたモーションパス上において前記原画像から切り出して生成された複数の領域画像を取得するステップと、
取得された複数の領域画像を前記モーションパスの情報をもとに合成し、前記原画像またはその一部を再現するステップと、
を含むことを特徴とする画像再現方法。
［態様１５］ 原画像の一部領域を切り出して生成された複数の領域画像とそれらの相対位置情報を取得するステップと、
取得された複数の領域画像を前記相対位置情報をもとに合成し、前記原画像またはその一部を再現するステップと、
を含むことを特徴とする画像再現方法。
［態様１６］ 原画像の一部領域を複数回切り出して生成された複数の領域画像と、それらの領域画像が前記原画像においてそれぞれ占めていた領域位置情報を取得するステップと、
取得された複数の領域画像を前記領域位置情報をもとに合成し、前記原画像またはその一部を再現するステップと、
を含むことを特徴とする画像再現方法。
［態様１７］ 態様１４〜１６のいずれかに記載の方法において、少なくとも前記領域画像をネットワーク経由でストリーミングデータとして受信するステップをさらに含むことを特徴とする方法。
［態様１８］ 態様１５に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
［態様１９］ 態様１６に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
［態様２０］ 原画像上に設けられたモーションパス上において前記原画像から切り出して生成された複数の領域画像を取得するステップと、
取得された複数の領域画像を前記モーションパスの情報をもとに補間するステップと、
を含むことを特徴とする画像再現方法。
［態様２１］ 原画像の一部領域を切り出して生成された複数の領域画像とそれらの相対位置情報を取得するステップと、
取得された複数の領域画像を前記相対位置情報をもとに補間するステップと、
を含むことを特徴とする画像再現方法。
［態様２２］ 原画像の一部領域を複数回切り出して生成された複数の領域画像と、それらの領域画像が前記原画像においてそれぞれ占めていた領域位置情報を取得するステップと、
取得された複数の領域画像を前記領域位置情報をもとに補間するステップと、
を含むことを特徴とする画像再現方法。
［態様２３］ 態様２０〜２２のいずれかに記載の方法において、少なくとも前記領域画像をネットワーク経由でストリーミングデータとして受信するステップをさらに含むことを特徴とする方法。
［態様２４］ 態様２１に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
［態様２５］ 態様２２に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
なお、被写体を原寸にて表す原画像を取得し、その原画像から一部領域を切り出して領域画像として以上の各種処理を施すサービスは、新しい映像表現の中でも面白みの高いサービスとしての可能性をもっている。

Claims (25)

1. 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
   取得された複数の領域画像を、再生時に円滑に再生可能な形式にて保存するステップと、
   を含むことを特徴とする画像記録方法。
2. 原画像の一部領域を前記原画像上に設けられたモーションパス上において複数回切り出して複数の領域画像を取得するステップと、
   取得された複数の領域画像を前記モーションパスの情報とともに保存するステップと、
   を含むことを特徴とする画像記録方法。
3. 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
   取得された複数の領域画像をそれらの相対位置情報とともに保存するステップと、
   を含むことを特徴とする画像記録方法。
4. 原画像の一部領域を複数回切り出して複数の領域画像を取得するステップと、
   取得された複数の領域画像が、前記原画像においてそれぞれ占めていた領域位置情報とともに保存するステップと、
   を含むことを特徴とする画像記録方法。
5. 請求項１〜４のいずれかに記載の方法において、保存されたデータをストリーミングデータとして送信するステップをさらに含むことを特徴とする方法。
6. 請求項３に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
7. 請求項４に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
8. 請求項３に記載の方法において、前記複数の領域画像間のマッチングデータをさらに保存することを特徴とする方法。
9. 請求項８に記載の方法において、前記複数の領域画像間で画像マッチング計算を行うことにより、前記マッチングデータを生成することを特徴とする方法。
10. 原画像の一部領域を切り出して領域画像として送信する処理を繰り返し行い、その送信の際に、前記領域画像の前記原画像における位置情報を併せて送信することを特徴とする画像通信方法。
11. 請求項１０に記載の方法において、前記領域画像と前記位置情報を受信し、その受信装置のローカルな記録装置に保存することを特徴とする方法。
12. 請求項１１に記載の方法において、前記位置情報をもとに前記領域画像を合成し、前記原画像またはその一部を再現することを特徴とする方法。
13. 請求項１１に記載の方法において、前記領域画像どうしのマッチングデータをさらに送信することを特徴とする方法。
14. 原画像上に設けられたモーションパス上において前記原画像から切り出して生成された複数の領域画像を取得するステップと、
    取得された複数の領域画像を前記モーションパスの情報をもとに合成し、前記原画像またはその一部を再現するステップと、
    を含むことを特徴とする画像再現方法。
15. 原画像の一部領域を切り出して生成された複数の領域画像とそれらの相対位置情報を取得するステップと、
    取得された複数の領域画像を前記相対位置情報をもとに合成し、前記原画像またはその一部を再現するステップと、
    を含むことを特徴とする画像再現方法。
16. 原画像の一部領域を複数回切り出して生成された複数の領域画像と、それらの領域画像が前記原画像においてそれぞれ占めていた領域位置情報を取得するステップと、
    取得された複数の領域画像を前記領域位置情報をもとに合成し、前記原画像またはその一部を再現するステップと、
    を含むことを特徴とする画像再現方法。
17. 請求項１４〜１６のいずれかに記載の方法において、少なくとも前記領域画像をネットワーク経由でストリーミングデータとして受信するステップをさらに含むことを特徴とする方法。
18. 請求項１５に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
19. 請求項１６に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
20. 原画像上に設けられたモーションパス上において前記原画像から切り出して生成された複数の領域画像を取得するステップと、
    取得された複数の領域画像を前記モーションパスの情報をもとに補間するステップと、
    を含むことを特徴とする画像再現方法。
21. 原画像の一部領域を切り出して生成された複数の領域画像とそれらの相対位置情報を取得するステップと、
    取得された複数の領域画像を前記相対位置情報をもとに補間するステップと、
    を含むことを特徴とする画像再現方法。
22. 原画像の一部領域を複数回切り出して生成された複数の領域画像と、それらの領域画像が前記原画像においてそれぞれ占めていた領域位置情報を取得するステップと、
    取得された複数の領域画像を前記領域位置情報をもとに補間するステップと、
    を含むことを特徴とする画像再現方法。
23. 請求項２０〜２２のいずれかに記載の方法において、少なくとも前記領域画像をネットワーク経由でストリーミングデータとして受信するステップをさらに含むことを特徴とする方法。
24. 請求項２１に記載の方法において、前記相対位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。
25. 請求項２２に記載の方法において、前記領域位置情報を前記複数の領域画像間のアフィン変換情報として取得することを特徴とする方法。