JP2007251299A - 撮影画像表示システム、画像受信装置、その制御方法及びサーバ - Google Patents

Abstract

【課題】構成の複雑化を回避しつつ、鑑賞側でぶれを低減した画像を表示することができる撮影画像表示システム、画像受信装置、その制御方法及びサーバを提供する。
【解決手段】通信先の送信側装置から撮影データＤ２とぶれデータＢ２とを受信し（ステップＳ２、Ｓ３）、当該受信側装置のぶれデータＢ１を取得し（ステップＳ４）、ぶれデータＢ２とぶれデータＢ１との差を示す差分データＢＤを取得し（ステップＳ５）、この差分データＢＤに基づき撮影データＤ２にぶれ補正処理を行うようにした（ステップＳ６）。
【選択図】図４

Description

本発明は、撮影画像を受信して表示する撮影画像表示システム、画像受信装置、その制御方法及びサーバに関する。

従来より、通常の会話に加えて、相手の映像を見ることができるテレビ電話機能を具備した携帯型電話装置が知られている（例えば、特許文献１参照）。テレビ電話の場合、撮影側と鑑賞側とが異なるため、撮影側のぶれや鑑賞側のぶれの影響で鑑賞側にぶれた画像が表示されてしまい、特に小さい文字をはっきり表示することは難しかった。
また、従来の画像ぶれ防止技術として、プロジェクタ装置がスクリーンに映像を投射している場合に、プロジェクタ装置、スクリーン又は鑑賞者のぶれを各々検出し、少なくともいずれかの位置を物理的に移動してぶれを補正する技術が知られている（例えば、特許文献２参照）。
特開２００２−２７０５０号公報 特開平７−３６４２３号公報

しかし、従来の画像ぶれ防止技術は、プロジェクタ装置、スクリーン又は鑑賞者を物理的に移動させる機構が必要となり、装置構成が大規模になってしまう。このため、テレビ電話等の携帯装置への適用が困難であった。
本発明は、上述した事情に鑑みてなされたものであり、構成の複雑化を回避しつつ、鑑賞側でぶれを低減した画像を表示することができる撮影画像表示システム、画像受信装置、その制御方法及びサーバを提供することにある。

上述課題を解決するため、本発明は、撮影画像表示システムにおいて、撮影画像と撮影時のぶれ量とを送信する撮影装置と、前記撮影装置から送信された撮影画像とぶれ量とを受信する画像受信装置とを備え、前記画像受信装置は、受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、前記ぶれ補正手段が補正した撮影画像を表示する表示手段とを備えることを特徴とする。
この発明によれば、画像受信装置が受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を実行して補正した撮影画像を表示するので、送信側の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。

上記構成において、前記画像受信装置は、当該装置のぶれ量を検出するぶれ量検出手段を備え、前記ぶれ補正手段は、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことが好ましい。この構成によれば、受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、撮影装置と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。

また、本発明は、撮影画像表示システムにおいて、撮影画像のぶれを補正し、補正後の撮影画像を送信する撮影装置と、前記撮影装置から送信された撮影画像を受信する画像受信装置とを備え、前記画像受信装置は、当該装置のぶれ量を検出するぶれ量検出手段と、前記ぶれ量検出手段により検出したぶれ量に基づいて基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、前記ぶれ補正手段が補正した撮影画像を表示する表示手段とを備えることを特徴とする。
この発明によれば、撮影装置がぶれを補正した撮影画像を送信し、画像受信装置が自装置のぶれ量に基づいて受信した撮影画像にぶれ補正処理を行って表示するので、撮影装置と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができ、また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。

また、本発明は、撮影画像表示システムにおいて、撮影画像と撮影時のぶれ量とを通信ネットワークを介して送信する撮影装置と、前記通信ネットワークを介して撮影画像を受信して表示する画像受信装置と、前記通信ネットワークに設けられるサーバとを備え、前記サーバは、前記撮影装置から送信されたぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を前記画像受信装置に送信することを特徴とする。
この発明によれば、サーバが、撮影装置から送信されたぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を画像受信装置に送信するので、撮影装置及び画像受信装置の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。

上記構成において、前記画像受信装置は、当該装置のぶれ量を検出するぶれ量検出手段と、前記ぶれ量検出手段により検出したぶれ量に基づいて受信した撮影画像にぶれ補正処理を備え、前記ぶれ補正手段が補正した撮影画像を表示することが好ましい。この構成によれば、撮影装置と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。

また、本発明は、画像受信装置において、通信相手から撮影画像と撮影時のぶれ量とを受信する受信手段と、受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、前記ぶれ補正手段が補正した撮影画像を表示する表示手段とを備えることを特徴とする。
この発明によれば、通信相手から受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を実行して補正した撮影画像を表示するので、通信相手の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。

上記構成において、当該装置のぶれ量を検出するぶれ量検出手段を備え、前記ぶれ補正手段は、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことが好ましい。この構成によれば、受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、通信相手と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。

また、上記構成において、前記ぶれ量検出手段は、ジャイロセンサ又は加速度センサであることが好ましい。また、上記構成において、前記画像受信装置は、撮影する撮影手段と、撮影画像を前記通信相手に送信する送信手段と、前記通信相手との間で音声通話を行うための通話手段とを備える携帯型テレビ電話装置として構成されていることが好ましい。この構成によれば、テレビ電話の場合に、鑑賞側でぶれを低減した画像を表示することができる。

また、本発明は、通信相手から撮影画像と撮影時のぶれ量とを受信して表示する画像受信装置の制御方法において、受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を表示することを特徴とする。
この発明によれば、受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を実行して補正した撮影画像を表示するので、通信相手の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。
上記構成において、当該装置のぶれ量を検出し、受信したぶれ量と前記検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことが好ましい。この構成によれば、受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、通信相手と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。

また、本発明は、通信ネットワークに設けられ、撮影装置から送信された撮影画像を受信して画像受信装置に送信するサーバにおいて、前記サーバは、前記撮影装置から送信された撮影画像と撮影時のぶれ量とを受信し、前記ぶれ量に基づいて前記撮影画像にぶれ補正処理を行い、補正後の撮影画像を前記画像受信装置に送信することを特徴とする。
この発明によれば、サーバが、撮影装置から送信されたぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を前記画像受信装置に送信するので、撮影装置及び画像受信装置の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。

本発明に係る撮影画像表示システム、画像受信装置、その制御方法及びサーバによれば、構成の複雑化を回避しつつ、鑑賞側でぶれを低減した画像を表示することができる

以下、図面を参照して本発明の実施形態を詳述する。
図１は本発明の撮影画像表示システムの構成を示す図である。
この撮影画像表示システム１は、移動通信ネットワークＮＷを介して携帯電話機２間で電話やテレビ電話を可能にするシステムであり、携帯電話機２の構成を主に示している。なお、この携帯電話機２は、従来の携帯電話機と同様に、移動通信ネットワークＮＷを経由して固定電話用通信ネットワーク（不図示）に接続される一般電話との間で電話も可能である。
上記各携帯電話機２は、略同一に構成され、以下、説明の便宜上、テレビ電話を１対１で行っている場合の一方の携帯電話機２を送信側装置（撮影装置に相当する）２Ａと表記し、他方の携帯電話機を受信側装置（画像受信装置に相当する）２Ｂと表記し、これらを特に区別する必要がない場合は、携帯電話機２と表記する。

携帯電話機２は、操作部１０、通話部２０、通信部３０、角速度検出部４０、撮影部５０及び制御部６０を備え、また、リムーバブルメディア７０が着脱自在に装着されている。
操作部１０は、携帯電話機２が備える複数の操作子の操作を制御部６０に通知するものである。通話部２０は、他の携帯電話機２や一般電話との間で音声通話を行うための通話手段として機能するものであり、音声入力部２１と、音声出力部２２とを備えている。音声入力部２１は、当該携帯電話機２のユーザの音声を収音するマイクを備え、このマイクを介して入力した音声を制御部６０に出力する。また、音声出力部２２は、当該携帯電話機２のユーザに向けて音声を放音するスピーカを備え、このスピーカを介して着信音等の合成音声や電話相手から送信された音声を放音する。

通信部３０は、移動通信ネットワークＮＷに規定された通信方式に従ってアンテナ３１を介して他の携帯電話機２等と無線通信を行うものであり、ＲＦ部やベースバンド処理部等を備えている。
角速度検出部４０は、当該携帯電話機２のぶれ量を検出するぶれ量検出手段として機能するものである。この角速度検出部４０は、図２に示すように、撮影対象のフレームＦＬの上下方向（以下、Ｘ軸と定義する）の角速度を検出するＸ軸ジャイロセンサ４１と、左右方向（以下、Ｙ軸と定義する）の角速度を検出するＹ軸ジャイロセンサ４２とを有している。この角速度検出部４０は、２つのジャイロセンサ４１、４２によりＸ軸及びＹ軸の各角速度に応じた電圧値の角速度検出信号ＳＶを制御部６０に出力する。

撮影部５０は、動画や静止画を撮影する撮影手段として機能するものであり、カメラコントロール回路５１、撮影カメラ５２、撮影部ＲＡＭ５３及び表示パネル５４を備えている。カメラコントロール回路５１は、制御部６０の制御の下、撮影部５０の各部を制御するものである。また、撮影カメラ５２は、撮影データＤ１をカメラコントロール回路４１に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状或いはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサにて取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成されている。

撮影部ＲＡＭ５３は、撮影データを一時的に格納するバッファとして機能するものである。また、表示パネル５４は、撮影画像や設定画面等の各種情報を表示する表示手段として機能し、例えば液晶ディスプレイパネルや有機ＥＬパネル等のフラットディスプレイパネルにて構成されている。リムーバブルメディア７０は撮影データ等を格納するものである。
このような構成の下、撮影カメラ５２から出力された撮影データＤ１は、カメラコントロール回路５１にて所定の処理がなされた後、撮影部ＲＡＭ５３に一時的に格納され、撮影画像を保存する場合にはリムーバブルメディア７０に格納される。また、撮影部ＲＡＭ５３に格納された撮影データは表示パネル５４に表示する際に用いられると共に、テレビ電話の際には、この撮影データが通信部２０を介して通信先の携帯電話機２（２Ｂ）に無線送信される。また、リムーバブルメディア７０に格納された撮影データは、撮影画像を表示（再生）する際に用いられる。

図３はカメラコントロール回路５１のブロック図である。
カメラコントロール回路５１は、ぶれデータ演算部８０と、撮影画像処理部８１と、補正画像作成部８２と、補正画像出力部８３とを備えている。
ぶれデータ演算部８０は、角速度検出部４０から出力される角速度検出信号ＳＶに演算処理を行い、撮影データＤ１のサンプリング周期でぶれ量に相当するぶれデータＢ１を取得し、補正画像作成部８２又は制御部６０に選択的に出力する。すなわち、ぶれデータ演算部８０は、撮影データＤ１の１フレーム毎にぶれデータＢ１を取得する。
なお、このぶれデータＢ１は角速度の情報でもよいが、撮影カメラ５２の焦点距離や被写体までの距離から計算したフレーム上のずれ量（例えばドット数）の情報を適用してもよい。また、角速度の情報をぶれデータＢ１として送信する場合は、このぶれデータＢ１に、撮影カメラ５２の焦点距離や被写体までの距離といった撮影状況を示す基礎データを含めることが好ましい。

撮影画像処理部８１は、撮影カメラ５２より送られた撮影データＤ１又は通信部３０を介して他の携帯電話機２（２Ａ）から受信した撮影データＤ２を入力して撮影部ＲＡＭ５３に記憶させる。補正画像作成部８２は、撮影部ＲＡＭ５３に記憶された撮影データにぶれ補正処理を行うぶれ補正手段として機能するものであり、ぶれデータ演算部８０が取得したぶれデータＢ１を入力し、或いは、テレビ電話時は、ぶれデータＢ１に加え、通信部３０を介して他の携帯電話機２（２Ａ）から受信したぶれデータＢ２を入力し、これらぶれデータＢ１、Ｂ２に基づいて撮影部ＲＡＭに記憶された撮影データにぶれ補正処理を行う。
また、補正画像出力部８３は、ぶれ補正処理が行われた場合は補正後の撮影データを、ぶれ補正処理が行われなかった場合は補正されなかった撮影データを、表示パネル５４等に出力する。

制御部６０は、携帯電話機２の各部を制御するコンピュータとして機能するものであり、図１に示すように、各種プログラムの実行や演算処理をするＣＰＵ６１と、このＣＰＵ６１が実行する制御プログラム１００や各種データを格納する書換可能なフラッシュＲＯＭ（以下、単に「ＲＯＭ」という）６２と、上記ＣＰＵ６１の演算結果や各種データを一時的に格納するためのワークエリアとして機能するＲＡＭ６３とを備えている。また、上記ＲＯＭ６２に格納された制御プログラム１００には、テレビ電話用のぶれ補正プログラムが含まれており、このぶれ補正プログラムを実行することで、ぶれを補正した動画表示を実現する。

この制御プログラム１００は、磁気記録媒体、光記録媒体又は半導体記録媒体等のコンピュータ読み取り可能な記録媒体１１０（図１参照）に記録して配布することが可能である。さらに、パーソナルコンピュータと本携帯電話機２とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体１１０の制御プログラム１００を本携帯電話機２に出力することで、ＲＯＭ６２に制御プログラム１００を格納することも可能である。

次に、テレビ電話用のぶれ補正プログラム実行時の動作を説明する。なお、このぶれ補正プログラムはテレビ電話時に実行されるものである。ここで、テレビ電話時の携帯電話機２の動作は、自機２の撮影時のぶれ量を示すぶれデータを撮影データと共に通信相手の携帯電話機２に送信する点と、通信相手から送信された撮影データと撮影時のぶれ量を示すぶれデータとを受信して撮影画像の手ぶれ補正を行う点とが大きく異なり、それ以外は、音声と動画像（撮影画像）を互いに送受信してテレビ電話を実現する公知の携帯電話機の動作と略同様である。
これらの動作は、テレビ電話中の両方の携帯電話機２が行うものであるが、以下、説明を判りやすくするため、送信側装置２Ａから撮影データＢ２とぶれデータＢ２とが移動通信ネットワークＮＷを介して受信側装置２Ｂに送信され、受信側装置２Ｂが、その撮影データＢ２とぶれデータＢ２とを受信する場合について詳細に説明する。

図４は、受信側装置２Ｂにおけるぶれ補正プログラム実行時の動作を示すフローチャートである。なお、前提として、送信側装置２Ａからは、ぶれ補正されていない動画の撮影データＢ２と、撮影時のぶれデータＢ２とが略リアルタイムで受信側装置２Ｂに送信されているものとする。
受信側装置２Ｂにおいて、まず、制御部６０は、テレビ電話の開始時にぶれ補正レベルを設定する（ステップＳ１）。このぶれ補正レベルは、ユーザが設定するレベルであり、制御部６０はこのぶれ補正レベルに応じてカメラコントロール回路５１で行うぶれ補正処理の内容を変更する。
詳述すると、本実施形態では、ぶれ補正レベルを「低」、「中」、「高」の三段階に区分けし、「高」に設定された場合には、撮影データ中の複数フレームの画像を参照し、フレームや被写体の動きを分析し、この動きをなくすように画像シフト等の画像補正を行って手ぶれを補正するぶれ補正処理を適用し、「中」に設定された場合には、表示のフレームレートを落とす、又は、解像度を下げる等の簡略的なぶれ補正処理を適用し、「低」に設定された場合には、ぶれ補正しないこととしている。すなわち、ぶれ補正レベルが下がるほど、ぶれ補正による処理負担が軽減される。

次に、制御部６０は、通信先の送信側装置２Ａから撮影データＤ２とぶれデータＢ２とを受信する処理を開始し（ステップＳ２、Ｓ３）、また、ぶれ量取得処理を開始することにより（ステップＳ４）、角速度検出部４０の角速度検出信号ＳＶから当該受信側装置２ＢのぶれデータＢ１を取得する。なお、この場合、制御部６０は、撮影カメラ５２により受信側装置２Ｂにおける撮影データＤ１の取得も開始しており、この撮影データＤ１とぶれデータＢ１とを通信部３０を介して送信側装置２Ａに送信している。
続いて、制御部６０は、送信側装置２Ａから撮影データＤ２とぶれデータＢ２とを受信すると、ぶれデータＢ２からぶれデータＢ１を引いた差分を求めることにより、送信側装置２Ａと受信側装置２Ｂとの相対ぶれ量を示す差分データＢＤを取得する（ステップＳ５）。この場合、送信側装置２ＡのぶれデータＢ２が、角速度の情報と基礎データ（撮影時の焦点距離や被写体までの距離）とを含むデータの場合には、これら情報からフレーム上のずれ量を算出し、このずれ量と、受信側装置２ＢのぶれデータＢ１から算出したフレーム上のずれ量との差分を差分データＢＤとすることが好ましい。

そして、制御部６０は、カメラコントロール回路５１により取得した差分データＢＤに基づき受信した撮影データＤ１にぶれ補正処理を行い、送信側装置２Ａと受信側装置２Ｂとの相対ぶれ量に基づいてぶれ補正を行う（ステップＳ６）。すなわち、本実施形態では、制御部６０及びカメラコントロール回路５１がぶれ補正手段として機能している。
この場合、上述したように、ぶれ補正レベルによってぶれ補正処理の内容が変更されるため、ぶれ補正レベルが「高」の場合には、送信側装置２Ａと受信側装置２Ｂとの相対ぶれ量を正確になくすことが可能なぶれ補正処理が実行され、相対ぶれ量をなくした撮影画像を取得することができる。
一方、ぶれ補正レベルが「中」の場合には、送信側装置２Ａと受信側装置２Ｂとの相対ぶれ量に応じて、このぶれが目立たない程度にフレームレートを落とす、又は、解像度を下げる等の簡略的なぶれ補正処理が実行され、処理負担を軽減しつつぶれが目立たない撮影画像を取得することができる。
また、ぶれ補正レベルが「低」の場合には、ぶれ補正処理が行われず、このため、送信側装置２Ａ及び受信側装置２Ｂの両方に殆どぶれがない場合、或いは、ユーザがぶれを気にしない場合に、ぶれ補正処理を行って無用な処理負担をかけてしまう場合を回避することができる。

次いで、制御部６０は、通信先の送信側装置２Ａからのデータ受信（撮影データＤ２及びぶれデータＢ２の受信）が終了したか否か（ステップＳ７）、つまり、テレビ電話が終了したか否かを判定し、終了していない場合は（ステップＳ７：NO）、ステップＳ２の処理に移行して撮影データＤ２の次のフレームに対してぶれ補正処理を行う一方、終了した場合は（ステップＳ７：YES）、処理を終了する。

以上の構成により、テレビ電話の間は、上記ステップＳ２〜Ｓ６の処理が順次循環的に繰り返され、通信先の送信側装置２Ａから送られてきた撮影データＤ２のフレーム毎に、送信側装置２Ａと受信側装置２Ｂとの相対ぶれ量をなくすぶれ補正処理が実行され、この補正後の撮影データＤ２の画像が、表示パネル５４に表示される。これにより、送信側装置２Ａにだけぶれが生じている場合には、送信側装置２Ａのぶれを補正した画像が表示され、また、受信側装置２Ｂだけにぶれが生じている場合には、受信側装置２Ｂがぶれている状態でも殆どぶれない画像が表示され、送信側装置２Ａ及び受信側装置２Ｂのいずれにもぶれが生じている場合にも、受信側装置２Ｂがぶれている状態でも殆どぶれない画像が表示される。従って、受信側装置２Ｂのユーザは、送信側装置２Ａ及び受信側装置２Ｂのいずれがぶれている状況でも、ぶれのない画像を視認することができる。

以上説明したように、本実施形態によれば、通信先の送信側装置２Ａから撮影データＤ２とぶれデータＢ２とを受信し、このぶれデータＢ２と当該受信側装置２ＢのぶれデータＢ１との差に基づいて撮影データＤ２にぶれ補正処理を行うので、送信側装置２Ａ及び受信側装置２Ｂのいずれにぶれが生じている状況でも、受信側装置２Ｂのユーザ側（鑑賞側）において、ぶれのない画像を表示することができる。これにより、見かけ上の解像度が向上し、撮影画像に小さい文字が含まれている場合でも、その文字をはっきり表示することが可能になる。

しかも、本構成では、ぶれ補正処理を受信側装置２Ａだけが行うので、送信側装置２Ａの処理負担が少なくて済む。つまり、画像を双方向で送受信して表示するテレビ電話の場合、送信対象の撮影データをぶれ補正する処理が不要で、送信側の処理負担を軽減することができ、画像表示のリアルタイム性が向上する。
また、本構成では、撮影画像のぶれ補正を画像処理によって行うので、従来のプロジェクタ装置やスクリーン等のぶれ量を検出する機構や、プロジェクタ装置やスクリーン等を物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、部品点数が少なくて済み、構成の複雑化を回避することができる。
このため、携帯電話機の小型化及び薄型化を容易に図ることができ、また、小型のジャイロセンサ４１、４２を使用すれば、より一層の小型化及び薄型化が可能となる。

さらに、本構成では、ユーザが設定可能なぶれ補正レベルを設け、このぶれ補正レベルが下がるほど、処理負担が少ないぶれ補正処理を行うようにしたので、送信側装置２Ａ及び受信側装置２Ｂの双方に殆どぶれがない場合に、ぶれ補正処理を行って無駄な処理負担をかけてしまう場合を回避することができる。
また、ぶれ補正に要する処理負担が大きいと、補正後の撮影画像のフレームレートが下がってしまい、いわゆるコマ落ちが生じてしまうおそれがあるが、本構成では、ユーザがぶれ補正レベルを低く設定することにより、ぶれ補正の処理負担を下げ、コマ落ちのない動画、或いは、コマ落ちを低減した動画を表示することが可能になる。
なお、このぶれ補正レベルは、ユーザが設定した過去の履歴、若しくは、送信側装置２Ａ及び受信側装置２Ｂの相対ぶれ量（差分データＢＤ）等に基づいて自動的に設定するようにしてもよい。この場合、例えば、送信側装置２Ａから送信された基礎データを参照し、送信側装置２Ａの撮影カメラ５２が広角で被写体までの距離が遠い場合には、相対ぶれ量が比較的大きい場合でも撮影画像中のぶれが殆ど判らないため、ぶれ補正レベルを「低」に設定してぶれ補正をしないようにしてもよい。

（応用例）
上述の実施の形態では、受信側装置２Ｂが、自装置２Ｂのぶれ量を検出し、送信側装置２Ａのぶれ量と自装置２Ｂのぶれ量との差に基づいて通信先からの撮影画像にぶれ補正を行う場合について説明したが、これに限らず、受信側装置２Ｂ側のぶれ量の検出処理を省略し、受信側装置２Ｂが、送信側装置２Ａのぶれ量だけに基づいて通信先からの撮影画像にぶれ補正を行うようにしてもよい。この場合、受信側の処理負担を軽減することが可能になる。

また、上述の実施形態において、送信側装置２Ａが、自装置２Ａで検出したぶれ量に基づいて自装置２Ａの撮影画像をぶれ補正した後、ぶれ補正後の撮影画像を受信側装置２Ｂに送信するようにしてもよい。この場合、受信側装置２Ａは、受信した撮影画像に自装置２Ａのぶれ量を補正するぶれ補正処理を実行してもよいし、ぶれ補正処理を行わずに、受信した撮影画像をそのまま表示してもよい。これによって、受信側装置２Ａの処理負担を軽減しつつ送信側装置２Ａのぶれを補正した画像を表示することができる。

また、上述の各実施形態では、受信側装置２Ｂ又は送信側装置２Ａがぶれ補正処理を行う場合について説明したが、図５に示すように、移動通信ネットワークＮＷに接続されるサーバ９０を設け、このサーバ９０が、送信側装置２Ａから送信された撮影画像とぶれ量とを受信し、受信した撮影画像にそのぶれ量を補正するぶれ補正処理を実行した後、補正後の撮影画像を受信側装置２Ｂに送信するようにしてもよい。この場合、受信側装置２Ａは、受信した撮影画像に自装置２Ａのぶれ量を補正するぶれ補正処理を実行してもよいし、ぶれ補正処理を行わずに、受信した撮影画像をそのまま表示してもよい。
これによって、サーバ９０がぶれ補正処理を行う分だけ、携帯電話機２側の処理負担を軽減することができ、また、サーバ９０の高い処理能力でぶれ補正処理を行うので、コマ落ちのないぶれ補正画像を得ることが可能になる。

また、上述の実施形態では、上下方向（Ｘ軸）及び左右方向（Ｙ軸）のぶれをジャイロセンサで検出する場合を説明したが、これに限らず、さらに、奥行き方向（Ｚ軸）のぶれを検出してもよいし、また、上記いずれか１つの方向の手ぶれを検出してもよい。また、ジャイロセンサに限らず、加速度センサ等の他のぶれ量検出手段を適用してもよい。
また、上述の各実施形態では、１対１でテレビ電話を行う携帯電話機に本発明を適用する場合について述べたが、同時に複数の携帯電話機とテレビ電話を行うことができる携帯電話機に適用することも可能である。この場合、複数の通信相手からの撮影画像毎に上記ぶれ補正処理を各々実行し、補正後の各撮影画像を、表示パネル２４の表示画面を通信相手の数だけ画面分割し、各分割画面に各々表示すればよい。さらに、この場合に、複数の通信相手毎にぶれ補正レベルを設定可能に構成すれば、ユーザが適宜ぶれ補正レベルを低く設定することにより、処理負担を軽減することができる。

また、上述の各実施形態では、テレビ電話機能を有する携帯型電話装置に本発明を適用する場合を説明したが、これに限らず、双方向で撮影画像を受信して表示する機能を具備するＰＤＡやノート型パソコン等の携帯型電子機器、或いは、一方向で撮影画像を受信して表示する撮影画像表示システムに適用することができる。例えば、撮影画像表示システムには、撮影画像を送信する撮影装置と、この撮影装置から送信された撮影画像を表示する画像受信装置とからなるシステムに広く適用でき、撮影画像をメールで添付してメール受信側で再生するメールシステム等のリアルタイム性を必要としない撮影画像表示システムにも適用が可能である。

本発明の撮影画像表示システムの構成を示す図である。 フレームとぶれの軸との関係を説明するための図である。 カメラコントロール回路のブロック図である。 受信側装置の動作を示すフローチャートである。 変形例に係る撮影画像表示システムの構成を示す図である。

符号の説明

１…撮影画像表示システム、２…携帯電話機、２Ａ…送信側装置（撮影装置）、２Ｂ…受信側装置（画像受信装置）、１０…操作部、２０…通話部（通話手段）、３０…通信部（送信手段、受信手段）、４０…角速度検出部（ぶれ量検出手段）、４１、４２…ジャイロセンサ、５０…撮影部（撮影手段）、５４…表示パネル（表示手段）、６０…制御部、１００…制御プログラム、１１０…記録媒体、Ｄ１、Ｄ２…撮影データ、Ｂ１、Ｂ２…ぶれデータ、ＮＷ…移動通信ネットワーク（通信ネットワーク）。

Claims (12)

1. 撮影画像と撮影時のぶれ量とを送信する撮影装置と、
   前記撮影装置から送信された撮影画像とぶれ量とを受信する画像受信装置とを備え、
   前記画像受信装置は、
   受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、
   前記ぶれ補正手段が補正した撮影画像を表示する表示手段と
   を備えることを特徴とする撮影画像表示システム。
2. 前記画像受信装置は、
   当該装置のぶれ量を検出するぶれ量検出手段を備え、
   前記ぶれ補正手段は、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことを特徴とする請求項１に記載の撮影画像表示システム。
3. 撮影画像のぶれを補正し、補正後の撮影画像を送信する撮影装置と、
   前記撮影装置から送信された撮影画像を受信する画像受信装置とを備え、
   前記画像受信装置は、
   当該装置のぶれ量を検出するぶれ量検出手段と、
   前記ぶれ量検出手段により検出したぶれ量に基づいて撮影画像にぶれ補正処理を行うぶれ補正手段と、
   前記ぶれ補正手段が補正した撮影画像を表示する表示手段と
   を備えることを特徴とする撮影画像表示システム。
4. 撮影画像と撮影時のぶれ量とを通信ネットワークを介して送信する撮影装置と、
   前記通信ネットワークを介して撮影画像を受信して表示する画像受信装置と、
   前記通信ネットワークに設けられるサーバとを備え、
   前記サーバは、前記撮影装置から送信されたぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を前記画像受信装置に送信することを特徴とする撮影画像表示システム。
5. 前記画像受信装置は、
   当該装置のぶれ量を検出するぶれ量検出手段と、
   前記ぶれ量検出手段により検出したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段とを備え、
   前記ぶれ補正手段が補正した撮影画像を表示することを特徴とする請求項４に記載の撮影画像表示システム。
6. 通信相手から撮影画像と撮影時のぶれ量とを受信する受信手段と、
   受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、
   前記ぶれ補正手段が補正した撮影画像を表示する表示手段と
   を備えることを特徴とする画像受信装置。
7. 当該装置のぶれ量を検出するぶれ量検出手段を備え、
   前記ぶれ補正手段は、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことを特徴とする請求項６に記載の画像受信装置。
8. 前記ぶれ量検出手段は、ジャイロセンサ又は加速度センサであることを特徴とする請求項６又は７に記載の画像受信装置。
9. 前記画像受信装置は、撮影する撮影手段と、撮影画像を前記通信相手に送信する送信手段と、前記通信相手との間で音声通話を行うための通話手段とを備える携帯型テレビ電話装置として構成されていることを特徴とする請求項６乃至８のいずれかに記載の画像受信装置。
10. 通信相手から撮影画像と撮影時のぶれ量とを受信して表示する画像受信装置の制御方法において、
    受信したぶれ量に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を表示することを特徴とする画像受信装置の制御方法。
11. 当該装置のぶれ量を検出し、受信したぶれ量と前記検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うことを特徴とする請求項１０に記載の画像受信装置の制御方法。
12. 通信ネットワークに設けられ、撮影装置から送信された撮影画像を受信して画像受信装置に送信するサーバにおいて、
    前記サーバは、前記撮影装置から送信された撮影画像と撮影時のぶれ量とを受信し、前記ぶれ量に基づいて前記撮影画像にぶれ補正処理を行い、補正後の撮影画像を前記画像受信装置に送信することを特徴とするサーバ。
    
    

Images