JP5212110B2 - ズーム機能付き動画像撮影装置、画像処理及び表示方法とプログラム - Google Patents

Description

本発明はズーム機能付き動画像撮影装置、動画像の画像処理及び表示方法とプログラムに関し、特に、ズーム機能が搭載された撮影装置について、ズーム切換処理時に発生する異常画像の処理技術に関する。

近年、ＣＣＤカメラなどのカメラ機能を備える携帯通信端末が広く普及している。なかには、光学ズームのみならず、デジタルズーム機能を搭載する装置もある（例えば、特許文献１）。

ところで、動画撮影時にデジタルズームの切換えを行うと、一定の切換処理期間、異常画像が発生してしまう。このような動画撮影時のズーム切換処理においては、数秒間の複数フレームを保持する大容量のバッファを備えることで、異常画像が排出された際には異常画像を飛ばし、１秒当たりに表示する画像数を減らすことにより、異常画像を表示しない処理を行っていた。

特開２００６−１５７１９１号公報

しかしながら、上述した従来技術では、画像データを複数枚保存できる大容量バッファを必要とするため、低コストによる実現が困難であった。

そこで、本発明は上記課題に鑑みて発明されたものであって、使用者が異常画像を意識しない画像表示を安価に実現するズーム機能付き動画像撮影装置、動画像の画像処理及び表示方法とプログラムを提供することにある。

本発明の装置は、ズーム機能付き動画像撮影装置であって、ズーム切換処理により画像異常が発生した場合に全データ値が所定の同じ値をとる代価画像データを、画像異常が回復するまで作成する手段と、異常発生直前のフレームの画像データを、画像異常が回復するまで表示する表示制御手段と、を備える。

本発明の方法は、ズーム切換処理時における動画像の画像処理及び表示方法であって、 ズーム切換処理により画像異常が発生した場合に、全データ値が所定の同じ値をとる代価画像データを画像異常が回復するまで作成し、異常発生直前のフレームの画像を画像が回復するまで表示する。

本発明のプログラムは、ズーム切換え処理時における動画像の画像処理及び表示処理のプログラムであって、ズーム切換処理により画像異常が発生した場合、全データ値が所定の同じ値をとる代価画像データを画像異常が回復するまで作成する処理と、異常発生直前のフレームの画像を画像が回復するまで表示する処理と、を情報処理装置に実行させる。

以上説明したように、本発明においては、以下に記載するような効果を奏する。

第１の効果は、動画撮影中のズーム切換時の異常画像発生を防げないカメラに対し、異常画像データを黒画面データに置き換えることで、異常画像を含まないビデオデータを作成するのと同時に、表示部ではズーム切換処理期間の画像更新を停止することで正常な画像データのみを表示し、ハードウェア処置を施さずに録画データと表示データとにズーム切換時の異常データを反映させずに処理することができ、その結果、使用者に対して異常画像を意識させることがない。

第２の効果は、異常画像の補間を行うための処理回路を必要とせず、また、大容量のバッファを備えることも必要としないため、安価にシステムを構築することができる。

本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係るズーム機能付き動画像撮影装置を備えた携帯端末装置としての携帯電話機の構成の要部を示したものである。

図１において、携帯電話機は、１０は撮像素子を有するカメラ部と、１１は動画撮影時に使用者がズーム切換処理を入力するキー操作部１１と、各部の制御を行うＣＰＵ１２と、画像データが格納されるカメラデータバッファ１３と、撮影画像が表示される表示部１４と、カメラデータバッファ１３より送られてくる画像データをビデオデータにエンコード処理する動画像処理部１５と、表示部１４に表示される画像データが格納される表示データバッファ１６とを備える。

このような構成において、データと制御との流れを説明する。

カメラ部１０にて撮られた画像データは、カメラデータバッファ１３に出力され（Ｄ１）、一旦保持される。そして、カメラデータバッファ１３から出力される画像データは、表示データバッファ１６に表示用データとして入力され（Ｄ２）、保持される。また、カメラデータバッファ１３出力される画像データは、動画像処理部１５に入力され（Ｄ３）、動画像処理部１５において、ビデオデータにエンコード処理される。尚、カメラ部１０は、異常画像時には、データ値が全て０の黒画像の画像データを出力する。

一方、キー操作部１１よりズーム切換処理が入力されると（Ｉ１）、ＣＰＵ１２は、表示データバッファ１６から表示部１４へのデータ出力を停止する指示を、データバッファ１６に出力する（Ｉ２）。また、表示部１４のデータ更新を停止する（Ｉ３）。

次に、上述の如く構成された本発明の動作を説明する。

まず、録画時のズーム切換時の表示画像の処理の動作について説明する。

図２は第１の実施の形態に係る携帯電話機において、録画時のズーム切換処理時における表示画像の処理の動作フローチャートである。尚、以下の説明において、動画撮影時にズーム切換キーが押下された後、ズーム切換処理時の異常画像排出時間は予め計測して分かっているものとし、その時間がＣＰＵによるタイマーに記憶されているものとする。

動画撮影時にズーム切換キーが押下されると（Ｓｔｅｐ １００）、ＣＰＵ１２は、表整示部１４に対して表示画像の更新を停止させる（Ｓｔｅｐ １０１）。停止後、異常画像が出力される期間を計るタイマーによる計測を開始する（Ｓｔｅｐ １０２）。

カメラ１０はＣＰＵ１２の命令により、ズーム切換処理を行う（Ｓｔｅｐ １０３）。処理中のカメラからはデータ値が“０”である黒画像の画像データが出力され（Ｓｔｅｐ １０４）、カメラデータバッファ１３に入力される（Ｓｔｅｐ １０５）。

カメラデータバッファ１３に入力された黒画像の画像データは、表示データバッファ１６に出力されて保持されるが（Ｓｔｅｐ １０６）、異常画像排出時間が終了するまで表示画像データは表示データバッファ１６に溜められ、表示部１４では画像データが更新されずに前画像データの画像が表示される（Ｓｔｅｐ １０７）。

タイマーの計測時間が異常画像排出時間となると（Ｓｔｅｐ １０８）、表示部１４のデータの更新を再開し（Ｓｔｅｐ １０９）、表示データバッファ１６内に溜められた最新の画像データを表示部１４に連続転送し、最新データに上書きする（Ｓｔｅｐ １１０）。そして、表示部１４は、表示データバッファ１６から転送された画像データを表示する（Ｓｔｅｐ １１１）。

続いて、録画時のズーム切換処理時の動画処理（ビデオエンコード）の動作について説明する。

図３は第１の実施の形態に係る携帯電話機において、録画時のズーム切換時における動画処理の動作フローチャートである。尚、以下の説明において、上述した録画時のズーム切換時の表示画像の処理と同じ処理については、同一のステップ番号を付して説明を詳細な説明を省略する。

まず、動画撮影時にズーム切換キーが押下（Ｓｔｅｐ １００）から、画像データの値が“０”である黒画像の画像データがカメラデータバッファ１３に入力される（Ｓｔｅｐ １０５）までは同様である。

カメラデータバッファ１３に入力された黒画像の画像データは、動画像処理部１５に入力される（Ｓｔｅｐ ２００）。そして、動画像処理部１５において、黒画像の画像データはビデオエンコード処理される（Ｓｔｅｐ ２０１）。

タイマーの計測時間が異常画像排出時間まで（Ｓｔｅｐ １０８）、動画像処理部１５は黒画像の画像データをビデオエンコード処理し、異常画像排出時間終了後は、正常な画像データをビデオエンコード処理する（Ｓｔｅｐ ２０２）。

このような処理を行うことにより、異常画像を含まないビデオデータを作成するのと同時に、表示部ではズーム切換処理期間の画像更新を停止することで正常な画像データのみを表示し、使用者に対して異常画像を意識させることがない。

尚、上述した実施の形態では、ズーム切換処理の開始の検出として、ズーム切換キーが押下をトリガにしたが、これに限ることなく、異常画像の排出、又は黒画像の画像データの排出を検出して、これを処理開始のトリガにしても良い。

また、上述した実施の形態では、ズーム切換処理の終了を、フレーム数を計測することにより検出したが、これに限ることなく、異常画像、又は黒画像の画像データの排出の終了を検出して、これを処理終了のトリガにしても良い。

更に、上述した実施の形態では、異常画像の代わりに黒画像の画像データを用いたが、これに限ることなく、データ値が“１”の白画像の画像データであってもかまわない。

次に、本発明のズーム切換処理開始から終了までの動作を、具体例を用いて説明する。

図４はズーム切換処理時の異常画像を含む前後の７個の画像フレーム期間の処理を説明する為の図である。尚、以下の説明では、ズーム切換処理にかかる時間は、ズーム切換キーの押下から２フレームかかるものとする。なお、図４において、「ＮＧ」は異常フレーム、「Ｂ」は黒画像フレーム、「ｎ（ｎは整数）」は正常フレームを示す。

まず、１ｓｔフレーム、２ｓｔフレーム、３ｓｔフレームの期間、カメラ部１０は正常な画像を出力する。この場合、正常な画像がエンコードされ、また、正常な画像が表示部１４においても表示される。

ここで、カメラ部１０から正常画像が出力された後、４ｓｔフレーム時にキー操作部１１からズーム切換処理を入力されるとタイマーの計測が開始される。一方、カメラ部１０ではズーム切換処理に２フレームの期間を要するので、４ｓｔフレーム、５ｓｔフレームの期間、カメラ部１０内のデータは異常画像となり、カメラ部１０からはデータ値が“０”である黒画像の画像データが出力される。

動画像処理部１５では、４ｓｔフレーム、５ｓｔフレームの期間、カメラ部１０から出力された黒画像の画像データがエンコードされる。一方、表示部１４では、ＣＰＵ１２の指示により、４ｓｔフレーム、５ｓｔフレームの期間、直前の正常な３ｓｔフレームの画像で表示データを停止させ、カメラデータバッファ１３からの出力データは表示データバッファ１６に溜めおかれる。

タイマー計測により、２フレームがカウントされると、ズーム切換処理が終了し、６ｓｔフレーム、７ｓｔフレームの期間では、カメラ部１０から正常画像の画像データが出力される。

正常な画像データが出力される６ｓｔフレーム時に、表示部１４はデータ更新を再開し、表示データバッファ１６に溜め込まれた最新の６ｓｔフレームの画像データに上書きし、６ｓｔフレームの画像データの画像を表示する。一方、動画像処理部１５では、６ｓｔフレーム、７ｓｔフレームの正常な画像データがエンコードされる。

第２の実施の形態を説明する。

第２の実施の形態は、その基本的構成は上述した第１の実施の形態と同様であるが、カメラ１０部内で、異常画面を黒画像の画像データに置き換えられない場合について工夫している。

カメラ１０部内で、異常画面を黒画像の画像データに置き換えられない場合、カメラデータバッファ１３から出力されて動画像処理部１５に入力される画像データのうち、ズーム切換処理期間の間、画像データの値を“０”に変換して黒画像の画像データを生成し、この黒画像の画像データを動画像処理する。尚、黒画像の画像データの変換であるが、動画像処理部１５が行っても良いし、黒画像に変換する変換部を動画像処理部１５の前段に設けても良い。また、変換処理は、ソフトウェア、またはハードウェアで行うことが可能である。

次に、第２の実施の形態における動作を説明する。

図５は第２の実施の形態に係る携帯電話機において、録画時のズーム切換時における表示画像の処理及び動画処理の動作フローチャートである。尚、以下の説明において、上述した第１の実施の形態と同じ処理については、同一のステップ番号を付して説明を詳細な説明を省略する。

まず、動画撮影時にズーム切換キーが押下（Ｓｔｅｐ １００）から、画像データの値が“０”である黒画像の画像データがカメラデータバッファ１３に入力される（Ｓｔｅｐ １０５）までは同様である。

ズーム切換処理において、カメラデータバッファ１３から出力された画像データが動画像処理部１５で処理されるエンコード用である場合（Ｓｔｅｐ ３００、２００）、動画像処理部１５はカメラデータバッファ１３から出力された画像データに対してデータ値を０に変換し（Ｓｔｅｐ ３０１）、その後ビデオエンコードする（Ｓｔｅｐ ２０１）。

一方、ズーム切換処理において、カメラデータバッファ１３から出力された画像データが表示データバッファ１６に入力される場合（Ｓｔｅｐ ３００、１０６）、カメラデータバッファ１３に入力された画像データは、表示データバッファ１６に出力されて保持されるが、異常画像排出時間が終了するまで表示画像データは表示データバッファ１６に溜められ、表示部１４では画像データが更新されずに前画像データが表示される（Ｓｔｅｐ １０７）。

タイマーの計測時間が異常画像排出時間となると（Ｓｔｅｐ １０８）、表示部１４のデータの更新を再開し（Ｓｔｅｐ １０９）、表示データバッファ１６内に溜められた最新の画像データを表示部１４に連続転送し、最新データに上書きする（Ｓｔｅｐ １１０）。そして、表示部１４は、表示データバッファ１６から転送された画像データを表示する（Ｓｔｅｐ １１１）。
このように、第２の実施の形態によれば、カメラ部内で、異常画面を黒画像の画像データに置き換えられない場合であっても、第１の実施の形態と同様な効果を得ることができる。

以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。

例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

このプログラムは、例えば、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、上記実施形態で説明した、送信側のメディア送受信装置と受信側のメディア送受信装置とで構成されるメディア送受信システムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

この出願は、２００６年１１月２８日に出願された日本出願特願２００６−３１９５０６を基礎とする優先権を主張し、その開示を全てここに取り込む。

図１は本発明の実施の形態に係るズーム機能付き動画像撮影装置を備えた携帯端末装置としての携帯電話機の構成の要部を示した図である。 図２は第１の実施の形態に係る携帯電話機において、録画時のズーム切換時の表示画像の処理の動作フローチャートである。 図３は第１の実施の形態に係る携帯電話機において、録画時のズーム切換時における動画処理の動作フローチャートである。 図４はズーム切換処理時の異常画像を含む前後の７個の画像フレーム期間の処理を説明する為の図である。 図５は第２の実施の形態に係る携帯電話機において、録画時のズーム切換時における表示画像の処理及び動画処理の動作フローチャートである。

符号の説明

１０ カメラ部
１１ キー操作部
１２ ＣＰＵ
１３ カメラデータバッファ
１４ 表示部
１５ 動画像処理部
１６ 表示データバッファ

Claims (12)

1. ズーム機能付き動画像撮影装置であって、
   ズーム切換処理により画像異常が発生した場合、全データ値が所定の同じ値をとる代価画像データを、画像異常が回復するまで作成する手段と、
   異常発生直前のフレームの画像データを、画像異常が回復するまで表示する表示制御手段と、を有することを特徴とするズーム機能付き動画像撮影装置。
2. 前記表示制御手段は、前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラから出力されたフレームの画像データを表示することを特徴とする請求項１記載のズーム機能付き動画像撮影装置。
3. 前記カメラから出力される画像データ、又は、前記代価画像データを画像処理する画像処理手段を有することを特徴とする請求項２記載のズーム機能付き動画像撮影装置。
4. 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラから出力される画像データ又は前記代価画像データは、データ値が０の黒画像のデータ又はデータ値が１の白画像のデータのいずれかであることを特徴とする請求項２又は３記載の動画像撮影装置。
5. ズーム切換処理時における動画像の画像処理及び表示方法であって、
   ズーム切換処理により画像異常が発生した場合、
   全データ値が所定の同じ値をとる代価画像データを、画像異常が回復するまで作成し、
   異常発生直前のフレームの画像を、画像が回復するまで表示することを特徴とする動画像の画像処理及び表示方法。
6. 前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラから出力されたフレームの画像データを表示し、
   前記カメラから出力される画像データを画像処理することを特徴とする請求項５記載の動画像の画像処理及び表示方法。
7. 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラから出力される画像データは、データ値が０の黒画像のデータ又はデータ値が１の白画像のデータのいずれかであることを特徴とする請求項６記載の動画像の画像処理及び表示方法。
8. 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラから出力される前記代価画像データは、データ値が０の黒画像のデータ又はデータ値が１の白画像のデータのいずれかであることを特徴とする請求項６記載の動画像の画像処理及び表示方法。
9. ズーム切換え処理時における動画像の画像処理及び表示処理のプログラムであって、
   ズーム切換処理により画像異常が発生した場合、全データ値が所定の同じ値をとる代価画像データを、画像異常が回復するまで作成する処理と、
   異常発生直前のフレームの画像を、画像が回復するまで表示する処理と、を情報処理装置に実行させることを特徴とする動画像の画像処理及び表示処理のプログラム。
10. 前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラから出
    力されたフレームの画像データを表示する処理と、
    前記カメラから出力される画像データを画像処理する処理と、
    を情報処理装置に実行させることを特徴とする請求項９記載の動画像の画像処理及び表示処理のプログラム。
11. 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラから出力される画像データは、データ値が０の黒画像のデータ又はデータ値が１の白画像のデータのいずれかであることを特徴とする請求項１０記載のプログラム。
12. 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラから出力される前記代価画像データは、データ値が０の黒画像のデータ又はデータ値が１の白画像のデータのいずれかであることを特徴とする請求項１０記載のプログラム。

Images