JP2013168942A - カメラのデータ処理装置及び方法 - Google Patents

Abstract

【課題】カメラ装置又はカメラを含む端末装置においてシャッタ・オン時点のイメージを遅延時間無しでキャプチャできる方法及び装置を提供する。
【解決手段】カメラ駆動時にフレーム周期毎にカメラセンサからイメージを獲得する過程と、獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換する過程と、表示イメージを表示部に表示し、圧縮イメージをバッファリングする過程とを備え、端末装置は、カメラ駆動時にフレーム毎にイメージを獲得するカメラと、獲得されたイメージを各々表示イメージ及び圧縮イメージに変換し、表示イメージ及び圧縮イメージを１つのフレームで生成して出力するイメージ処理部と、イメージ処理部から出力される表示イメージを表示部に表示し、圧縮イメージをバッファリングするアプリ処理部と、アプリ処理部から出力される表示イメージを表示する表示部とから構成される。
【選択図】図３

Description

本発明は、カメラ及びカメラを備える携帯端末機のデータの処理処置及び方法に係り、特にカメラで高精細画素のデータを処理できる装置及び方法に関する。

カメラ装置及びカメラを含む携帯端末装置は、高画質イメージを提供し、また、多様なユーザ便宜機能を提供している。現在カメラ装置のイメージセンサ（ｉｍａｇｅ ｓｅｎｓｏｒ又はカメラセンサと称する）は、フルＨＤ級以上の解像度（ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ｒｅｓｏｌｕｔｉｏｎ）を有するイメージを処理できる。

前記カメラ装置は、プレビューモードでは、カメラセンサが感知（ｓｅｎｓｅ）したイメージをそのまま表示し、ユーザがシャッタボタン（ｓｈｕｔｔｅｒ ｂｕｔｔｏｎ）を押せば、前記カメラセンサが感知したイメージを獲得（ａｃｑｕｉｒｅ）し、格納（ｓａｖｅ）する。この際、ユーザがシャッタボタンを押してから、フルサイズのイメージを感知、獲得して格納する、即ち、キャプチャ（ｃａｐｔｕｒｅ）するまで遅延時間（シャッタディレイ（ｓｈｕｔｔｅｒ ｄｅｌａｙ）、又はシャッタラグ（ｓｈｕｔｔｅｒ ｌａｇ）といわれる）が存在する。即ち、シャッタ・オン時点からカメラセンサが被写体の撮影を完了する時点までの時間差が存在し、この時間差は、被写体の撮影環境及びイメージ処理部の処理時間などによって惹起される。従って、従来のカメラ装置及びカメラを備える携帯端末機は、この遅延時間があるので所望の時点でのイメージを獲得できないという問題点があった。

また、前記イメージをキャプチャする時点で、カメラが揺れたか、又は被写体の人物が目を閉じるなどの不要な動作が撮影された場合、前記キャプチャされたイメージを修正するのに限界があり、この場合、撮影時の状況は、完全に同一には再現できないので、カメラ撮影の限界を露呈するという問題点があった。

従って、本発明は、カメラ装置又はカメラを含む端末装置においてシャッタ・オン時点のイメージを上記の遅延時間無しでキャプチャできる装置及び方法を提案する。また、本発明は、カメラ装置又はカメラを備える端末装置において撮影されたイメージの内から所望のイメージを選択して格納できる装置及び方法を提案する。また、本発明の実施例によるカメラ装置又はカメラを備える端末装置においてイメージ撮影時にイメージに関連したカメラ及びセンサの撮影情報を獲得し、イメージと共に処理できる装置及び方法を提案する。

このために、本発明の実施例によるカメラ装置又はカメラを含む端末装置は、カメラセンサから獲得したイメージを処理し、フレーム毎に複数のイメージを生成し、生成されるイメージをそれぞれプレビューイメージ及びキャプチャイメージとして処理する。

また、本発明の実施例によるカメラ装置又はカメラを含む端末装置は、フレーム毎にカメラ及び装置のセンサから撮影情報を獲得し、獲得された撮影情報をイメージと共に処理する。

本発明の第１実施例による携帯端末機のイメージ撮影方法は、カメラ駆動時にフレーム周期毎にカメラセンサからイメージを獲得する過程と、前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換する過程と、前記表示イメージを表示部に表示し、前記圧縮イメージをバッファリングする過程とを備えることを特徴とする。

本発明の第１実施例による携帯端末装置は、カメラ駆動時にフレーム毎にイメージを獲得するカメラと、前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換し、前記表示イメージ及び圧縮イメージを１つのフレームで生成して出力するイメージ処理部と、前記イメージ処理部から出力される表示イメージを表示部に表示し、前記圧縮イメージをバッファリングするアプリケーション（以下、アプリと略称する）処理部と、前記アプリ処理部から出力される表示イメージを表示する表示部とで構成されることを特徴とする。

また、本発明の第２実施例による携帯端末装置のイメージ撮影方法は、カメラ駆動時にフレーム毎にカメラセンサからイメージを獲得する過程と、前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換し、前記イメージの撮影情報を生成し、前記表示イメージ、圧縮イメージ及び撮影情報を１つのフレームで出力する過程と、前記表示イメージを表示部に表示し、前記圧縮イメージ及び撮影情報をバッファリングする過程とを備えることを特徴とする。

また、本発明の第２実施例による携帯端末装置は、カメラ駆動時にカメラセンサからイメージを獲得するカメラ部と、前記カメラ部で獲得されたイメージを処理してそれぞれ表示イメージ及び圧縮イメージに変換し、前記カメラ部から撮影情報を受信し、前記表示イメージ、圧縮イメージ及び撮影情報を１つのフレームで生成して出力するイメージ処理部と、前記表示イメージを表示部に表示し、且つ前記圧縮イメージ及び撮影情報をバッファリングするアプリ処理部と、前記表示イメージを表示する表示部とで構成されることを特徴とする。

また、本発明の実施例によるカメラ装置は、カメラ駆動時にフレーム区間毎にカメラセンサからイメージを獲得するカメラ部と、少なくとも１つのセンサを備えるセンサ部と、前記カメラ部で獲得されたイメージを処理してそれぞれ表示イメージ及び圧縮イメージを生成し、前記イメージ撮影時に前記カメラ部及びセンサ部の出力から撮影情報を獲得し、前記表示イメージを表示部に表示し、前記圧縮イメージ及び撮影情報をバッファリングする処理部と、前記表示イメージを表示する表示部とで構成されることを特徴とする。

また、本発明の実施例による携帯端末装置は、外部装置と無線通信を行う通信部と、前記通信部を通じて携帯端末装置の通話及び通信を制御する端末制御部と、カメラ駆動時にフレーム周期毎にカメラセンサからイメージを獲得するカメラ部と、少なくとも１つのセンサを備え、センサ情報を生成するセンサ部と、前記カメラ部で獲得されたイメージを処理して表示イメージ及び圧縮イメージを生成し、前記イメージ撮影時に前記カメラ部から撮影情報を生成し、前記生成された表示イメージ、圧縮イメージ及び撮影情報を１つのフレームで生成して出力するイメージ処理部と、前記端末制御部と通信し、通信アプリを処理し、カメラ駆動時に前記表示イメージを表示部に表示し、前記表示イメージ、圧縮イメージ及び撮影情報をそれぞれバッファリングするアプリ処理部と、前記表示イメージを表示する表示部とで構成されることを特徴とする。

本発明の実施例によるカメラ装置又はカメラを含む端末装置は、フレーム毎にカメラセンサから獲得されるイメージを処理して複数のイメージ及び撮影情報を獲得し、撮影情報を利用して所望のイメージをキャプチャできる。従って、カメラ装置又はカメラを含む端末装置において撮影されるイメージを所望の時点でキャプチャしてゼロシャッタラグを具現でき、また、撮影されたイメージの内から所望のイメージを選択して格納できるという利点がある。

は、本発明の実施例によるカメラ装置の構成を示す図である。 は、本発明の実施例によるカメラ部の構成を示す図である。 は、本発明の実施例によるイメージ処理部及びアプリ処理部の構成を示す図である。 （ａ）は、本発明の実施例によってイメージ処理部で生成されるイメージフレームの構成を示す図であり、 （ｂ）は、本発明の実施例によってフレームを構成するＹＵＶイメージ、ＪＰＥＧイメージ及び撮影情報を示す図であり、 （ｃ）は、本発明の実施例によって毎フレームのデータ伝送フォーマットを示す図である。 は、本発明の実施例による表示イメージバッファ、圧縮イメージバッファ及び撮影情報バッファの構成を示す図である。 は、本発明の実施例によるカメラ装置の他の構成を示す図である。 は、図６のイメージ処理部及びアプリ処理部の構成を示す図である。 は、本発明の実施例においてイメージ及びアプリ処理を単一構成で処理するカメラ装置の構成を示す図である。 は、図８の構成において処理部の構成を示す図である。 は、カメラ装置で本発明の第１実施例によってフレーム毎に表示イメージ及び圧縮イメージ生成して処理する手続を示す流れ図である。 は、図１０でイメージキャプチャ時にサムネイルイメージを表示しながらユーザの選択による圧縮イメージを格納する手続を示す流れ図である。 は、カメラ装置で本発明の第２実施例によってフレーム毎に表示イメージ、圧縮イメージ及び撮影情報を生成して処理する手続を示す流れ図である。 は、図１２でイメージキャプチャ時に撮影情報を表示しながらユーザの選択による圧縮イメージを格納する手続を示す流れ図である。 （ａ）及び（ｂ）は、本発明の実施例によって撮影情報のフラッシュ情報を利用してフラッシュタイミング問題を解決する方法を説明する図である。 は、本発明の実施例によって圧縮イメージを格納するバッファの構造を示す図である。 は、本発明の実施例によって撮影情報を利用して揺れ検出可否を判定し、キャプチャイメージを決定する手続を示す流れ図である。 は、本発明の実施例によるカメラ装置を備える携帯端末装置の更に他の構成を示す図である。

以下、本発明の好ましい実施例を、添付の図面を参照して詳しく説明する。図面において、同一又は類似の部材に対しては、できるだけ同一の参照符号が与えられている。

また、下記の説明では、イメージの画素数、メタデータの項目及びデータサイズなどの具体的な特定事項が示されているが、これは、本発明の全般的な理解を助けるために提供されたものに過ぎず、このような特定事項が無くとも本発明が実施され得ることは、この技術分野における通常の知識を有する者には、自明であろう。また、本発明を説明するにあたって、関連する公知機能あるいは構成を具体的に説明すると本発明の要旨を却って不明確にしてしまうと判断される場合、そのような詳細な説明を省略する。

本発明は、カメラ装置又はカメラを備える端末装置に関するもので、カメラのイメージセンサで獲得されるイメージを処理して複数のイメージを生成する。また、前記カメラ及び／又は装置のセンサに獲得される情報を撮影情報として生成する。ここで、前記複数のイメージは、カメラ駆動時に表示部に表示するための表示イメージ及び格納部に格納するための圧縮イメージを含む。また、前記撮影情報は、カメラからイメージ獲得時に当該フレームでイメージを撮影するときのカメラ及び／又は装置のセンサから獲得される撮影情報（以下、「撮影情報」は、「メタデータ（ｍｅｔａ ｄａｔａ）」、「埋め込みデータ（ｅｍｂｅｄｄｅｄ ｄａｔａ）」と同義で、互換的に使用される）である。また、前記圧縮イメージは、静止イメージを格納するために圧縮して得られたイメージであって、キャプチャイメージと前記圧縮イメージは、以下、同義で、互換的に使用される。

ここで前記表示イメージは、表示部に表示可能なように適切なサイズに調整（トリミング及び／又はスケーリング、ｃｒｏｐ ａｎｄ／ｏｒ ｓｃａｌｉｎｇ）された、例えば、ＹＵＶイメージである。また、前記圧縮イメージは、前記カメラのフル解像度（Ｆｕｌｌ−ｒｅｓｏｌｕｔｉｏｎ）イメージ（例えばＦＨＤ（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）、ＵＨＤ（ｕｌｔｒａ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ））又はそれ以上の解像度を有するイメージ）であって、圧縮符号化されたイメージであり、本発明の実施例においてはＪＰＥＧイメージとして説明される。本発明の実施例において前記表示イメージは、プレビューイメージであって、カメラのフル解像度イメージをスケーリングしたＹＵＶイメージと仮定し、前記圧縮イメージは、キャプチャイメージであって、カメラのフル解像度イメージを圧縮符号化したＪＰＥＧイメージと仮定する。本発明の実施例においては、カメラ駆動時にフレーム毎にプレビューイメージ及びキャプチャイメージを生成及びバッファリングし、ユーザ又は予め設定された方法によってキャプチャイメージを選択して格納できる装置及び方法を提案する。

また、前記撮影情報は、前記イメージ撮影時に前記カメラ又は装置に装着されるセンサから獲得される情報であって、毎フレームのイメージそれぞれに対応して生成される。一般的にカメラ装置は、カメラセンサをセットするための情報だけを保有し、この情報は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）データなどの様式に従う。
前記Ｅｘｉｆデータは、カメラの製造元、カメラのモデル名、イメージエディタ（Ｓｏｆｔｗａｒｅ）、画像補正日付、Ｅｘｉｆ版数、撮影日付、イメージサイズ、露出時間（Ｅｘｐｏｓｕｒｅ Ｔｉｍｅ：シャッタスピード）、露出プログラム（Ｅｘｐｏｓｕｒｅ Ｐｒｏｇｒａｍ）、レンズ焦点距離、絞り開放数値（Ｆ−Ｎｕｍｂｅｒ）などの情報を含み得る。
しかし、上記の情報を格納するメモリ容量が限られているので、通常はキャプチャされたイメージだけが参照される。本発明の実施例においては、前記カメラ及び／又は装置のセンサから撮影情報を獲得し、この撮影情報を利用して効率的にイメージを選択及び処理できる装置及び方法を提供する。

本発明の第１実施例によるカメラ装置又はカメラを備える端末装置は、カメラ駆動時に（例えば、プレビューモードにおいて）カメラから獲得される毎フレームのイメージを処理して表示イメージ及び圧縮イメージを生成する。

この場合、カメラ装置は、フレーム周期毎にカメラからイメージを獲得し、獲得されたイメージを表示イメージ及び圧縮イメージに変換した後、表示イメージは、表示部に表示し、圧縮イメージは、バッファリングする。また、ユーザによってキャプチャ要求（即ち格納要求）が発生すれば、カメラ装置は、バッファリングされた圧縮イメージの内からキャプチャ要求された時点の圧縮イメージを選択して格納する。
このようにすると、ユーザのシャッタ・オン時点のイメージを選択及び格納できるので、シャッタ遅延問題を解消できる（即ち、ゼロシャッタラグを具現できる）。また、ユーザのキャプチャ要求が発生すれば、バッファリングされた圧縮イメージを表示し、ユーザが選択する圧縮イメージを格納できる。この場合、ユーザのシャッタ・オン時点でバッファリングされたイメージの内からユーザが所望するイメージを選択して格納できる。

また、本発明の第２実施例によるカメラ装置又はカメラを備える端末装置は、カメラ駆動時にフレーム周期毎にカメラセンサから獲得されるフレームのイメージを処理して表示イメージ及び圧縮イメージを生成し、また、カメラ及び／又は装置のセンサからイメージ獲得時点の撮影情報を生成する。

このようにすると、カメラ駆動時に、カメラ装置は、フレーム周期毎にカメラからイメージを獲得し、前記獲得されたイメージを表示イメージ及び圧縮イメージに変換し、同時に前記カメラ及び／又は装置のセンサから前記イメージ獲得時点における撮影情報を獲得する。
その後、前記カメラ装置は、前記表示イメージを表示部に表示し、前記圧縮イメージ及び撮影情報をバッファリングする。カメラ装置は、フレーム毎にイメージを獲得すれば、圧縮イメージ及び撮影情報を生成し、これをフレーム別に処理する。

ここで、前記カメラは、カメラのフル解像度イメージを出力し、前記表示イメージは、これを表示部に表示するために調整（トリミング及び／又はスケーリング）されたＹＵＶイメージであり、前記圧縮イメージは、これを格納するために圧縮符号化されたＪＰＥＧイメージであり、前記撮影情報は、カメラの情報、フラッシュ情報、及び装置のセンサから発生する位置情報、カメラ装置の状態情報（ジャイロセンサ、加速度センサ、高度センサ、方向センサなどから生成される情報）の全部又は一部を含む。

また、ユーザからキャプチャ要求が発生すれば、カメラ装置は、バッファリングされた圧縮イメージの内からキャプチャ要求された時点の圧縮イメージを選択して格納するか、又は、バッファリングされた圧縮イメージの内から選択された圧縮イメージを格納するか、又は、撮影情報を表示し、選択される撮影情報に対応する圧縮イメージを格納するか、の何れかを実行できる。

以下、本発明を、図面を参照して詳しく説明する。図１は、本発明の実施例によるカメラ装置の構成を示す図である。
図１を参照すれば、カメラ部１１０は、イメージセンサ（図示せず）を具備し、カメラ駆動時にイメージセンサを通じてイメージを獲得する。センサ部１２０はカメラ部１１０に組み込まれるか、又は連結されており、カメラ装置に搭載された１つ以上のセンサからなり、前記センサは具体的には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機、ジャイロセンサ（ｇｙｒｏ ｓｅｎｓｏｒ）、加速度センサ（ａｃｃｅｌｅｒａｔｉｏｎ ｓｅｎｓｏｒ）、高度センサ（ａｌｔｉｔｕｄｅ ｓｅｎｓｏｒ）、及び方向センサ（ｄｉｒｅｃｔｉｏｎ ｓｅｎｓｏｒ）の全部又は一部である。

イメージ処理部（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）１３０は、カメラ部１１０から獲得されたイメージを処理し、表示部１６０に表示するための表示イメージ及びキャプチャ要求時に後述の格納部１５０に格納するための圧縮イメージを生成する。ここで、前記表示イメージは、ＹＵＶイメージであり得る。ここで、ＹＵＶは、表示部１６０の色空間（ｃｏｌｏｒ＿ｓｐａｃｅ）の表示方式の一つであって、Ｙは、明るさ（輝度、ｌｕｍｉｎａｎｃｅ）を示し、Ｕ及びＶは、色差情報（ｃｈｒｏｍｉｎａｎｃｅ）であり、Ｕは、輝度信号と青色成分の差の情報（Ｙ−Ｂ）であり、Ｖは、輝度信号と赤色成分の差の情報（Ｙ−Ｒ）を示す。
イメージ処理部１３０は、カメラ部１１０で獲得されたイメージをＹＵＶイメージに色変換（ｃｏｌｏｒ ｃｏｎｖｅｒｓｉｏｎ）し、また、表示部１６０に表示するためのサイズに調整（トリミング及び／又はスケーリング）する。即ち、イメージ処理部１３０は、ＹＵＶイメージを生成し、表示部１６０の表示能力に合わせて適切なサイズに調整（以下、スケーリングで代表する）する。また、イメージ処理部１３０は、カメラ部１１０で出力されるイメージをコーディングし、圧縮イメージを生成する。
ここで、前記圧縮イメージは、ユーザがキャプチャ要求（即ち、シャッタ・オン時）時に格納するためのイメージであって、カメラ部１１０で出力されるフル解像度のイメージを所定の符号化方式で圧縮符号化したイメージであり得、この際、カメラ部１１０で出力されるフル解像度イメージは、超高画素（ＵＨＤ）級以上の画素数を有するイメージであり得、コーダは、ＪＰＥＧコーダを使用できる。

また、イメージ処理部１３０は、カメラ部１１０及びセンサ部１２０から前記イメージの撮影情報を獲得する。この際、前記撮影情報には、カメラ部１１０でイメージ撮影時に獲得されるｅｘｉｆ情報に加えて、それ以外の多様な情報を追加できる。ここで、前記多様な情報は、センサ部１２０から獲得される情報であり得る。

イメージ処理部１３０は、フレーム周期毎に前記表示イメージ及び圧縮イメージを生成する。又は、イメージ処理部１３０は、フレーム周期毎に前記表示イメージ、圧縮イメージ、及び撮影情報を生成する。また、イメージ処理部１３０は、毎秒３０フレーム（３０ｆｐｓ）又はそれ以上のフレーム率（例えば６０ｆｐｓ）で表示イメージ及び圧縮イメージ（又は、表示イメージ、圧縮イメージ及び撮影情報）を生成する。

アプリ処理部１４０は、カメラ駆動時にイメージ処理部１３０で生成された表示イメージ及び圧縮イメージ（又は、表示イメージ、圧縮イメージ、及び撮影情報）をバッファリングし、前記表示イメージを表示部１６０に出力して表示されるように制御する。また、ユーザのキャプチャ要求（格納要求）命令が発生すれば、アプリ処理部１４０は、バッファリング中の圧縮イメージの内、所定の条件に該当する圧縮イメージ（例えばシャッタ・オン時点（即ち、ユーザのキャプチャ要求時点）に対応するフレームイメージ）を格納部１５０に格納する。

入力部１７０は、アプリ処理部１４０にカメラ駆動命令、及びキャプチャ命令を発生する。また、入力部１７０は、ユーザの要求による撮影情報及び／又は前記バッファに格納された圧縮イメージのサムネイルイメージの表示を要求する命令を発生できる。ここで、カメラ駆動命令は例えば、カメラ電源オン又はカメラボタンオン入力であり、キャプチャ命令は例えば、シャッタボタンオン入力である。
表示部１６０は、プレビューモード時にアプリ処理部１４０から出力される表示イメージを表示する。また、表示部１６０は、キャプチャモード時にアプリ処理部１４０で出力される撮影情報及び／又はサムネイルイメージを表示できる。ここで、入力部１７０は、ユーザのタッチ入力を感知するタッチパネルであり得、表示部１６０は、プログラム実行中に発生するデータ及びイメージなどを表示するＬＣＤ又はＯＬＥＤパネルであり得る。ここで、入力部１７０及び表示部１６０は、一体型のタッチスクリーンであり得る。また、入力部１７０は、カメラ装置の外部に位置するボタンを含み得る。

格納部１５０は、アプリ処理部１４０にバッファリング中の圧縮イメージ（又は圧縮イメージ及び撮影情報）を、キャプチャ要求時に格納する。

図２は、本発明の実施例によるカメラ部１１０の構成を示す図である。
図２を参照すれば、カメラ駆動命令が発生すれば、カメラ部１１０の動作電源がオンし、イメージ処理部１３０は、モータ２４０を駆動し、モータ２４０の駆動によってアクチュエータ２５０が光学部２１０の動作を制御する。ここで、光学部２１０の動作は、ズーム、フォーカシングなどを含む。光学部２１０は、周辺のイメージを撮像し、イメージセンサ２２０は、光学部２１０で撮像されるイメージを感知し、電気的な信号に変換する。
選択的には、光学部２１０は例えばフォーカシング用に発光し、イメージセンサ２２０は、光学部２１０から出力された光を電気的信号に変換し、対応するイメージ信号を発生する。ここで、イメージセンサ２２０は、ＦＨＤ、ＵＨＤ又はそれ以上の解像度を有する公知のイメージセンサの何れかであり、以下の説明において「フル解像度」は、カメラ部１１０の当該イメージセンサ２２０がサポートする最大解像度を意味する。また、イメージセンサ２２０で感知されるイメージは、ＡＤ変換部２３０を通じてデジタルイメージに変換され、イメージ処理部１３０に伝達される。また、フラッシュ２６０は例えばイメージ処理部１３０によって駆動される。

図３は、本発明の実施例によるカメラ装置の内、イメージ処理部１３０及びアプリ処理部１４０の詳細構成を示す図である。
図３を参照すれば、イメージ処理部１３０の映像処理部（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｐａｒｔ）３２０は、カメラ部１１０から出力されるイメージをＹＵＶイメージに変換する。ここで、映像処理部３２０は、前処理部（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ ｐａｒｔ）及び後処理部（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ ｐａｒｔ）で構成され得、その場合、前処理部は、カメラ部１１０から獲得されるイメージを前処理し、この際の前処理は、３Ａ（ＡＷＢ（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、ＡＥ（ａｕｔｏ ｅｘｐｏｓｕｒｅ）、ＡＦ（Ａｕｔｏ ｆｏｃｕｓｉｎｇ））抽出及び処理、レンズシェーディング補償（ｌｅｎｓ ｓｈａｄｉｎｇ ｃｏｒｒｅｃｔｉｏｎ）、デッドピクセル（ｄｅａｄ＿ｐｉｘｅｌ）補正、バッドピクセル（ｂａｄ＿ｐｉｘｅｌ）補正、ニー（ｋｎｅｅ）補正などを含む。
一方、後処理部は、前記前処理された色補間（ｃｏｌｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、雑音除去、色補償、及び色変換（ｉｍａｇｅ ｃｏｎｖｅｒｓｉｏｎ）によるＹＵＶデータの生成などを行う。カメラ部１１０から出力されるイメージは、原（ｒａｗ）イメージであって、イメージセンサ２２０で感知されるフル解像度の画素数を有し、映像処理部３２０は、これをイメージ処理し、表示部１６０で表示され得るＹＵＶイメージに変換する。

また、イメージ処理部１３０は、静止イメージ（ｓｔｉｌｌ ｉｍａｇｅ）を格納するための静止映像圧縮部（静止映像符号化器）３４０を具備し、静止映像圧縮部３４０は、ＪＰＥＧ、ＴＩＦＦなど多様な静止映像符号化方法をサポートできる。本発明の実施例においては、静止映像圧縮部３４０は、ＪＰＥＧコーダ３４０であると仮定する。ＪＰＥＧコーダ３４０は、映像処理部３２０で出力されるイメージをＪＰＥＧ映像に圧縮する。スケーラ３３０は、映像処理部３２０で出力される映像を表示部１６０で表示可能な適切なサイズのイメージにスケーリングする。スケーラ３３０は、前記映像データをスケーリング、トリミング（ｃｒｏｐ）及び／又はリサイジング（ｒｅｓｉｚｉｎｇ）する構成又はこれらの構成の一部を備える。映像処理部３２０が色変換機能を行わない場合、スケーラ３４０は、表示イメージ生成部として構成され、この場合、前記表示イメージ生成部は、原イメージをＹＵＶイメージに変換する色変換器及びスケーラを含む。

イメージ処理制御部３１０は、後述するアプリ制御部３６０の制御下に、カメラ部１１０の駆動を制御し、カメラ駆動モード時にイメージ処理部１３０の全般的な動作を制御する。また、イメージ処理制御部３１０は、カメラ部１１０の駆動時にカメラ部１１０で撮影されるイメージに関連した情報及びセンサ部１２０から発生する情報を入力されて、これを撮影情報として生成する。イメージ処理制御部３１０は、フレーム区間毎に当該フレームの前記圧縮イメージ及び表示イメージ（又は、圧縮イメージ、表示イメージ、及び撮影情報）を生成するように制御し、前記フレームは例えば、１秒に３０フレーム又は６０フレームで構成される。

多重化部（ｍｕｌｔｉｐｌｅｘｅｒ）３５０は、イメージ処理制御部３１０の制御下に、フレーム区間毎に前記圧縮イメージ及び表示イメージ（又は、圧縮イメージ、表示イメージ、及び撮影情報）を多重化し、アプリ処理部１４０に伝送する。

ここで、イメージ処理部１３０は、図３に示されてはいないが、前記表示イメージをサムネイルイメージに変換するサムネイルイメージ生成部を更に備え得る。この場合、イメージ処理部１００は、前記表示イメージからサムネイルイメージを生成し、ＪＰＥＧコーダ３４０は、映像処理部３２０の出力イメージを圧縮し、また、前記圧縮されたイメージのヘッダー、前記サムネイルイメージ及び圧縮されたＪＰＥＧイメージで構成された圧縮イメージを生成する。

次に、アプリ処理部１４０の構成を説明する。アプリ処理制御部３６０は、入力部１７０の命令に従ってイメージ処理部１３０の動作を制御し、イメージ処理部１３０から出力されるイメージをバッファリングすると共に表示部１６０を通じて表示し、キャプチャ命令発生時に前記バッファリングされた圧縮イメージを格納部１５０に格納する。

逆多重化部（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）３５５は、アプリ処理制御部３６０の制御下に、イメージ処理部１３０で伝送される表示イメージ及び圧縮イメージ（又は表示イメージ、圧縮イメージ、及び撮影情報）を逆多重化して出力する。パーサ（ｐａｒｓｅｒ）３７０は、逆多重化部３５５で逆多重化されるイメージ及び情報を表示イメージ及び圧縮イメージ（又は、表示イメージ、圧縮イメージ及び撮影情報）にパーシング（分析）する。ここで、アプリ処理制御部３６０が逆多重化部３５５を制御し、イメージ処理部１３０で出力を、表示イメージ及び圧縮イメージ（又は、表示イメージ、圧縮イメージ、及び撮影情報）にソフトウェアパーシングする場合、パーサ３７０は、省略できる。

バッファ３８０は、表示イメージバッファ３８３及び圧縮イメージバッファ３８５（又は、表示イメージバッファ３８３、圧縮イメージバッファ３８５、及び撮影情報バッファ３８７）を備え得る。バッファ３８０は、アプリ処理制御部３６０の制御下にそれぞれパーシングされる表示イメージ、圧縮イメージ（又は表示イメージ、圧縮イメージ及び撮影情報）をバッファリングする。ここで、バッファ３８０は、Ｎ個のフレーム分の表示イメージ及び圧縮イメージ（又は、Ｎ個のフレーム分の表示イメージ、圧縮イメージ、及び撮影情報）をバッファリングできるサイズを有し、バッファ３８０の構造は、リングバッファ（ｒｉｎｇ ｂｕｆｆｅｒ）構造を有する。バッファ３８０をリングバッファ構造で構成する理由は、受信されたフレームのイメージ及び情報のバッファリング量を、常に所定のフレーム数の分に維持するためである。

また、アプリ処理部１４０は、動画の格納要求時に動画データを圧縮するための動画圧縮部（動画符号化器）３９０を備えることができ、動画圧縮部３９０は、Ｈ．２６４、ＭＰＥＧなど多様な動画符号化器で構成できる。本発明の実施例においては、動画圧縮部３９０がＭＰＥＧコーダ３９０である場合を仮定する。ユーザから動画格納要求が発生すれば、アプリ処理制御部３６０は、ＭＰＥＧコーダ３９０を駆動し、ＭＰＥＧコーダ３９０は、バッファ３８０の表示イメージバッファ３８３にバッファリングされている表示イメージを圧縮し、格納部１５０に格納する。

また、アプリ処理部１４０は、前記表示イメージをリサイジングし、サムネイルイメージを生成するサムネイルイメージ生成部３９５を更に備え得る。サムネイルイメージ生成部３９５は、表示イメージバッファ３８３で出力される表示イメージをリサイジングし、サムネイルイメージを生成し、前記サムネイルイメージは、前記ＪＰＥＧイメージに含まれ、アプリ制御部３６０の制御下に表示部１６０に表示される。

この際、イメージをキャプチャする場合にも、イメージ処理部１３０は、引き続き表示イメージ及び圧縮イメージ（又は、表示イメージ、圧縮イメージ、及び撮影情報）を生成し、アプリ処理部１４０は、圧縮イメージ及び表示イメージを表示部１６０に同時に表示するように制御する。例えば、アプリ処理部１４０は、キャプチャモード時に前記表示イメージをプレビューイメージで表示部１６０に表示し、キャプチャされたイメージを表示部１６０にサムネイルイメージで表示する。又は、これと反対に、アプリ処理部１４０は、キャプチャモード時に前記キャプチャイメージを表示部１６０に表示し、前記表示イメージをサムネイル動画で表示部１６０に表示できる。即ち、アプリ処理部１４０は、前記表示イメージを利用してサムネイルイメージを生成し、キャプチャ時にＪＰＥＧヘッダー、サムネイルイメージ及び圧縮イメージを当該フレームの圧縮イメージとして格納部１５０に格納できる。
本発明によれば、アプリ処理部１４０は、キャプチャモード時に表示部１６０に表示イメージ及びキャプチャイメージを同時に表示でき、この場合、１つのイメージ（表示イメージ又はキャプチャイメージ）は、サムネイルイメージで表示できる。また、キャプチャモード時にアプリ処理部１４０は、該当するフレームの圧縮イメージをデコーディングした後、表示部１６０に静止イメージで表示することもできる。この際、前記キャプチャされる圧縮イメージには、カメラ装置のシャッタ遅延を考慮して設定されたフレームの圧縮イメージを充当でき、アプリ処理制御部３６０は、キャプチャ要求時に圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内から設定されたフレームの圧縮イメージを選択し、格納部１５０に格納できる。

図３で、イメージ処理部１３０及びアプリ処理部１４０に備えられる静止映像及び動画を圧縮する構成要素は、コーダで示されている。しかし、一般的に映像を圧縮及び圧縮解除（解凍）する構成要素は、１つのチップ（Ｃｏｄｅｒ ＆ ＤＥＣｃｏｄｅｒ：ＣＯＤＥＣ）で構成される。従って、イメージ処理部１３０の静止映像コーダ３４０（例えば、ＪＰＥＧコーダ）は、静止映像コーデック（ＪＰＥＧコーデック）で構成され得、アプリ処理部１４０の動画コーダ３９０（例えば、ＭＰＥＧコーダ３９０）は、動画コーデック（ＭＰＥＧコーデック）で構成され得る。
本発明の実施例においては、カメラ部１１０から撮影されるイメージを表示及び圧縮格納する動作を中心に説明がなされる。また、格納部１５０に格納された静止映像（例えばＪＰＥＧイメージ）を圧縮解除して表示するための構成を必要とする場合がある。このために、図面には示されていないが、アプリ処理部１４０は、静止映像デコーダ（又は静止映像コーデック）を更に備え得る。この場合、ユーザが入力部１７０を通じて格納部１５０に格納された圧縮イメージの再生を要求すれば、アプリ処理部１４０は、図示しない静止映像デコーダ（静止映像コーデック）を通じて圧縮イメージをデコーディング（圧縮解除）し、前記デコーディングされたイメージを表示部１６０に表示する。以下説明される本発明の実施例においては、前記静止映像をデコーディングして表示する動作の構成及び説明は、省略する。

図３の構成で、イメージ処理部１３０は上述したように、カメラ部１１０から出力されるイメージを受信し、プレビュー用表示イメージ及びキャプチャ用圧縮イメージを生成し、又は、表示イメージ、圧縮イメージ、及び撮影情報を生成する。

まず、表示イメージ及び圧縮イメージを生成処理する動作（第１実施例）の動作を説明する。
ユーザが入力部１７０を通じてカメラ駆動命令を発生すれば、アプリ処理制御部３６０は、イメージ処理部１３０にこれを通知し、イメージ処理制御部３１０は、カメラ部１１０を駆動する。また、カメラ部１１０から出力される原イメージは、映像処理部３２０に入力される。映像処理部３２０は、カメラ部１１０から入力される原イメージをＹＵＶイメージに映像変換し、この際のイメージは、カメラ部１１０のフル解像度イメージであり得る。
また、ＪＰＥＧコーダ３４０は、映像処理部３２０から出力されるＹＵＶイメージをＪＰＥＧ方式で圧縮符号化して圧縮イメージを生成し、スケーラ３３０は、映像処理部３２０から出力されるＹＵＶイメージを所定のサイズにスケーリング（及び／又はリサイジング）し、表示部１６０に表示するための表示イメージを生成する。また、多重化部３５０は、イメージ処理制御部３１０の制御下に前記圧縮イメージ及び表示イメージを多重化し、アプリ処理部１４０に出力する。
ここで、イメージ処理部１３０は、フレーム区間毎に各フレームの表示イメージ及び圧縮イメージを生成し、ここで、前記フレームのフレーム率は例えば、３０ｆｐｓ又は６０ｆｐｓである。

逆多重化部３５５は、前記多重化されて伝達される表示イメージ及び圧縮イメージを逆多重化して出力し、パーサ３７０は、前記逆多重化されるイメージを表示イメージ及び圧縮イメージにパーシングする。また、前記パーシングされる表示イメージは、アプリ処理制御部３６０の制御下にバッファ３８０の表示イメージバッファ３８３にバッファリングされると同時に、表示部１６０に出力されて表示される。また、前記圧縮イメージは、アプリ処理制御部３８５の制御下にバッファ３８０の圧縮イメージバッファ３８５にバッファリングされる。

ここで、圧縮イメージバッファ３８５にバッファリングされる圧縮イメージは、カメラ装置でシャッタ遅延（ｓｈｕｔｔｅｒ ｄｅｌａｙ、ｓｈｕｔｔｅｒ ｌａｇ）を補償するために使用でき、また、ユーザがキャプチャ要求時にバッファリングされた圧縮イメージの内からユーザが所望のイメージを選択するために使用できる。

まず、ユーザのキャプチャ要求時に、アプリ処理部１４０は、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内からシャッタ遅延を丁度補償するフレームの圧縮イメージをキャプチャする。カメラ装置においてキャプチャを要求した時点でユーザが表示部１６０（カメラ装置の場合、ビューファインダ（ｖｉｅｗ ｆｉｎｄｅｒ））で見たイメージとカメラ部１１０で獲得されるイメージとは互いに異なり得る。
このシャッタ遅延を解消（即ち、ゼロシャッタラグ（ｚｅｒｏ ｓｈｕｔｔｅｒ ｌａｇ））するために、本発明の実施例においては、キャプチャ要求時にアプリ処理制御部３６０は、圧縮イメージバッファ３８５にバッファリングしている圧縮イメージの内からシャッタ遅延を補償するフレームの圧縮イメージを選択し、格納部１５０に格納する。例えば、シャッタ遅延が３フレームである場合、アプリ処理制御部３６０は、キャプチャ要求時に圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内から３フレーム前の圧縮イメージを選択し、格納部１５０に格納する。

第二に、ユーザによってキャプチャ要求発生時に、キャプチャする写真が正常に撮影されていない写真である場合がある。例えば、人物写真を撮影した場合、人物が目を閉じるか、揺れた写真が撮影され得る。この場合、ユーザは、他のより正常な圧縮イメージをキャプチャすることが好ましい。このために、本発明の実施例において、アプリ処理部１４０は、前記表示イメージを利用して圧縮イメージバッファ３８５にバッファリングされている圧縮イメージのサムネイルイメージを生成及びバッファリングする。即ち、アプリ処理部１４０のサムネイルイメージ生成部３９５は、表示イメージバッファ３８３で出力される表示イメージをリサイジング（スケーリング及びクロップ機能をも含むことができる）し、サムネイルイメージを生成する。
また後のキャプチャ要求時にアプリ処理制御部３６０は、前記サムネイルイメージを表示部１６０に表示し、ユーザによって選択されたサムネイルイメージに対応する圧縮イメージを格納部１５０に格納する。また、本発明の実施例においては、前記表示イメージを表示イメージバッファ３８３にバッファリングしている。従って、キャプチャ要求時に前記サムネイルイメージを使用せずに、前記表示イメージバッファ３８３にバッファリング中の表示イメージを表示部１６０に表示し（ｐｏｓｔ ｖｉｅｗ）、表示部１６０に表示される表示イメージを確認し、所望の圧縮イメージを選択した後、これを格納部１５０に格納することもできる。また、ヘッダー、サムネイル及び圧縮イメージで構成されるフレーム圧縮イメージを生成する場合、アプリ処理制御部３６０は、キャプチャ要求時に圧縮イメージバッファ３８５に格納された圧縮イメージの内、サムネイルイメージを表示部１６０に表示でき、この場合、ユーザは、前記表示されるサムネイルイメージを確認しながら所望のイメージを選択できる。

前述したように、本発明の第１実施例においては、プレビューモード時にフレーム周期毎にカメラ部１１０で生成される原イメージを処理して表示イメージ及び圧縮イメージを生成し、前記生成された表示イメージ及び圧縮イメージを所定のフレーム数の分だけバッファリングし、キャプチャ要求時に前記バッファリングされた圧縮イメージの内からキャプチャ要求時点又は定められた要求時点以前の圧縮イメージを選択して格納することによって、ゼロシャッタラグを具現でき、また、前記バッファリング中の圧縮イメージのサムネイルイメージ又は表示イメージを確認し、所望の圧縮イメージを選択して格納できる。

本発明の第１実施例においては、撮影情報を使用しない。この場合、前記圧縮イメージであるＪＰＥＧイメージは、通常のｅｘｉｆデータを含む。この場合、バッファ３８０の内の撮影情報バッファ３８７は使用しない。

次に、表示イメージ、圧縮イメージ、及び撮影情報を生成処理する場合（第２実施例）の動作を説明する。
ユーザが入力部１７０を通じてカメラ駆動命令を発生すれば（即ち、プレビューモードを実行すれば）、アプリ処理制御部３６０は、イメージ処理部１３０にこれを通知し、イメージ処理制御部３１０は、カメラ部１１０を駆動する。また、カメラ部１１０から出力されるイメージは、映像処理部３２０に入力される。

この際、イメージ処理部１３０は、フレーム区間毎に表示イメージ、圧縮イメージ、及び撮影情報を生成する。ここで、イメージ処理部１３０のフレームイメージ生成は例えば、３０ｆｐｓ又はそれ以上（例えば６０ｆｐｓ）で生成される。この際、映像処理部３２０は、カメラ部１１０から入力される原イメージを３Ａ処理、カラー補間、及び／又は、原イメージをＹＵＶイメージに映像変換する処理を行い、この際のイメージは、カメラ部１１０のフル解像度イメージであり得る。
また、静止映像コーダコーダ３４０は、映像処理部３２０から出力されるイメージを処理して圧縮イメージを生成する。この際、前記圧縮イメージは、ＪＰＥＧイメージであるか、又は、前記ＪＰＥＧ方式と異なる方式の圧縮符号化器による場合もある。本発明の実施例においては、前述したように、ＪＰＥＧ方式で圧縮データを生成するものと仮定する。スケーラ３３０は、映像処理部３２０で出力されるイメージを所定のサイズにスケーリングし、表示イメージを生成する。この際、前記イメージをスケーリングする方法には、トリミング（クロップ（ｃｒｏｐ））、及びリサイズ方法があり、これらの内から１つの方法又は２つ以上の方法を組み合わせて表示イメージを生成することができる。
ここで、前記表示イメージは、表示部１６０に表示するためのイメージ及び／又は動画キャプチャ時に格納するイメージである。この際、イメージ処理部１３０のスケーラ３３０は、プレビューモードのための表示イメージ及び動画格納のための表示イメージのデータサイズ（ｄａｔａ＿ｓｉｚｅ）を異なるサイズにすることもできる。また、前述したように、映像処理部３２０で色変換機能を行わない場合、スケーラ３４０は、表示イメージ生成部で構成できる。この場合、前記表示イメージ生成部は、前記色変換（ｃｏｌｏｒ ｃｏｎｖｅｒｓｉｏｎ、原イメージをＹＵＶイメージに変換する機能）及びスケーラ機能を含む構成を有する。

また、イメージ処理部１３０は、フレーム区間毎に前記表示イメージ及び圧縮イメージ生成時に、カメラ装置がそのフレームの原イメージを撮影する時の各種センサ情報を獲得し、撮影情報として生成する。一般的に、従来のカメラ装置には、カメラ部１１０をセットするための情報は存在したが、カメラ部１１０が供給できる撮影時の各種センサ情報は利用されなかった。また、カメラ部１１０の出力イメージを格納するとき、ｅｘｉｆデータを生成したが、撮影情報の格納のため許容される前記ｅｘｉｆデータの量が制限されているので、キャプチャされたイメージからしか参照できないという限界があった。
本発明の第２実施例においてイメージ処理制御部３１０は、カメラ部１１０が駆動される場合、カメラ部１１０を含むカメラ装置に設置されたセンサ部１２０からの出力を入力されて、これから原フレームイメージの撮影情報を生成する。また、アプリ処理部１４０は、獲得された前記撮影情報を当該フレームのイメージと共に組込みデータ（メタデータ）としてバッファリングし、前記バッファリングされた撮影情報を利用してカメラ装置の機能を効率的に使用する。

本発明の第２実施例においては、カメラ部１１０から毎フレームのイメージを受信するイメージ処理部１３０は、表示用ＹＵＶイメージ及び圧縮イメージを生成し、さらに、当該フレームイメージの撮影情報を生成する。ここで、前記撮影情報（メタデータ）は例えば、下記表１のアイテムを含む。

上記の撮影情報（メタデータ）を利用してユーザは、多様な機能を設定できる。即ち、ユーザは、頻繁に撮影した被写体情報とカメラメニュー情報を利用して状況にふさわしい設定値を探索できる。例えば、プレビュー時に人物の顔が探知されれば、カメラ装置は、過去の撮影情報に基づく人物ＤＢ（データベース）を参照し、当該人物の撮影時に頻繁に使用されるか、使用時に良い結果をもたらすメニューを自動的に設定できる。カメラ装置のユーザは、自分の家族、知り合い、恋人、芸能人などの人物写真を多く撮影している場合、人物ＤＢ内で当該人物撮影時に適合する情報を探すか、又は適合する情報がなければ、撮影時に役立つメニューをセットできる｛例えば、微小撮影（ｓｍｉｌｅ ｓｈｏｔ）、美人撮影（ｂｅａｕｔｙ ｓｈｏｔ）、肖像シーンモード（ｐｏｒｔｒａｉｔ ｓｃｅｎｅ ｍｏｄｅ）、自動焦点モード（ＡＦ ｍｏｄｅ）、特定対象追跡（ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ）、実効ＩＳＯ感度（ＩＳＯ＿ｓｅｎｓｉｔｉｖｉｔｙ＿ｅｆｆｅｃｔ）、ホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｅ）、測光（ｅｘｐｏｓｕｒｅ＿ｍｅｔｅｒｉｎｇ）、ズーミング（ｚｏｏｍｉｎｇ）、フラッシュ（ｆｌａｓｈ）｝。
また、プレビュー情報で人物イメージ情報を探知できない場合、カメラ装置は、風景写真撮影に関係する部分をチェックし、風景写真に適合するように設定できる。｛例えば、屋外景観（ｏｕｔｄｏｏｒ ｖｉｓｉｂｌｅ）、フラッシュ（ｆｌａｓｈ）、ＩＳＯ感度効果（ＩＳＯ＿ｓｅｎｓｉｔｉｖｉｔｙ＿ｅｆｆｅｃｔ）、ホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｅ）、測光（ｅｘｐｏｓｕｒｅ＿ｍｅｔｅｒｉｎｇ）、風景シーンモード（ｌａｎｄｓｃａｐｅ ｓｃｅｎｅ ｍｏｄｅ）、ファンフォーカスモード（Ｆａｎ ｆｏｃｕｓ ｍｏｄｅ）｝。上記のように撮影されたイメージは、ユーザのカメラ使用パターンに基づいて格納できる。｛例えば、恋人の写真の場合、撮影と同時に恋人アルバムに格納されるか、指定されたＳＮＳに投函されるか、又は、クラウド格納システムにアップロードされる｝。また、カメラ装置は、連続撮影で撮影されたイメージを類似性に合わせて表示でき、この場合、ユーザは、アルバム又はポストビューでこの類似性をチェックできる。

イメージ処理部１３０の多重化部３５０は、イメージ処理制御部３１０の制御下に前記表示イメージ、圧縮イメージ、及び撮影情報を多重化し、アプリ処理部１４０に出力する。

図４（ａ）は、本発明の実施例によってイメージ処理部１３０で生成されるイメージフレームの構成を示す図であり、図４（ｂ）は、本発明の実施例によってフレームを構成するＹＵＶイメージ（ＹＵＶ＿ｄａｔａ）、ＪＰＥＧイメージ（ＪＰＥＧ＿ｄａｔａ）、及び撮影情報（Ｅｍｂｅｄｄｅｄ＿ｄａｔａ）を示す図であり、図４（ｃ）は、本発明の実施例によって毎フレームのデータ｛ＹＵＶイメージ（ＹＵＶ）、ＪＰＥＧイメージ（ＪＰＥＧ）、及び撮影情報（Ｍｅｔａ）｝の伝送フォーマットを示す図である。

図４（ａ）〜図４（ｃ）を参照すれば、イメージ処理部１３０は、フレーム区間毎にＹＵＶイメージ、ＪＰＥＧイメージ、及び撮影情報（＝組込みデータ＝メタデータ）を生成し、多重化部３５０は、前記生成されたＹＵＶイメージ、ＪＰＥＧイメージ、及び撮影情報を図４（ａ）のように多重化し、アプリ処理部１４０に伝送する。

この際、図４（ｂ）に示したように、圧縮イメージであるＪＰＥＧイメージ（ＪＰＥＧ＿ｄａｔａ）は、原イメージであって、キャプチャ要求時に静止イメージとして格納するためのデータである。この際、前記ＪＰＥＧイメージのサイズは、カメラ部１１０のイメージセンサ２２０によって決定され、８Ｍバイト以上のデータサイズを有し得る。また、ＹＵＶイメージ（ＹＵＶ＿ｄａｔａ）は、表示部１６０に表示するためのデータであって、表示部１６０のサイズにスケーリングされる。また、前記ＹＵＶイメージ（ＹＵＶ＿ｄａｔａ）は、プレビュー（ｐｒｅｖｉｅｗ）に加えてポストビュー（ｐｏｓｔｖｉｅｗ）に使用される。即ち、キャプチャ要求時に前記表示イメージバッファ３８３に格納している表示イメージを表示部１６０に表示（ｐｏｓｔｖｉｅｗ）できる。
また、撮影情報（Ｅｍｂｅｄｄｅｄ＿ｄａｔａ）は、カメラ付加機能（Ｃａｍｅｒａ付加機能）であって、カメラ部１１０でイメージを獲得するときの各種撮影情報及びカメラ装置のセンサ部１２０が感知した情報から構成される。この際、前記撮影情報は、前記圧縮イメージに含めて格納されるか、又は、前記圧縮イメージと独立的に格納される。以下、本発明の実施例において前記撮影情報は、前記圧縮イメージと独立的に格納されるものと仮定して説明する。イメージ処理部１３０は、フレーム毎にカメラ部１１０及びセンサ部１２０が感知した情報を利用して前記表１のような構成を有する撮影情報を生成し、前記撮影情報を、フレーム単位で前記表示イメージ及び圧縮イメージと対応するように格納部１５０に格納する。その後、ユーザは、前記撮影情報を利用してイメージを効率的に格納及び処理できる。

また、図４（ｂ）の構造を有する本発明の実施例によるカメラフレームデータは、イメージ処理部１３０で生成され、図４（ｃ）の伝送フォーマットでアプリ処理部１４０に伝送される。例えば、前記ＹＵＶイメージ（ＹＵＶ＿ｄａｔａ、ＹＵＶ）データは、フレーム当たり２ＭＢ（Ｂｙｔｅ）を要し（フルＨＤの場合、１９２０＊１０８０＊２（ＹＵＶ４２２フォーマットでは、１ピクセル当たり２Ｂｙｔｅ）＝２ＭＢ）、ＪＰＥＧイメージ（ＪＰＥＧ＿ｄａｔａ、ＪＰＥＧ）データは最大８ＭＢを要し、撮影情報（Ｅｍｂｅｄｄｅｄ＿ｄａｔａ、Ｍｅｔａ）データは４Ｋを要する。この場合、イメージ処理部１３０で各フレームデータを伝送するときの必要バス帯域幅は、（１９２０＊１０８０＊２＋８＊１０２４＊１０２４＋４＊１０２４）＊３０ｆｐｓ＊８ｂｉｔ＝３，００９，５７６，９６０ｂｐｓ＝２．８７Ｇｂｐｓになる。

イメージ処理部１３０で多重化されて伝送される表示イメージ、圧縮イメージ、及び撮影情報は、アプリ処理部１４０の逆多重化部３５５で逆多重化され、パーサ３７０で表示イメージ、圧縮イメージ、及び撮影情報にパーシングされ、バッファ３８０のそれぞれ対応する表示イメージバッファ３８３、圧縮イメージバッファ３８５、撮影情報バッファ３８７にバッファリングされる。バッファ３８０は、リングバッファの構造を有し、設定されたフレーム数のデータがバッファリングされれば、それ以上のフレームのデータは順次オーバライトされる。

図５は、本発明の実施例による圧縮表示イメージバッファ、圧縮イメージバッファ及び撮影情報バッファの構成を示す図である。図５を参照すれば、各バッファ３８３、３８５及び３８７は、それぞれｎ個（ｎは２以上の自然数）のフレームの対応するデータを格納できるｎ個のリングバッファ構造を有し、アプリ処理制御部３６０の制御下に対応するデータをバッファリングする。この際、ｎ個のバッファにデータが一杯にバッファリングされれば、アプリ処理制御部３６０は、最初のバッファから次のフレームのデータをオーバライトする。
例えば、圧縮イメージバッファ３８５の場合、ｎフレーム分の圧縮イメージを格納できるリングバッファ構造を有し、発生する順に圧縮イメージＪＰＥＧ１、・・・ＪＰＥＧｎがバッファリングされる。また、次に生成される圧縮イメージＪＰＥＧｎ＋１、・・・ＪＰＥＧ２ｎは、オーバライトされる。また、表示イメージバッファ３８３、圧縮イメージバッファ３８５及び撮影情報バッファ３８７のフレームは、フレームカウント値によって同期される。従って、アプリ処理制御部３６０は、フレームカウント値を確認し、同一フレームの表示イメージ、圧縮イメージ、及び撮影情報を処理できる。

また、アプリ処理制御部３６０は、前記表示イメージを表示イメージバッファ３８０にバッファリングしながら表示部１６０に出力し、プレビューイメージとして表示させる。上記の状態でユーザがキャプチャ要求命令を発生すれば、アプリ制御処理部３６０は、これを感知し、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内から設定されたフレームの圧縮イメージを格納部１５０に格納する。ここで、設定されたフレームは、ゼロシャッタラグを有するフレームにできる。前記圧縮イメージは圧縮ＪＰＥＧイメージを含み、この場合、前記格納される圧縮イメージは、ＪＰＥＧヘッダー、サムネイルイメージ、及びＪＰＥＧイメージなどで構成される。

本発明の第２実施例においては、キャプチャ要求発生時に、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージを利用してゼロシャッタラグを具現でき、また、バッファリングされたフレームイメージの内からユーザによって選択される圧縮イメージを選択して格納でき、また、撮影情報を利用して圧縮イメージを選択して格納できる。この場合、ユーザは、キャプチャ時にゼロシャッタラグ、イメージ確認、撮影情報確認などの機能を予め設定するか、又は、キャプチャ時点でこれら機能を設定する。以下の説明で当該機能が予め設定された場合を仮定して説明する。

まず、ゼロシャッタラグ機能が設定された場合、キャプチャ要求命令発生時にアプリ処理制御部３６０は、入力部１７０を通じてこのキャプチャ要求命令を確認し、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内から以前フレームで生成されてバッファリング中の圧縮イメージの内の１つを選択し、格納部１５０に格納する。 例えば、シャッタ遅延（シャッタラグ）が１フレームに設定された場合、キャプチャ要求命令が発生すれば、アプリ処理制御部３６０は、図５に示したバッファリングされた以前フレームの圧縮イメージＪＰＥＧｉ（ｉ＝１、２、・・・）データの内、直前フレームに対応するデータを格納部１５０に格納し、ゼロシャッタラグを具現する。
例えば、図５のＪＰＥＧ２の時点でキャプチャ命令が発生すれば、アプリ処理制御部３６０は、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージＪＰＥＧ１データ及び撮影情報ＭＥＴＡ１データを格納部１５０に格納する。この際、前記圧縮イメージＪＰＥＧ１と同一のフレームカウント値を有する表示イメージＹＵＶ１データを一緒に格納することもできる。上記のようにキャプチャ要求時に、圧縮イメージバッファ３８５にバッファリングされた以前フレームの圧縮イメージの内、キャプチャ要求が発生した時点（ｓｈｕｔｔｅｒ ｒｅｌｅａｓｅ時点）のフレームに対応する圧縮イメージを選択して格納することによって、シャッタラグを解決できる、即ち、ゼロシャッタラグを具現できる。

第二に、サムネイルイメージ又は表示イメージを表示しながら所望の圧縮イメージを選択する機能が設定された場合の動作を説明する。キャプチャされた写真が正常に撮影されない写真である場合、例えば、撮影されたイメージが揺れた写真であるか、人物写真において目を閉じた写真をキャプチャする場合がある。この写真撮影は、刹那の瞬間イメージを撮影しているので、全く同一の条件での写真の再撮影が不可能な状況が発生し得る。従って、このように写真を再び撮影できる条件下にない場合、ユーザは、バッファリング中の他の圧縮イメージをキャプチャできると好都合である。
本発明の実施例においては、圧縮イメージバッファ３８５にバッファリングされたイメージの内から所望の写真イメージを選択できる。このために、本発明の実施例においては、前記表示イメージを生成するとき、サムネイルイメージを生成する。また、キャプチャ要求時にアプリ処理制御部３６０は、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージのサムネイルイメージを表示部１６０に表示し、ユーザによって選択されたサムネイルイメージに対応する圧縮イメージを格納する。また、キャプチャ要求時に表示イメージバッファ３８３にバッファリングされた表示イメージを順次に表示しながらユーザに所望の圧縮イメージを選択させることもできる。

上記の第二の機能は、ゼロシャッタラグ機能と共に設定できる。この場合、アプリ処理制御部３６０は、ゼロシャッタラグ機能を行って圧縮イメージを選択し、ユーザは前記圧縮イメージが所望のイメージでない場合に、サムネイル映像又は表示イメージを確認し、他の圧縮イメージを選択する。

第三に、特定の撮影情報を利用してキャプチャイメージを選択する機能が設定された場合、イメージキャプチャ要求時にアプリ処理部１４０は、前記撮影情報を確認し、圧縮イメージを選択する。例えば、フラッシュを利用してイメージを撮影した場合、アプリ処理制御部３６０は、撮影情報のフラッシュ情報を確認し、フラッシュが最大発光した時点の圧縮イメージを選択し、ユーザが揺れ検出機能を設定した場合、センサ部１２０の動きセンサの情報（例えば、ジャイロセンサ、加速度センサなど）を確認し、揺れのない圧縮イメージを選択する。また、前記撮影情報のデータサイズを確認し、バッファ３８０のイメージバッファリングを効率的に制御する。

上述したように図１及び図３は、本発明の実施例によるカメラ装置の構成を示す図である。ここで、イメージ処理部１３０は、カメラ部１１０から出力されるイメージを処理し、また、カメラ部１１０の動作を制御し、カメラ部１１０の撮影情報を獲得する機能を行う。また、センサ部１２０がイメージ処理部１３０に連結され、カメラ駆動時にカメラ部１１０及びセンサ部１２０から獲得される情報を撮影情報として生成する。また、アプリ処理部１４０は、イメージ処理部１３０の動作を制御し、また、イメージ処理部１３０から出力されるデータ（表示及び圧縮イメージと撮影情報）を処理する。

しかし、アプリ処理部１４０は、イメージ処理部１３０のアプリ（即ち、カメラ関連アプリ）以外に他のアプリを処理できる。このアプリは、センサ部１２０のアプリを含む。上記のアプリの例を説明すれば、センサ部１２０はＧＰＳモジュールを含み、ＧＰＳ信号を受信し、装置（ここでは、カメラ装置又はカメラ装置を含む端末装置など）の位置を表示する。また、センサ部１２０は、動きセンサを具備し、前記装置の状態を表示する。例えば、前記動きセンサは、装置の上下左右移動を感知し、ジャイロセンサは、３軸（Ｘ、Ｙ、Ｚ軸）に沿った回転移動を感知する。従ってアプリ処理部１４０は、前記動きセンサの出力を感知し、装置が位置する状態を表現するアプリを処理できる。この場合、センサ部１２０は、アプリ処理部１４０に直接接続される。

図６は、本発明の実施例によるカメラ装置又はカメラ装置を含む端末装置において、アプリ処理部１４０がセンサ部１２０の出力を処理する他の構成を示しており、図７は、図６の構成におけるイメージ処理部１３０及びアプリ処理部１４０の構成を示す図である。以下の説明では、カメラ駆動時に撮影情報を生成及び処理する動作を中心に説明する。即ち、図６及び図７で、撮影情報を生成する構成及び動作を除く残りの構成及び動作は、図１及び図３の構成及び動作と同一である。

図６及び図７を参照すると、ユーザが入力部１７０を通じてカメラ駆動命令を発生すれば（即ち、プレビューモードを実行すれば）、アプリ処理制御部３６０は、イメージ処理部１３０にこれを通知し、イメージ処理制御部３１０は、カメラ部１１０を駆動する。また、カメラ部１１０で出力されるイメージは、映像処理部３２０に入力される。

この際、イメージ処理部１３０は、フレーム周期毎に表示イメージ、圧縮イメージ、及び撮影情報を生成する。この際、フレーム周期毎に映像処理部３２０は、カメラ部１１０から入力される原イメージを３Ａ処理、カラー補間処理、及び／又は原イメージをＹＵＶイメージに映像変換する機能を行い、この際のイメージは、フルＨＤ以上の解像度を有するイメージであり得る。また、ＪＰＥＧコーダ３４０は、映像処理部３２０から出力されるイメージをＪＰＥＧ方式で圧縮符号化し、キャプチャ要求時に格納するための圧縮イメージを生成し、スケーラ３３０は、映像処理部３２０で出力されるイメージのサイズを縮小し、表示部１６０にプレビューモードで表示するための表示イメージを生成する。この際、前述したように、映像処理部３２０で色変換機能を行わない場合、スケーラ３４０は、表示イメージ生成部として構成される。この場合、スケーラ３４０は、前記色変換機能（原イメージをＹＵＶイメージに変換する機能）及びスケーラ機能を含む構成を有する。

また、イメージ処理部１３０は、フレーム周期毎に前記表示イメージ及び圧縮イメージを生成する一方で、カメラ部１１０でイメージを撮影する時の撮影情報を生成する。この場合、イメージ処理部１３０のイメージ処理制御部３１０は、カメラ駆動時にカメラ部１１０の動作を設定した情報（ｓｅｔｔｉｎｇ情報）及びカメラ部１１０から獲得する情報を用いて前記撮影情報を生成する。即ち、図６及び図７の構成を有する装置において、イメージ処理部１３０は、カメラ駆動時にカメラ部１１０を制御し、カメラ部１１０から獲得される情報（以下、第１撮影情報という）のみを利用して撮影情報を生成する。

また、イメージ処理部１３０は、フレーム周期毎にＹＵＶイメージ、ＪＰＥＧイメージ及び第１撮影情報を生成し、多重化部３５０は、前記生成されたＹＵＶイメージ、ＪＰＥＧイメージ、及び撮影情報を図４（ａ）のように多重化し、アプリ処理部１４０に伝送する。

ここで、前記カメラ装置又はカメラ装置を備える端末装置は、ユーザが持ち運びできる携帯装置であり得る。この際、前記装置は、ユーザが位置する地域によって位置が異なり、ユーザの移動手段（車両、飛行機、汽車、徒歩など）によって移動速度が異なり、ユーザの高度位置（建物の上、地下、山、海など）によって高度が異なり、ユーザの装置利用（上下左右移動、回転軸（Ｘ、Ｙ、Ｚ軸）に沿った回転移動によって端末装置の動き及び角度が異なり、端末機の方向（東西南北）が異なる。従って、前記カメラ装置又はカメラ装置を備える端末装置は、上記の位置・運動特性を感知するためのセンサ部１２０を備え、センサ部１２０は、多様なセンサを備える。
即ち、センサ部１２０は、端末の位置（地域）と移動を感知するためのＧＰＳ受信機、端末機の動きを感知するための動きセンサ（加速度センサ、ジャイロセンサなど）、端末の高度を測定するための高度センサ、端末の方向を感知するための方向センサ、端末の周辺の明るさを感知するための照度センサなどの多様なセンサを備える。また、前記カメラ装置又はカメラ装置を備える端末装置は、カメラ駆動時に撮影時の天候・気温情報とその他の付加情報をインターネット網又は通信網を通じて受信できる。このためには、前記カメラ装置及びカメラ装置を含む端末装置は、通信網又はインターネット網と接続するために図示しない通信部（ｗｉｆｉなど）を備える必要がある。上記のように、センサ部１２０及び／又は通信部を通じて獲得されるカメラ駆動時の情報は、以下、第２撮影情報という。

イメージ処理部１３０で多重化されて伝送される表示イメージ、圧縮イメージ、及び第１撮影情報は、アプリ処理部１４０の逆多重化部３５５で逆多重化され、パーサ３７０で表示イメージ、圧縮イメージ、及び撮影情報にパーシングされ、リングバッファ３８０のそれぞれ対応する表示イメージバッファ３８３、圧縮イメージバッファ３８５、撮影情報バッファ３８７にバッファリングされる。この際、アプリ処理部１４０のアプリ処理制御部３６０は、センサ部１２０（及び／又は図示しない通信部から受信される付加情報）の出力を第２撮影情報として生成し、前記パーシングされた前記第１撮影情報を前記撮影情報にバッファリングするとき、前記第２撮影情報を併合（ｍｅｒｇｅ）して撮影情報を生成する。即ち、アプリ処理部１４０は、フレーム毎にイメージ処理部１３０で伝送される第１撮影情報とアプリ処理部１４０で生成される第２撮影情報を併合し、撮影情報バッファ３８７にバッファリングする。この際、バッファ３８０は、図５のリングバッファの構造を有し、所定のフレーム数のデータがバッファリングされれば、それ以降のフレームのデータはオーバライトされる。また、表示イメージバッファ３８３、圧縮イメージバッファ３８５、及び撮影情報バッファ３８７のフレームは、フレームカウント値を通じて同期される。従って、アプリ処理制御部３６０は、フレームカウント値を確認し、同一フレームの表示イメージ、圧縮イメージ、及び撮影情報を処理できる。

また、アプリ処理制御部３６０は、前記表示イメージを表示イメージバッファ３８０にバッファリングしながら表示部１６０に出力し、プレビューイメージとして表示できるように制御する。上記の状態で、ユーザがキャプチャ要求命令を発生すれば、アプリ制御処理部３６０は、これを感知し、圧縮イメージバッファ３８５にバッファリングされた圧縮イメージの内から、設定に従い選択された特定の圧縮イメージを格納部１５０に格納する。ここで、前記特定の圧縮イメージとしては、ゼロシャッタラグ機能が設定された場合、アプリ処理部１４０は、キャプチャ命令が発生した時点（即ち、ユーザが表示部１６０又はビューファインダー（ｖｉｅｗ ｆｉｎｄｅｒ）で確認された時点のフレーム圧縮イメージ（圧縮イメージバッファ３８５にバッファリングされた圧縮イメージ）を選択して格納する。また、ユーザが特定機能のイメージ撮影を設定した場合（例えば、フラッシュ、顔認識、揺れなど）、アプリ処理部１４０は、前記撮影情報の内から当該機能に関連した撮影情報を分析し、最適のイメージとして撮影されたフレームの圧縮イメージを選択して格納する。また、ユーザが手動設定をした場合、アプリ処理部１４０は、サムネイルイメージ及び／撮影情報などを表示し、ユーザによって選択されたフレームの圧縮イメージを格納する。この際、格納される圧縮イメージは、ＪＰＥＧイメージであり得、この場合、前記格納される圧縮イメージは、ＪＰＥＧヘッダー、サムネイルイメージ、及びＪＰＥＧイメージなどから構成される。

図１、図３及び図６、図７に示した構成を有するカメラ装置は、イメージ処理部１３０とアプリ処理部１４０を具備し、カメラ部１１０で感知されるイメージを処理する構成を示している。しかし、イメージ処理部１３０及びアプリ処理部１４０を一体化して、１つの処理部とする構成もあり得る。図８は、本発明の実施例においてイメージ及びアプリ処理を単一の処理部８３０で処理するカメラ装置の構成を示す図であり、図９は、図８の構成における処理部８３０の詳細構成を示す図である。

図８及び図９を参照すれば、カメラ部８１０は、カメラ駆動時に外部イメージを撮影し、センサ部８２０は、カメラ装置に装着されるセンサであって、前述したように、ＧＰＳ受信機、ジャイロセンサ、加速度センサ、高度センサ、方向センサの内の１つ以上を含む。

処理部８３０は、カメラ部８１０から獲得されるイメージを処理し、表示部１６０に表示するための表示イメージ、キャプチャ要求時に格納するための圧縮イメージ、及び撮影情報を生成し、生成されたイメージ及び情報をバッファリングする。ここで、処理部８３０は、前記イメージ処理部及びアプリ処理部の機能を統合処理する構成を有する。処理部８３０は、フレーム周期毎に表示イメージ、圧縮イメージ、及び撮影情報を生成し、同一のフレームのイメージ及び情報を同期してバッファリングする

入力部８６０は、処理部８３０に対するカメラ駆動命令及びキャプチャ命令を発生する。また、入力部８６０は、イメージキャプチャ時にユーザの要求により、撮影情報及び／又はサムネイルイメージの表示を要求する命令を発生する。表示部８５０は、プレビューモード時に処理部８３０で出力される表示イメージを表示する。また、表示部８５０は、イメージキャプチャ時に処理部８３０で出力される撮影情報及び／又はサムネイルイメージを表示する。ここで、入力部８６０は、ユーザのタッチ入力を感知するタッチパネルであり得、表示部８５０は、プログラム実行中に発生するデータ及びイメージなどを表示するＬＣＤ又はＯＬＥＤパネルであり得る。ここで、入力部８６０及び表示部８５０は、一体型のタッチスクリーンであり得る。また、入力部８６０は、カメラ装置の外部に位置するボタンを含み得る。

格納部８４０は、キャプチャ要求時に処理部８３０にバッファリング中の圧縮イメージを格納する。
処理部８３０の構成を説明すれば、図９に示したように、図３及び図７と比較して、イメージ処理部からアプリ処理部にフレームイメージ及び撮影情報を多重化して伝送する多重化部３５０及びアプリ処理部で受信される多重化されたフレームイメージ及び情報を逆多重化する逆多重化部３５５とこれをパーシングするパーサ部３７０が省略されていることが分かる。また、その他のスケーラ９３０、ＪＰＥＧコーダ９４０、表示イメージバッファ９５３、圧縮イメージバッファ９５５、撮影イメージバッファ９５７、ＭＰＥＧコーダ９６０、サムネイルイメージ生成部９７０及び各構成部で行われる動作は、図３及び図７の構成の場合と同一である。

即ち、映像処理部９２０で処理されたフルＨＤ級以上の解像度を有するイメージは、ＪＰＥＧコーダ９４０で圧縮符号化されてＪＰＥＧイメージとして生成され、また、スケーラ９３０でそのサイズが調節され、表示イメージとして生成される。また、制御部９１０は、カメラ部８１０及びセンサ部８２０から前記イメージ撮影時の情報を獲得し、撮影情報を生成する。この際、前記ＪＰＥＧイメージ、表示イメージ、及び撮影情報は、フレーム周期毎に生成され、同一のフレームで生成されるＪＰＥＧイメージ、表示イメージ、及び撮影情報は、同一のフレームカウント値を有する。従って、同一のフレームで生成されるＪＰＥＧイメージ、表示イメージ、及び撮影情報は、同期して処理される。また、前記ＪＰＥＧイメージ、表示イメージ及び撮影情報は、制御部９１０の制御によってそれぞれバッファ９５０の対応するバッファでバッファリングされ、前記表示イメージは、表示部８５０に出力され、プレビューイメージとして表示される。

また、キャプチャ要求が発生すれば、制御部９１０は、圧縮イメージバッファ９５５から設定された以前フレームの圧縮イメージを選択し、格納部８４０に格納することによって、ゼロシャッタラグを具現する。また、制御部９１０は、ユーザの設定によって、前述したように、サムネイルイメージ生成部９７０で生成されるサムネイルイメージを表示するか又は表示イメージを表示（ｐｏｓｔ ｖｉｅｗ）し、ユーザが選択する圧縮イメージを格納する。また、制御部９１０は、ユーザの設定によってバッファリングされた撮影情報を表示し、撮影情報の確認後にユーザが選択される圧縮イメージを格納する。

前述したように、本発明の実施例によるカメラ装置は、カメラ駆動時にフレーム毎にプレビュー表示用イメージ、及び格納用圧縮イメージを生成し、また、フレーム毎に表示イメージ、圧縮イメージ、及び撮影情報を生成及びバッファリングする。従って、本カメラ装置は、キャプチャ（格納）要求時に前記バッファリングされたイメージを利用して、ゼロシャッタラグ機能を具現でき、又は、撮影時点前後に撮影されたイメージの内からユーザが所望するイメージを選択的に格納できる。

図１０は、本発明の第１実施例に係わるカメラ装置において、フレーム毎に表示イメージ及び圧縮イメージを生成して処理する手続を示す流れ図である。
図１０を参照すると、入力部１７０からカメラ駆動要請が入力されれば、アプリ処理部１４０は、１０１１段階で、これを感知し、これをイメージ処理部１３０に通知し、イメージ処理部１３０は、１０１３段階で、カメラ部１１０を駆動する。この際、イメージ処理部１３０は、カメラ部１１０の設定情報（例えば、焦点、ズーム、ホワイトバランスなど）に従ってカメラを駆動する。

カメラ部１１０が駆動されると、カメラ部１１０は、フルＨＤ又はそれ以上の解像度を有するイメージを撮影し、イメージ処理部１３０は、１０１５段階で、これをフレーム単位で獲得し、１０１７段階で、当該フレームでの表示イメージ及び圧縮イメージを生成する。この際、フレーム率は、３０ｆｐｓ又はそれ以上（例えば６０ｆｐｓ）を有し得る。従って、イメージ処理部１３０は、１秒当たり３０フレーム又はそれ以上のフレーム率で表示イメージ及び圧縮イメージを生成する。上記の生成された表示イメージ及び圧縮イメージは、多重化されてアプリ処理部１４０に伝達され、アプリ処理部１４０は逆多重化の後、１０１９段階で、前記表示イメージ及び圧縮イメージをそれぞれバッファリングし、前記表示イメージは、表示部１６０を通じてプレビューイメージとして表示される。

上記のように、カメラ装置が１２１５段階乃至１２１９段階からなるプレビューモードを行っている状態で、ユーザがキャプチャ要求命令を発生すると、アプリ処理部１４０は、１０２１段階でこれを感知し、１０２３段階で、前記バッファリング中の圧縮イメージの内から設定された圧縮イメージを選択し、格納部１５０に格納する。この際、前記圧縮イメージを設定する方法には、さまざまな方法がある。まず、ゼロシャッタラグ機能が設定された場合、キャプチャ要求命令発生時にアプリ処理部１４０は、バッファリングされた圧縮イメージの内から特定のフレームで生成されてバッファリング中の圧縮イメージを選択し、格納部１５０に格納する。例えば、シャッタ遅延（シャッタラグ）が１フレームに設定されている場合、キャプチャ要求命令が発生すれば、図５に示したようにバッファリングされた以前フレームの圧縮イメージデータの内から、直前フレームの圧縮イメージデータを格納部１５０に格納し、ゼロシャッタラグを具現する。又は、サムネイルイメージ又は表示イメージを表示しながらユーザに所望の圧縮イメージを選択させる機能も設定できる。
図１０を１０２５段階に戻って参照すると、カメラオフ（動作終了）命令がユーザにより入力された場合、アプリ処理部１４０はこの命令入力を感知し、イメージ処理部１３０を介してカメラ部１１０を停止し、これで図１０における本方法を終了する。一方、カメラ動作終了命令が入力されない場合、本方法は１０１５段階にループバックし、カメラ動作終了命令が入力され１０２５段階で感知されるまで、この１０１５乃至１０２５段階が繰り返される。

図１１は、図１０の１０２３段階において、設定された圧縮イメージが、表示されたサムネイルイメージの内から、ユーザが選択する圧縮イメージである場合の手続を示す流れ図である。
一般に、写真撮影時に撮影されたイメージが所望しない形態で撮影される場合がある。例えば、カメラ装置が揺れた状態で写真が撮影されるか、又は撮影時点で被写体の人物が目を閉じるか、動く場合、通常はその撮影された写真は廃棄される。しかし、写真を再撮影するとき、以前の撮影時点と同一条件での写真撮影は困難である。
図１１を参照すれば、この場合、本発明の実施例においては、バッファリング中の圧縮イメージの内から所望のイメージを選択して格納できる。
即ち、本発明の実施例においては、前記表示イメージを利用してサムネイルイメージを生成する。また、キャプチャ要求時にアプリ処理部１４０は、１１１１段階で、前記バッファリングされた圧縮イメージに対応するサムネイルイメージを表示部１６０に表示する。また、ユーザが入力部１７０を通じて特定のサムネイルイメージを選択すれば、アプリ処理部１４０は、１１１３段階で、これを感知し、１１１５段階で、前記ユーザによって選択されたサムネイルイメージに対応する圧縮イメージを選択して格納部１５０に格納する。また、キャプチャ要求時にアプリ処理部１４０は、前記バッファリングされた表示イメージを順次に表示（ｐｏｓｔｖｉｅｗ）しながらユーザが所望の圧縮イメージを選択できる。

図１１の手続で行われるキャプチャ機能は、ゼロシャッタラグ機能と共に設定できる。この場合、アプリ処理部１４０は、まず、ゼロシャッタラグ機能を行って圧縮イメージを選択し、前記圧縮イメージのユーザ所望のイメージでない場合、サムネイル映像又は表示イメージを確認し、他の圧縮イメージをユーザに選択させる。

上記の動作を繰り返して行いながら、カメラ装置は、プレビューモード及びキャプチャ動作を行う。また、ユーザによってカメラ駆動終了命令が発生すれば、アプリ処理部１４０は、１０２５段階で、これを感知し、１０２７段階で、イメージ処理部１３０を通じてカメラ部１１０の駆動をオフさせる。

図１２は、カメラ装置において本発明の第２実施例に係わるカメラ装置においてフレーム毎に表示イメージ、圧縮イメージ、及び撮影情報を生成して処理する手続を示す流れ図である。
図１２を参照すると、カメラ駆動命令が発生すれば、１２１１段階乃至１２１５段階を行いながらカメラ部１１０からイメージを獲得し、一方、１２１１段階においてカメラ駆動命令が入力されない場合は、カメラ駆動が養成されるまで１２１１段階が繰り返される。この際の動作は、図１０に示した第１実施例の１０１１〜１０１５段階と同一に行われる。

その後、アプリ処理部１４０は、１２１７段階で、当該フレームでの表示イメージ、圧縮イメージ及び撮影情報を生成する。この際、フレーム率は、前述したように、３０ｆｐｓ又はそれ以上（例えば６０ｆｐｓ）であり、従って、イメージ処理部１３０は、１秒当たり３０フレーム又はそれ以上の表示イメージ、圧縮イメージ、及び例えば表１の構成を有する撮影情報を生成する。また、上記のように生成される表示イメージ、圧縮イメージ、及び撮影情報は、多重化されてアプリ処理部１４０に伝達され、アプリ処理部１４０は、１２１９段階で、前記表示イメージ（プレビューイメージ）、圧縮イメージ、及び撮影情報（メタデータ）をそれぞれバッファリングし、前記表示イメージは、表示部１６０を通じてプレビューイメージとして表示する。

上記のように、カメラ装置が１０１５段階乃至１０１９段階からなるプレビューモードを行っている状態で、ユーザがキャプチャ要求命令を発生すると、アプリ処理部１４０は、１２２１段階でこれを感知し、１２２３段階で、前記バッファリング中の圧縮イメージの内から設定された圧縮イメージを選択して格納部１５０に格納する。この際、前記圧縮イメージを設定する方法には、さまざまな方法がある。
まず、ゼロシャッタラグ機能が設定された場合、キャプチャ要求命令発生時にアプリ処理部１４０は、バッファリングされた圧縮イメージの内から特定の、例えば直前の、フレームで生成されてバッファリング中の圧縮イメージを選択し、格納部１５０に格納する。
第二に、サムネイルイメージ又は表示イメージを表示しながらユーザが所望の圧縮イメージを選択する機能が設定されている場合、アプリ処理部１４０は、１２２３段階で、上記図１１に示す手続を行う。
第三に、前記撮影情報を表示しながらユーザに所望の圧縮イメージを選択させる。

図１３は、上記第三の方法、即ち、図１２でイメージキャプチャ時に撮影情報を表示しながらユーザの選択による圧縮イメージを格納する場合の手続を示す流れ図である。
図１３を参照すれば、アプリ処理部１４０は、撮影情報を利用して撮影されたイメージの内から最適のイメージを選択する機能を設定し、また、写真撮影後に手動で撮影情報を確認し、ユーザに最適のイメージを選択させる。まず、特定情報を活用してイメージを選択する機能が設定された場合、キャプチャ命令発生時にアプリ処理部１４０は、設定された機能に関する撮影情報を分析し、分析結果によって設定された機能に関して最適に撮影されたフレームの圧縮イメージを選択して格納する。これに関する例は、後述する図１４（ｂ）及び図１６を用いて説明される。

また、手動機能に設定された場合、アプリ処理部１４０は、バッファリング中の前記撮影情報を表示しながらユーザに圧縮イメージを選択させる。例えば、フラッシュを利用してイメージを撮影した場合、アプリ処理部１４０は、撮影情報の内のフラッシュ情報を確認し、フラッシュが最大発光した時点の圧縮イメージを選択するように制御し、さらに、センサ部１２０からの情報（例えばジャイロセンサ、加速度センサなど）を確認し、揺れのない圧縮イメージを選択できるように制御する。
このために、アプリ処理部１４０は、１３１１段階で、前記撮影情報（メタデータ）を分析し、１３１３段階で、バッファリングされた撮影情報の内から所定の撮影情報項目を設定し、表示部１６０に表示する。例えば、フラッシュ撮影時に前記撮影情報の内からフラッシュ情報を設定し、表示部１６０に表示する。この際、前記フラッシュ情報は、イメージ撮影時に最大発光で撮影されたフレームの撮影情報の内からフラッシュ情報がセットされる。従って、ユーザは、表示部１６０を通じて最大発光で撮影されたフレームを確認できる。この際、ユーザが当該フレームを選択すれば、アプリ処理部１４０は、１３１５段階で、バッファリングされた圧縮イメージの内から前記選択されたフレームに対応する圧縮イメージを選択し、格納部１５０に格納する。

図１３に示す手続で行われるキャプチャ機能は、ゼロシャッタラグ機能と共に設定できる。この場合、アプリ処理部１４０は、まず、ゼロシャッタラグ機能を行って圧縮イメージを選択し、前記圧縮イメージが所望のイメージでない場合に、撮影情報を表示しながらユーザに前記圧縮イメージの前後のフレームから圧縮イメージを選択させる。

前述の動作を繰り返して行いながら、カメラ装置は、プレビューモード動作及びキャプチャ動作を行う。また、ユーザによってカメラ駆動終了命令が発生すれば、アプリ処理部１４０は、１２２５段階で、これを感知し、１２２７段階で、イメージ処理部１３０を通じてカメラ部１１０の駆動をオフさせる。

上記のように、本発明の実施例によるカメラ装置は、フレーム毎にカメラ部１１０から撮影されるイメージを利用して表示イメージ、格納用圧縮イメージ、及び当該フレームでのイメージ撮影情報を生成してバッファリングする。従って、前記バッファリングされたイメージを利用してゼロシャッタラグ機能を具現でき、また、ユーザが所望するイメージの圧縮データを選択できる。また、前述したように、フレーム毎に格納される撮影情報（埋め込みデータ）値を分析し、カメラ機能に適用することによって、多様な状況に対する最適化されたソリューションを提起できる。
下記の例は、前記撮影情報を利用してカメラ装置の機能を改善する例である。

第一に、フラッシュ情報（表１の‘Ｆｌａｓｈ’項目）を利用してフラッシュタイミング問題を解決する。
図１４（ａ）及び図１４（ｂ）は、本発明の実施例によって撮影情報のフラッシュ情報を利用してフラッシュタイミング問題を解決する方法を説明する図である。

図１４（ａ）を参照すれば、フラッシュ撮影時にイメージ処理部１３０は、カメラ部１１０のフラッシュ２６０を駆動する。この際、フラッシュ２６０は発光し、イメージ処理部１３０は、フル発光をするフレームで表１に示す撮影情報の内のフラッシュパラメータを特定値にセットする。また、イメージ処理部１３０は、内部のレジスター値を確認してフラッシュ２６０のフル発光状態を確認し、前記フル発光状態のフレームでイメージ処理部１３０は、撮影情報のフラッシュパラメータをフル発光にセットする。図１４（ａ）は、フラッシュ２６０がフル発光したフレームに対して撮影情報のフラッシュパラメータが１にセットされる場合を示している。図１４（ｂ）は、撮影情報のフラッシュパラメータが図１４ａのように設定される場合にキャプチャされるイメージを決定する手続を示す示す流れ図である。

図１４（ｂ）を参照すれば、図１０の１０２１段階で、キャプチャ要求が発生すれば、アプリ処理部１４０は、１０２３段階で、図１４（ｂ）に示す手続を行う。前記フラッシュ機能が設定された場合、アプリ処理部１４０は、１４１１段階で、フラッシュ機能が設定されたことを感知し、１４１３段階で、撮影情報のフラッシュパラメータを分析する。この際、前記フラッシュパラメータは、図１４（ａ）に示したように、最大発光するフレームで１にセットされる構造を有する。この場合、アプリ処理部１４０は、１４１５段階で、前記フラッシュパラメータが１にセットされたフレーム（即ち、フラッシュが最大発光したフレーム）を確認し、１４１７段階で、当該フレームの圧縮イメージを選択し、格納部１０５に格納する。

この場合、当該フレームは前記シャッタがオンされたフレームと少し異なり得る。即ち、シャッタが押圧された時点でフラッシュが駆動されるので、フラッシュの最大発光時点は、シャッタが駆動されたフレームに続きいくつかのフレームが経過した時点になり得る。従って、フラッシュ駆動時にはユーザはシャッタ駆動時点（即ち、ゼロシャッタラグを具現するフレーム）の圧縮イメージ又はフラッシュの最大発光時点の圧縮イメージの何れかを選択できる。従って、前者の場合、まず、アプリ処理部１４０は、ゼロシャッタラグのフレーム圧縮イメージを選択して表示し、その後、ユーザが撮影情報を確認してフラッシュの最大発光時点のイメージを選択すれば、当該圧縮イメージを選択して格納する。また、後者の場合、アプリ処理部１４０は、フラッシュ駆動時に最大発光時点のフレームを選択して格納する。

前述したように、フラッシュ使用時にアプリ処理部１４０は、表示部１６０に撮影情報の内からフラッシュパラメータを図１４ａのように表示し、ユーザがフル発光したフレームを選択すれば、アプリ処理部１４０は、当該フレームの圧縮イメージを選択し、格納部１５０に格納する。従って、フラッシュを利用した写真のキャプチャ時にフラッシュのフル発光タイミングを合わせる必要がなく、フレーム毎に入る撮影情報（埋め込みデータ）中のフラッシュパラメータ値を利用すれば良い。即ち、フラッシュパラメータ値が、フラッシュのフル発光を示す時点のフレームの圧縮イメージを選択して格納すれば良いので、特別にフラッシュタイミングを合わせる必要がない。

第二に、ゼロシャッタラグ（ＺＳＬと略す）環境にあっては、典型的なＪＰＥＧ最大サイズ、例えば８ＭＢを有する圧縮イメージをバッファリングするバッファが管理対象となる。図１５は、本発明の実施例によって圧縮イメージを格納するバッファの構造を示す図である。

図１５を参照すれば、本発明の実施例によるカメラ装置のＺＳＬ環境では、複数のイメージバッファを使用して一定個数Ｎ個のイメージをバッファに格納する。この際、前記ＪＰＥＧイメージのサイズが最大８ＭＢであると仮定すれば、圧縮イメージバッファ３８５は、図７に示したように、８Ｍ×Ｎサイズのバッファで構成されなければならない。例えば、８Ｍイメージを格納できる５個のバッファを使用するとすれば、８Ｍ×５を格納できるサイズで圧縮イメージバッファ３５５を構成しなければならない。
しかし、フレーム毎に生成されるＪＰＥＧイメージのサイズは、撮影するイメージによって参照番号１５１１に示すように可変的なサイズを有し、そのため、参照番号１５１３に示すように、バッファ内には使用されずに廃棄される領域が発生する。従って、表１に示す構造を有する撮影情報に含まれるデータサイズ情報を利用すれば、図１５の参照番号１５１５に示すように、圧縮イメージバッファ３５５に格納でき、これにより、実際生成されたＪＰＥＧイメージのサイズ相当分値だけメモリを使用し、残ったメモリを次のフレームのイメージを格納するのに再使用できる。この場合、８Ｍ＿ＪＰＥＧイメージの実際の平均サイズを２ＭＢと仮定すれば、８Ｍ×５のバッファを使用すると実際には２０個程度のイメージを格納できる。
この際、前記フレームは、表１に示した撮影情報の内のフレームカウント（ｆｒａｍｅ ｃｏｕｎｔ）によってフレーム同期できる。即ち、ＪＰＥＧイメージの場合、ＪＰＥＧヘッダー、サムネイルイメージ、及びＪＰＥＧイメージで構成され、前記ＪＰＥＧヘッダーがフレームカウント値を有するようにすれば、参照番号１５１５に示すように、前記圧縮イメージバッファに格納される圧縮イメージと、撮影情報及び表示イメージのフレーム同期を取ることができる。

第三に、センサ部１２０からの撮影情報を利用して揺れた写真をキャプチャする問題を解決できる。図１６は、本発明の実施例によって撮影情報を利用して揺れのないイメージをキャプチャする手続を示す流れ図である。

図１６を参照すれば、一般的にセンサ部１２０のジャイロセンサと加速度センサは、カメラ装置の揺れを感知できる。上述のように、図１２に示す手続を行いながらカメラ装置が表示イメージ、圧縮イメージ、及び撮影情報を生成及びバッファリングし、前記表示イメージは、表示部１６０を通じてプレビューされる。
この際、揺れ検出機能が設定されていれば、アプリ処理部１４００は、１６１１段階で、これを感知し、１６１３段階で、前記撮影情報に含まれた動きセンサ情報を分析する。この際、動きセンサは、加速度センサ及びジャイロセンサであり得る。この際、前記加速度センサは、カメラ装置の上下左右の動きを感知し、前記ジャイロセンサは、回転軸（Ｘ、Ｙ、Ｚ軸）に沿った回転動きを感知する。また、表１に示したように生成された撮影情報には、センサ部１２０で生成される加速度情報‘加速度センサー’及びジャイロセンサの情報‘Ｇｙｒｏ＿ｄａｔａ’が含まれる。

上記の状態で、ユーザが写真キャプチャボタンを押すと、アプリ処理部１４０は、１６１１段階で揺れ検出機能が設定されているかを確認し、揺れ検出機能が設定されている場合、１６１３段階で、アプリ処理部１４０は最初にＺＳＬフレームの撮影情報を選択し、前記選択された撮影情報の内からジャイロセンサの情報及び加速度センサの情報を抽出し、前記抽出された２つのデータ値を分析する。この際、前記ジャイロセンサ情報及び加速度センサ情報に対して揺れの有無を判定するための臨界値をそれぞれ設定しておき、アプリ処理部１４０は、１６１５段階で、撮影情報内の各センサ情報を対応する臨界値と比較し、揺れの有無を判断する。
この際、２つのセンサの撮影情報の内のいずれか１つのセンサ情報が臨界値より大きければ、アプリ処理部１４０は、１６１５段階で、当該フレームの撮影イメージが揺れたものと判断し、１６１９段階で、次のフレームの撮影情報を選択した後、１６１３段階を行う。この際、次のフレームとしては、ゼロシャッタラグの設定フレームのすぐ前又は後のフレームを選択する。フレームの選択は例えば、ＺＳＬ具現フレームの前フレームを選択し、その後、後フレームを選択する順に行う。

また、１６１５段階で、少なくとも一つのフレームに揺れがないと判定されれば、即ち前記当該フレームの撮影情報の内の、前記加速度センサ及びジャイロセンサの情報が何れも所定の臨界値の条件を満たす場合、アプリ処理部１４０は、１６１５段階で、当該フレームの撮影イメージは、揺れなく撮影されたイメージと見なし、１６１７段階で、当該フレームの圧縮イメージを格納部１５０に格納する。

以上説明したように、揺れ検出機能が設定された場合、アプリ処理部１４０は、キャプチャ要求時に、まず、ゼロシャッタラグフレームの撮影情報の内の動きセンサ情報である加速度センサとジャイロセンサの撮影情報を抽出し、これら２つのセンサの値の内のいずれか１つでも変化する値が大きければ、揺れがあると判断する。この場合、アプリ処理部１４０は、キャプチャ予定であるフレームより１個以前又は以後のフレームの撮影情報の内から前記ジャイロセンサ及び加速度センサの情報を抽出し、抽出された２つの情報を分析する。この際、２つのデータの変化値が所定の値より小さければ、揺れのない写真であると判断し、アプリ処理部１４０は、バッファリング中の当該フレームの圧縮イメージを選択し、格納部１５０に格納する。ここで、キャプチャする写真の揺れを判断するセンサ情報として、ジャイロセンサ及び加速度センサを使用する場合を例示して説明しているが、ジャイロセンサ又は加速度センサの情報だけで撮影されたイメージの揺れ有無を判断することもできる。

前述したように、カメラ装置でプレビューモード時に表示イメージ、圧縮イメージ、及び撮影情報を生成してバッファリングし、前記撮影情報は、カメラの揺れの有無を判断するためのセンサ部１２０の情報（加速度センサ及び／又はジャイロセンサの情報）を含む。また、前記プレビューモードでユーザがシャッタボタンをリリースすれば、アプリ処理部１４０は、所定のフレームの撮影情報（ここで、ゼロシャッタラグ機能を行う場合、シャッタボタンのリリース時点に該当するバッファリング中のフレームの撮影情報）を分析し、揺れの有無を判断する。この際、撮影情報の内の特定のセンサ情報を判断した結果、揺れ値が設定値以内なら、所定のフレームの圧縮イメージを格納し、揺れ値が設定値より大きければ、その以前フレームの撮影情報を分析し、揺れ有無を判断する。このような過程を繰り返してフレームの撮影情報を順次に分析しながら、揺れが設定値以内の値を有するフレームの圧縮イメージを選択して格納する。

第四に、上述したような撮影情報の値を累積及び分析することにより、カメラ装置の自動設定（ａｕｔｏ ｓｅｔｔｉｎｇ）機能を具現できる。表１に示したような撮影情報は、フレーム毎に生成され、前記生成された撮影情報は格納部１５０に格納される。また、フレーム毎に生成される撮影情報値を分析し、予め特定のユーザ環境に適合するようにカメラ設定を自動的に構成する。例えば、以前１００フレームの撮影情報値を分析し、最適化されたフレーム率（ｆｐｓ）、露光値（ｅｖ）、シーンモード（ｓｃｅｎｅ ｍｏｄｅ）、実効ＩＳＯ感度（ｅｆｆｅｃｔ ＩＳＯ）値などを獲得して自動的に適用する。

図１７は、本発明の実施例によるカメラ装置を備える携帯端末装置の更に他の構成を示す図である。
図１７を参照すれば、カメラ部１１０は、センサを具備し、カメラ駆動時にセンサを通じてイメージを獲得する機能を行う。センサ部１２０は、携帯端末装置に装着する１つ以上のセンサを含み、前記センサは、ＧＰＳ受信機、ジャイロセンサ、加速度度センサ、高度センサ、方向センサ、照度センサの内の１つ以上である。ここで、センサ部１２０は、図１及び図３のように、イメージ処理部１３０に連結されるか、又は、図示したように図６及び図７の場合と同様に、アプリ処理部１４０に連結される。また、センサ部１２０を構成する一部のセンサをイメージ処理部１３０に連結し、残りのセンサをアプリ処理部１４０に連結する構成も有り得る。以下の説明では、センサ部１２０がアプリ処理部１４０に連結される構成を仮定して説明する。

イメージ処理部１３０は、カメラ部１１０から獲得されるイメージを処理し、フレーム毎に表示部１６０に表示するための表示イメージ、キャプチャ要求時に格納するための圧縮イメージ、及び当該フレームでイメージを撮影した撮影情報などを生成する。ここで、前記表示イメージは、ＹＵＶイメージであり得、前記圧縮イメージは、ＪＰＥＧイメージであり得る。前記撮影情報は、カメラ部１１０でイメージ撮影時に獲得できるｅｘｉｆ情報以外に、携帯端末装置のセンサ部１２０からの出力を含む多様な情報を更に含み得る。イメージ処理部１３０は、１秒に３０フレーム（３０ｆｐｓ）又はそれ以上のフレーム率（例えば６０ｆｐｓ）で表示イメージ、圧縮イメージ及び撮影情報を生成する。

アプリ処理部１４０は、携帯端末装置の多様なアプリ機能を行う。また、アプリ処理部１４０は、センサ部１２０の出力を入力されて、ユーザの要求による多様なセンサ関連アプリケーションを処理することができる。例えば、ＧＰＳ受信の出力を入力されて、ナビゲーション機能、端末機の位置による地域情報を探索するアプリを処理し、端末装置の動きによって現在実行されるアプリでの所定の機能を行うアプリなどを行う。特にアプリ処理部１４０は、本発明の実施例によってカメラ駆動時にイメージ処理部１３０でフレーム毎に生成される表示イメージ及び圧縮イメージ、又は、表示イメージ、圧縮イメージ、及び撮影情報をバッファリングし、前記表示イメージを表示部１６０に出力して表示されるように制御し、ユーザのキャプチャ要求命令が発生すれば、前記バッファリング中の圧縮イメージの内から所定の圧縮イメージを格納部１５０に格納する。この際、前記撮影情報をバッファリングする時、アプリ処理部１４０は、イメージ処理部１３０で生成される第１撮影情報と、センサ部１２０から出力される撮影時に設定された第２撮影情報とを生成し、前記第１撮影情報と第２撮影情報を統合して撮影情報としてバッファリングする機能を行う。

通信部１７２０は、外部装置又は基地局と通信機能を行う。通信部１７２０は、送信信号をＲＦ帯域に上昇変換する変換器（ｆｒｅｑｕｅｎｃｙ ｕｐ ｃｏｎｖｅｒｔｅｒ）と電力増幅器などから構成される送信部と、ＲＦ受信信号を低雑音増幅する増幅器と、ＲＦ信号を基底帯域に下降変換する変換器（ｆｒｅｑｕｅｎｃｙ ｄｏｗｎ ｃｏｎｖｅｒｔｅｒ）と、などを備える。また、通信部１７２０は、前記送信信号を変調し、送信部に伝達する変調部及び前記受信部で出力される信号を復調する復調部を備える。ここで、前記変調／復調部は、通信方式によってＷＣＤＭＡ、ＧＳＭ（登録商標）、ＬＴＥ方式の変調／復調部であり得、また、ＷＩＦＩ、ＷＩＢＲＯなどの変調／復調部であり得る。

端末制御部１７１０は、携帯端末装置の全般的な動作を制御し、音声通話及びデータ通信の機能を行う。ここで、端末制御部１７１０は、通信部１７２０の変調／復調部を含み得、この場合、通信部１７２０は、ＲＦ通信部のみを備える。端末制御部１７１０は、この場合、前記通信信号の変調／復調及び符号／復号化する機能を行う。
オーディオ処理部１７３０は、携帯端末装置の送受信機と連結され、端末制御部１７１０の制御下に音声通信時に通話音声を処理する。メモリ１７４０は、端末制御部１７１０及びアプリ処理部１４０のプログラムがローディングされるワークメモリ（ｗｏｒｋ ｍｅｍｏｒｙ）であり得、この場合、メモリ１７４０は、ＲＡＭで構成される。

入力部１７０は、端末制御部１６１０及びアプリ処理部１４０に対して携帯端末装置の各種動作命令及びデータ入力信号を発生する。特にアプリ処理部１４０に対してカメラ駆動命令、キャプチャ命令を発生する。また、入力部１７０は、イメージキャプチャ時にユーザの要求による撮影情報及び／又はサムネイルイメージの表示を要求する命令を発生する。表示部１６０は、端末制御部１７１０及びアプリ処理部１４０の制御下に携帯端末装置の動作及びアプリ実行状態を表示する。特に表示部１６０は、本発明の実施例によってプレビューモード時にアプリ処理部１４０から出力される表示イメージを表示する。また、表示部１６０は、イメージキャプチャ時にアプリ処理部１４０から出力される撮影情報及び／又はサムネイルイメージを表示する。ここで、入力部１７０は、ユーザのタッチ入力を感知するタッチパネルであり得、表示部１６０は、プログラム実行中に発生するデータ及びイメージなどを表示するＬＣＤ又はＯＬＥＤパネルであり得る。ここで、入力部１７０及び表示部１６０は、一体型のタッチスクリーンになり得る。また、入力部１７０は、カメラ装置の外部に位置するボタンを含み得る。

格納部１５０は、携帯端末装置の動作プログラム及び本発明の実施例によるプログラムを格納するプログラムメモリと、プログラム実行のためのデータ及びプログラム実行中に発生するデータを格納するためのデータメモリとから構成される。この場合、格納部１５０は、フラッシュメモリなどの不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）で構成できる。特に格納部１５０は、本発明の実施例によってキャプチャ要求時にアプリ処理部１４０にバッファリング中の圧縮イメージを格納する。

図１７に示す構成を有する携帯端末装置は、音声通話及びデータ通信サービスを実行でき、カメラ撮影モード時に本発明の実施例によってカメラ部１１０で撮影されるイメージを処理する。携帯端末機の電源オンなどのように携帯端末機の起動を行う場合、端末制御部１７１０は、格納部１５０で通話及び通信、そして携帯端末装置の動作プログラムをメモリ１７４０にローディングする。また、アプリ処理部１４０は、アプリ実行要求時に格納部１５０から当該アプリを駆動するためのプログラムをメモリ１７４０にローディングする。従って、メモリ１７４０は、システム動作時に携帯端末装置の動作プログラム及びアプリプログラムがローディングされるワークメモリ機能を行う。ここで、メモリ１７４０は、アプリ処理部１４０及び端末制御部１７１０で共有されるか、又は、それぞれ独立的に構成される。

アプリ処理部１４０は、本発明の実施例によるカメラ部１１０のイメージ処理アプリと携帯端末装置の多様なアプリを処理する。また、上記のような多様なアプリ処理を行うために、アプリ処理部１４０は、センサ部１２０の出力を入力され、センサ部１２０の出力に従ってアプリを行うか、又は、センサ部１２０の出力に従ってアプリの処理動作を制御する。また、端末制御部１７１０は、センサ部１２０の出力を入力され、通話又は通信サービスを行うか、又は、センサ部１２０の出力によって通話又は通信サービスを制御する。

発信通話時に、ユーザは、入力部１７０を通じて発信電話番号及び通話要求信号を発生し、これを感知する端末制御部１７１０は、通信部１７２０を制御して通話路を形成し、基地局を通じて発信通話機能を行う。また、着信通話が発生すれば、端末制御部１７１０は、通信部１７２０を通じてこれを感知し、オーディオ処理部１７３０を通じて着信警報を出力し、表示部１６０を通じて着信情報を表示する。この際、ユーザが入力部１７０を通じて応答をすれば、端末制御部１７１０は、通信部１７２０を通じて着信通話路を形成し、通話サービスを行う。データ通信の場合にも、前記通話と類似の動作で通信路を形成する。

また、前記携帯端末装置は、多様なアプリを行い得る。この際、ユーザが入力部１７０を通じて特定アプリの実行を要求すれば、アプリ処理部１４０は、当該アプリを実行し、その結果を表示部１６０に表示する。この際、ユーザがカメラ駆動要求命令を発生すれば、アプリ処理部１４０は、これを感知し、イメージ処理部１３０を通じてカメラ部１１０を駆動する。その際、イメージ処理部１３０は、フレーム毎にカメラ部１１０で撮影されるイメージを処理して表示イメージと圧縮イメージを生成し、またカメラ部１１０及びセンサ部１２０の出力を利用して当該フレームの撮影情報を生成する。アプリ処理部１４０は、前記フレーム毎に生成されて受信される表示イメージ、圧縮イメージ、及び撮影情報をバッファリングし、前記表示イメージを、表示部１６０を通じてプレビューイメージとして表示する。従って、前記携帯端末装置は、カメラ駆動要求時にフレーム毎にカメラ部１１０から生成される表示イメージ、圧縮イメージ、及び撮影情報をそれぞれバッファリングし、その内、表示イメージを表示部１６０にプレビューする。この際、アプリ処理部１４０は、所定の数のフレームイメージ（圧縮及び表示イメージ）及び情報（撮影情報）をバッファリングする。

この状態でユーザが入力部１７０を通じてキャプチャ命令を発生すれば、アプリ処理部１４０は、バッファリング中の圧縮イメージの内から前記キャプチャ要求が発生した時点のフレーム圧縮イメージを選択し、格納部１５０に格納する。従って、アプリ処理部１４０は、シャッタ・オン時点（即ち、シャッタが完全に押された時点）の圧縮イメージを選択して格納することによって、ゼロシャッタラグ（ＺＳＬ）機能を具現する。この際、アプリ処理部１４０は、表示部１６０に前記表示イメージを表示する状態で前記格納される圧縮イメージをサムネイルイメージで表示するか、又は、これと反対に、前記格納される圧縮イメージに対する表示イメージを表示部１６０に表示し、前記表示イメージのサムネイルイメージを動画形態で表示部１６０に表示する。

また、前記キャプチャ命令時にシャッタ・オン時点のイメージが所望しない形態に撮影される場合がある。即ち、前記シャッタ・オン時点に撮影された写真が揺れたか、又は、フラッシュを使用する場合には、シャッタが押された時点のイメージよりそれと隣接する他のフレームのイメージがより良好であり得る。この場合に備えて、ユーザは、プログラム登録（又は設定）モードでフラッシュ機能設定、揺れ検出機能などを設定できる。この際、フラッシュ機能が設定された場合、前記キャプチャ要求が発生すれば、アプリ処理部１４０は、前記撮影情報のフラッシュ情報を確認し、フル発光情報がセットされたフラッシュ情報のフレーム圧縮イメージを選択して格納する。また、前記揺れ検出機能が設定された場合、アプリ処理部１４０は、まず、シャッタ・オン時点のフレーム撮影情報の内の動きセンサ情報を分析し、揺れが有るか否かを判断し、判断結果によって揺れがあれば、隣接する次のフレーム（シャッタ・オン フレームの前後のフレーム）の揺れ有無を判断し、揺れがなければ、当該フレームの圧縮イメージを格納部１５０に格納する。

また、本発明の実施例においては、前記撮影情報の一部をアプリ処理部１４０で生成する。例えば、センサ部１２０の出力をアプリ処理部１４０で処理し、イメージ処理部１３０は、カメラ部１１０の出力を処理する場合、イメージ処理部１３０は、カメラ部１１０の出力から表示イメージ及び圧縮イメージを生成し、また、カメラ部１１０による撮影情報を生成し、アプリ処理部１４０は、前記表示イメージ及び圧縮イメージをバッファリングし、また、イメージ処理部１３０で生成されて伝送される撮影情報にセンサ部１２０で出力される撮影時のセンサ情報を含んで最終撮影情報を生成及びバッファリングする。この際、前記表示イメージ、圧縮イメージ、及び撮影情報は、フレームカウント値によってフレーム同期を行い、従って、アプリ処理部１４０は、前記バッファリングされる表示イメージ、圧縮イメージ、及び撮影情報を処理するとき、前記フレームカウント値によって同期されたフレームでそれぞれを処理する。

本明細書と図面に開示された本発明の実施例は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施例以外にも、本発明の技術的思想に基づく他の変形例が実施可能であるということは、本発明の属する技術分野における通常の知識を有する者に自明であろう。

１１０、８１０ カメラ部
１２０、８２０ センサ部
１３０ イメージ処理部（ＩＳＰ）
１４０ アプリ処理部
１５０、８４０ 格納部
１６０、８５０ 表示部
１７０、８６０ 入力部
２１０ 光学部
２２０ イメージセンサ
２３０ ＡＤ変換部
２４０ モータ
２５０ アクチュエータ
２６０ フラッシュ
３１０ イメージ処理制御部
３２０ 映像処理部
３３０、９３０ スケーラ
３４０、９４０ 静止映像圧縮部（静止映像符号化器）、ＪＰＥＧコーダ
３５０ 多重化部
３５５ 逆多重化部
３６０ アプリ処理制御部
３７０ パーサ
３８０、９５０ バッファ
３８３、９５３ 表示イメージバッファ
３８５、９５５ 圧縮イメージバッファ
３８７、９５７ 撮影情報バッファ
３９０、９６０ 動画圧縮部（動画符号化器）、ＭＰＥＧコーダ
３９５、９７０ サムネイルイメージ生成部
８３０ 処理部
９１０ 制御部
１７１０ 端末制御部
１７２０ 通信部
１７３０ オーディオ制御部
１７４０ メモリ

Claims (33)

1. 携帯端末装置のイメージ撮影方法において、
   カメラ駆動時にフレーム周期毎にカメラセンサからイメージを獲得する過程と、
   前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換する過程と、
   前記表示イメージを表示部に表示し、前記圧縮イメージをバッファリングする過程と、を備えることを特徴とする方法。
2. キャプチャ要求時に、
   前記バッファリングされた圧縮イメージのうち所定のフレームの圧縮イメージを選択して格納することを特徴とする請求項１に記載の方法。
3. 携帯端末装置において、
   カメラ駆動時にフレーム毎にイメージを獲得するカメラと、
   前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換し、前記表示イメージ及び圧縮イメージをフレーム毎に生成して出力するイメージ処理部と、
   前記表示イメージを表示部及び圧縮イメージをバッファリングするアプリケーション（以下、アプリという）処理部と、
   前記アプリ処理部から出力される表示イメージを表示する表示部と、を備えることを特徴とする装置。
4. 前記圧縮イメージをキャプチャイメージとして格納する格納部と、
   前記カメラ駆動信号を発生し、前記アプリ処理部に出力する入力部と、を更に備え、
   前記アプリ処理部は、前記入力部からキャプチャ要求信号発生時に、前記バッファリングされた圧縮イメージのうち所定のフレームの圧縮イメージを選択し、前記格納部に格納することを特徴とする請求項３に記載の装置。
5. 前記所定のフレームは、ゼロシャッタラグを有するフレームであることを特徴とする請求項４に記載の装置。
6. 前記イメージ処理部は、
   カメラで獲得されるイメージを処理する映像処理部と、
   前記映像処理部で出力されるイメージを圧縮し、前記圧縮イメージを生成する圧縮符号器と、
   前記映像処理部で出力されるイメージを表示イメージに変換するスケーラと、
   前記表示イメージ及び圧縮イメージを１つのフレームで多重化出力する多重化器と、を備えることを特徴とする請求項５に記載の装置。
7. 前記アプリ処理部は、
   前記多重化された信号を逆多重化する逆多重化部と、
   前記逆多重化された表示イメージをバッファリングする表示イメージバッファと、
   前記圧縮イメージをバッファリングする圧縮イメージバッファと、
   前記カメラ駆動時に前記表示イメージを表示部に出力し、キャプチャ要求時に圧縮イメージバッファにバッファリングされた圧縮イメージのうち、ゼロシャッタラグのフレームに対応する圧縮イメージを選択し、前記格納部に格納するアプリ処理制御部と、を備えることを特徴とする請求項５に記載の装置。
8. 前記圧縮イメージバッファは、リングバッファであり、前記圧縮イメージを所定のフレーム数だけバッファリングすることを特徴とする請求項７に記載の装置。
9. 前記アプリ処理部は、前記表示イメージをサムネイルイメージとして生成するサムネイルイメージ生成部を更に備えることを特徴とする請求項８に記載の装置。
10. 前記入力部からキャプチャ要求信号発生時に、前記アプリ処理制御部は、前記サムネイルイメージを前記表示部に表示し、前記入力部を通じて選択されるサムネイルイメージに対応するフレームのＪＰＥＧイメージを前記格納部にキャプチャイメージとして格納することを特徴とする請求項９に記載の装置。
11. 携帯端末装置のイメージ撮影方法において、
    カメラ駆動時にフレーム毎にカメラセンサからイメージを獲得する過程と、
    前記獲得されたイメージをそれぞれ表示イメージ及び圧縮イメージに変換し、前記イメージの撮影情報を生成し、前記表示イメージ、圧縮イメージ、及び撮影情報をフレーム毎に出力する過程と、
    前記表示イメージを表示部に表示し、前記圧縮イメージ及び撮影情報をバッファリングする過程と、を備えることを特徴とする方法。
12. キャプチャ要求時に、
    前記バッファリングされた圧縮イメージ及び表示イメージのうち、所定のフレームの圧縮イメージ及び撮影情報を選択して格納する過程を更に備えることを特徴とする請求項１１に記載の方法。
13. 前記所定のフレームは、ゼロシャッタラグを有するフレームであることを特徴とする請求項２又は１２に記載の方法。
14. 前記表示イメージは、ＹＵＶイメージであり、前記圧縮イメージは、ＪＰＥＧイメージであることを特徴とする請求項１３に記載の方法。
15. 前記ＹＵＶイメージをサムネイルイメージとして生成する過程を更に備えることを特徴とする請求項１４に記載の方法。
16. キャプチャ要求時に前記サムネイルイメージを表示する過程を更に備え、
    前記表示されるサムネイルイメージのうち選択されたサムネイルイメージに対応するＪＰＥＧイメージをキャプチャイメージとして格納することを特徴とする請求項１５に記載の方法。
17. 前記撮影情報は、前記イメージ獲得時点でカメラ及び携帯端末装置のセンサから獲得される情報であることを特徴とする請求項１３に記載の方法。
18. キャプチャ要求時にバッファリングされたフレームのサムネイルイメージを表示する過程と、
    前記表示されるサムネイルイメージのうち、選択されたサムネイルイメージに対応するＪＰＥＧイメージ及び撮影情報をキャプチャイメージとして格納する過程と、を更に備えることを特徴とする請求項１４に記載の方法。
19. キャプチャ要求時に前記撮影情報を表示する過程と、
    前記表示される撮影情報のうち、選択されたフレームの撮影情報及びＪＰＥＧデータをキャプチャイメージとして格納する過程と、を更に備えることを特徴とする請求項１７に記載の方法。
20. 携帯端末装置において、
    カメラ駆動時にカメラセンサからイメージを獲得するカメラ部と、
    前記カメラ部で獲得されたイメージを処理してそれぞれ表示イメージ及び圧縮イメージに変換し、前記カメラ部から撮影情報を受信し、前記表示イメージ、圧縮イメージ、及び撮影情報をフレーム毎に生成して出力するイメージ処理部と、
    前記表示イメージ、圧縮イメージ、及び撮影情報をバッファリングするアプリ処理部と、
    前記表示イメージを表示する表示部と、を備えることを特徴とする装置。
    
21. カメラ装置において、
    カメラ駆動時にフレーム区間毎にカメラセンサからイメージを獲得するカメラ部と、
    少なくとも１つのセンサを有するセンサ部と、
    前記カメラ部で獲得されたイメージを処理してそれぞれ表示イメージ及び圧縮イメージを生成し、前記イメージ撮影時に前記カメラ部及びセンサ部の出力から撮影情報を獲得し、前記表示イメージ、圧縮イメージ、及び撮影情報をバッファリングする処理部と、
    前記表示イメージを表示する表示部と、を備えることを特徴とする装置。
22. 前記カメラ駆動及びキャプチャ要求信号を発生する入力部と、
    前記圧縮イメージをキャプチャイメージとして格納する格納部と、を更に備え、
    前記処理部は、前記入力部からキャプチャ要求信号発生時に、前記バッファリングされた圧縮イメージ及び撮影情報のうち、ゼロシャッタラグのフレームの圧縮イメージ及び撮影情報を選択し、前記格納部にキャプチャイメージとして格納することを特徴とする請求項２１に記載の装置。
23. 携帯端末装置において、
    外部装置と無線通信を行う通信部と、
    前記通信部を通じて携帯端末装置の通話及び通信を制御する端末制御部と、
    カメラ駆動時にフレーム周期毎にカメラセンサからイメージを獲得するカメラ部と、
    少なくとも１つのセンサを有し、センサ情報を生成するセンサ部と、
    前記カメラ部で獲得されたイメージを処理して表示イメージ及び圧縮イメージを生成し、前記イメージ撮影時に前記カメラ部から撮影情報を生成し、前記生成された表示イメージ、圧縮イメージ、及び撮影情報をフレーム毎に生成して出力するイメージ処理部と、
    前記端末制御部と通信し、通信アプリを処理し、カメラ駆動時に前記表示イメージを表示部に表示し、前記表示イメージ、圧縮イメージ、及び撮影情報をそれぞれバッファリングするアプリ処理部と、
    前記表示イメージを表示する表示部と、を備えることを特徴とする装置。
24. カメラ駆動及びキャプチャ要求信号を発生する入力部と、
    前記圧縮イメージをキャプチャイメージとして格納する格納部と、を更に備え、
    前記アプリ処理部は、前記入力部からキャプチャ要求信号発生時に、前記バッファリングされた圧縮イメージのうち、所定のフレームの圧縮イメージ及び撮影情報を選択し、前記格納部にキャプチャイメージとして格納することを特徴とする請求項２０又は２３に記載の装置。
25. 前記イメージ処理部は、
    カメラ部で獲得されるイメージを処理する映像処理部と、
    前記映像処理部から出力されるイメージを圧縮し、前記圧縮イメージを生成する圧縮符号器と、
    前記映像処理部から出力されるイメージを前記表示イメージとして生成するスケーラと、
    前記カメラ部の動作を制御し、イメージ獲得時点で前記カメラ部のセット情報を撮影情報として生成するイメージ処理制御部と、
    前記表示イメージ、圧縮イメージ、及び撮影情報をフレーム毎に多重化出力する多重化器と、を備えることを特徴とする請求項２４に記載の装置。
26. 前記映像処理部は、前記カメラで獲得されるイメージをＹＵＶイメージに変換し、
    前記圧縮符号器は、変換された前記ＹＵＶイメージをＪＰＥＧ方式で圧縮することを特徴とする請求項６又は２５に記載の装置。
27. 前記携帯端末装置に装着される少なくとも１つのセンサを更に備え、
    前記イメージ処理制御部は、前記カメラ部の第１撮影情報及び前記センサ部で感知される第２撮影情報を結合し、前記撮影情報を生成することを特徴とする請求項２６に記載の装置。
28. 前記イメージ処理部は、
    カメラ部で獲得されるイメージを処理する映像処理部と、
    前記前処理されたイメージを圧縮し、前記圧縮イメージを生成する圧縮符号器と、
    前記前処理されたイメージをスケーリングし、前記表示イメージを生成するスケーラと、
    前記カメラ部の動作を制御し、イメージ獲得時点で前記カメラ部のセット情報を撮影情報として生成するイメージ処理制御部と、
    前記表示イメージ、圧縮イメージ、及び撮影情報をフレーム毎に多重化出力する多重化器と、を備えることを特徴とする請求項２３に記載の装置。
29. 前記映像処理部は、前記カメラで獲得されるイメージをＹＵＶイメージに変換し、
    前記圧縮符号器は、変換された前記ＹＵＶイメージをＪＰＥＧ方式で圧縮することを特徴とする請求項２８に記載の装置。
30. 前記アプリ処理部は、
    前記イメージ処理部から出力される多重化された信号を表示イメージ、圧縮イメージ及び撮影情報に逆多重化する逆多重化部と、
    前記表示イメージをバッファリングする表示イメージバッファと、
    前記圧縮イメージをバッファリングする圧縮イメージバッファと、
    前記撮影情報をバッファリングする撮影情報バッファと、
    前記カメラ駆動時に前記表示イメージを表示部に出力し、キャプチャ要求時にバッファリングされた圧縮イメージ及び撮影情報のうち、ゼロシャッタラグのフレームの圧縮イメージ及び撮影情報を選択し、前記格納部にキャプチャイメージとして格納するアプリ処理制御部と、を備えることを特徴とする請求項２５又は２８に記載の装置。
31. 携帯端末装置で装着される少なくとも１つのセンサを有するセンサ部を更に備え、
    前記アプリ処理制御部は、前記撮影情報をバッファリングするとき、前記イメージ処理部の撮影情報と前記センサ部の出力を併合して前記撮影情報を生成し、前記撮影情報を前記撮影情報バッファにバッファリングすることを特徴とする請求項３０に記載の装置。
32. 前記アプリ処理部は、サムネイルイメージ生成部を更に備え、
    前記アプリ処理制御部は、前記入力部からキャプチャ要求信号発生時に、前記サムネイルイメージを前記表示部に表示し、バッファリングされた圧縮イメージ及び撮影情報のうち、選択されたサムネイルイメージに対応するフレームの圧縮イメージ及び撮影情報をキャプチャイメージとして格納することを特徴とする請求項３０又は３１に記載の装置。
33. 前記アプリ処理部は、前記入力部からのキャプチャ要求信号発生時に、前記撮影情報を表示部に表示し、バッファリングされた圧縮イメージ及び撮影情報のうち、選択された撮影情報に対応するフレームの圧縮イメージ及び撮影情報をキャプチャイメージとして格納することを特徴とする請求項３０に記載の装置。
    

Images