JP2012059115A - 画像データ処理装置および画像データ処理方法 - Google Patents

Abstract

【課題】撮像素子で撮像された複数の画像の連続的な処理を円滑化する。
【解決手段】変換部１２は、撮像素子１１で撮像された画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、第１の画像データと第２の画像データとを時分割で出力する。演算部１３は、変換部１２が時分割で出力した第１および第２の画像データを取得し、第１の画像データを用いて表示装置１４に撮像された画像を表示する処理を行い、第２の画像データを用いて記憶装置１５に撮像された画像を記録する処理を行う。
【選択図】図１

Description

本発明は、撮像素子で撮像された画像のデータを処理する画像データ処理装置および画像データ処理方法に関する。

現在、デジタルカメラやカメラ機能を備えた携帯電話機など、撮像素子で撮像された画像のデジタルデータを扱う電子機器が広く利用されている。このような電子機器は、撮像された画像を、ＬＣＤ（Liquid Crystal Display）などの表示装置に表示すると共に、フラッシュメモリなどの記憶装置に記録することが多い。また、複数の画像を短い時間間隔で連続的に撮像できる機能（いわゆる、連写機能）を備えた電子機器もある。

なお、記憶装置にＪＰＥＧ（Joint Photographic Experts Group）形式で画像を記録するため、撮像素子から得られる画像データからＹＵＶデータを生成してバッファメモリに格納し、バッファメモリに格納されたＹＵＶデータからＪＰＥＧデータを生成する装置が提案されている（例えば、特許文献１参照）。また、ＹＵＶデータの画像とＲＧＢデータの画像を同時に表示するため、第１のメモリに格納されたＹＵＶデータをＲＧＢデータに変換して読み出すと同時に、第２のメモリに格納されたＲＧＢデータを読み出し、両者をミキシングするディスプレイ駆動装置が提案されている（例えば、特許文献２参照）。

また、複数チャンネルの画像を同時に記録・転送するために、各チャンネルの圧縮画像データに識別フラグを付加し、識別フラグに基づいて複数チャンネルの圧縮画像データを多重化する装置が提案されている（例えば、特許文献３参照）。また、撮像の際の画面のちらつきを抑制するため、シャッターボタンが押下される直前の画像と押下された後の画像との間に、押下直前の画像を加工して作成した画像を表示装置に表示する携帯情報端末が提案されている（例えば、特許文献４参照）。

特開２００７−８８８０６号公報 特開２００２−１８５９７８号公報 特開平６−１２５５４０号公報 特開２００５−２０４２１０号公報

ところで、撮像された画像を表示装置に表示すると共に記憶装置に記録するとき、表示用の画像データの画像形式と記録用の画像データの画像形式とが異なることがある。例えば、表示用にＹＵＶデータを使用し、記録用にＪＰＥＧデータを使用する場合が考えられる。しかし、その場合、表示処理と記録処理とを行う演算装置の負荷が高くなりやすい。例えば、ＤＳＰ（Digital Signal Processor）が撮像素子から取得した画像データをＹＵＶデータに変換し、演算装置がＹＵＶデータを用いて表示処理を行うと共にＹＵＶデータをエンコードして記録用のＪＰＥＧデータを生成する場合、エンコードの負荷が大きい。

例えば、連写時など、撮像素子で撮像された複数の画像に対して連続的に表示処理および記録処理を行う場合に、演算装置の負荷が大きな問題となる。すなわち、演算装置の負荷がボトルネックとなり、一度に連続的に処理できる画像の枚数が少なくなる、画像が表示および記録される時間間隔が長くなる（レートが下がる）、などの問題が生じ得る。これにより、例えば、連写可能時間が短くなる、連写時の撮像レートが小さくなるなど、電子機器の連写機能が制限されてしまう可能性がある。例えば、演算装置がエンコード処理を完了させる前に次の画像データが投入された場合、エンコード処理が完了するまで投入された画像データはエンコード処理待ちとして滞留する。また、演算装置が記憶装置への記録処理を完了させる前に次の画像データに対するエンコード処理が完了した場合、記録処理が完了するまで次の画像データは記録処理待ちとして滞留する。各種処理待ちの画像データが増加するにつれ滞留中の画像を保持する記憶領域が枯渇し、その結果、連写機能が制限される。

本発明はこのような点に鑑みてなされたものであり、撮像素子で撮像された複数の画像の連続的な処理を円滑に実行することができる画像データ処理装置および画像データ処理方法を提供することを目的とする。

上記課題を解決するために、撮像素子で撮像された複数の画像のデータを処理する画像データ処理装置が提供される。この画像データ処理装置は、変換部と演算部を有する。変換部は、撮像された画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、第１の画像データと第２の画像データとを時分割で出力する。演算部は、変換部が時分割で出力した第１および第２の画像データを取得し、第１の画像データを用いて表示装置に撮像された画像を表示する処理を行い、第２の画像データを用いて記憶装置に撮像された画像を記録する処理を行う。

また、上記課題を解決するために、撮像素子で撮像された複数の画像のデータを処理する、変換部と演算部とを有する装置が実行する画像データ処理方法が提供される。この画像データ処理方法では、変換部が、撮像された画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、第１の画像データと第２の画像データとを時分割で出力する。演算部が、時分割で出力された第１および第２の画像データのうち第１の画像データを用いて、表示装置に撮像された画像を表示する処理を行う。また、演算部が、時分割で出力された第１および第２の画像データのうち第２の画像データを用いて、記憶装置に撮像された画像を記録する処理を行う。

上記画像データ処理装置および画像データ処理方法によれば、撮像素子で撮像された複数の画像の連続的な処理を円滑に実行することができる。

第１の実施の形態の画像データ処理装置を示す図である。 第２の実施の形態の携帯電話機を示すブロック図である。 イメージＤＳＰを示すブロック図である。 ＣＰＵの表示・保存機能を示すブロック図である。 画像データのフォーマット例を示す図である。 画像データのヘッダのフォーマット例を示す図である。 イメージＤＳＰ処理を示すフローチャートである。 ＣＰＵ処理を示すフローチャートである。 ＪＰＥＧバイナリデータの第１の挿入方法を示す図である。 ＪＰＥＧバイナリデータの第２の挿入方法を示す図である。 ＪＰＥＧバイナリデータの第３の挿入方法を示す図である。 画像データの転送の流れを示すシーケンス図である。

以下、本実施の形態を、図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の画像データ処理装置を示す図である。第１の実施の形態に係る画像データ処理装置１０は、撮像素子１１、変換部１２、演算部１３、表示装置１４および記憶装置１５を有する。

撮像素子１１は、光を電子信号に変換することで、画像を撮像する半導体回路である。撮像素子１１として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いることができる。撮像素子１１は、所定のフレームレートで連続的に画像を撮像することができる。撮像素子１１は、例えば、撮像された複数の画像のＲＡＷデータを順次出力する。

変換部１２は、撮像素子１１で撮像された複数の画像それぞれについて、第１の画像形式の第１の画像データと、第２の画像形式の第２の画像データとを生成する。例えば、撮像素子１１が出力したＲＡＷデータに基づいて、第１の画像データとしてＹＵＶデータを生成し、第２の画像データとしてＪＰＥＧデータを生成する。そして、変換部１２は、第１の画像データと第２の画像データとを時分割で出力する。例えば、同一の画像についての第１の画像データと第２の画像データとを続けて出力することで、第１の画像データと第２の画像データとが交互に出力されるようにする。

演算部１３は、変換部１２が時分割で出力した第１の画像データと第２の画像データとを取得する。そして、演算部１３は、第１の画像データを用いて、撮像された画像を表示装置１４に表示する処理を行う。例えば、第１の画像データを表示装置１４に出力する。また、演算部１３は、第２の画像データを用いて、撮像された画像を記憶装置１５に記録する処理を行う。例えば、撮像された画像それぞれにファイル名を付与し、第２の画像データを含むファイルを記憶装置１５に書き込む。演算部１３は、例えば、交互に取得する第１の画像データと第２の画像データとを用いて、表示処理と記録処理を交互に行う。

ここで、変換部１２は、変換部１２と演算部１３との間におけるデータ転送の効率化という観点から、第１の画像データおよび第２の画像データそれぞれを、共通のフォーマットに挿入して出力してもよい。その場合、演算部１３は、共通のフォーマットから、当該フォーマットに挿入されている第１の画像データまたは第２の画像データを抽出する。共通のフォーマットのサイズは、記憶装置１５に記録する画像の画素数、すなわち、第２の画像データの画素数に応じて決定してもよい。また、フォーマットは、挿入された画像データの画像形式を示すヘッダ情報を含んでもよい。その場合、演算部１３は、ヘッダ情報を参照して、画像データの抽出方法を切り替える。

表示装置１４は、撮像された複数の画像を順次表示する。表示装置１４としては、例えば、ＬＣＤや有機ＥＬ（Electro Luminescence）ディスプレイを用いることができる。表示装置１４は、例えば、演算部１３からＹＵＶデータを３ｆｐｓ（frame per second）で取得し、撮像された画像を３ｆｐｓで表示する。なお、画面のちらつきを抑制するため、演算部１３は、撮像された画像の間に、黒画像などのダミー画像を表示装置１４に表示させるよう制御してもよい。

記憶装置１５は、撮像された複数の画像を順次記録する。記憶装置１５としては、例えば、フラッシュメモリなどの不揮発性メモリを用いることができる。記憶装置１５は、画像データ処理装置１０内に固定して設けられていてもよいし、着脱可能であってもよい。記憶装置１５には、例えば、演算部１３によりＪＰＥＧデータを含むファイルが３ｆｐｓで書き込まれる。画像データ処理装置１０は、記憶装置１５に記録される画像の画素数を変更できるようにしてもよい。その場合、演算部１３が変換部１２に、第２の画像データの生成の際の画素数を指定するようにしてもよい。

このような画像データ処理装置１０では、変換部１２が、撮像素子１１で撮像された複数の画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、第１の画像データと第２の画像データとを時分割で出力する。演算部１３が、時分割で出力された第１の画像データおよび第２の画像データのうち第１の画像データを用いて、表示装置１４に複数の画像を表示する処理を行う。また、演算部１３が、時分割で出力された第１の画像データおよび第２の画像データのうち第２の画像データを用いて、記憶装置１５に複数の画像を記録する処理を行う。

これにより、複数の画像の連続的な処理を円滑に実行することができる。すなわち、変換部１２が表示用の画像データと記録用の画像データの両方を生成して時分割で出力するため、複数の画像を連続的に表示および記録する場合でも、演算部１３の負荷を抑制できる。よって、演算部１３の負荷がボトルネックとなって複数の画像の連続処理が制限されてしまう（例えば、連写可能時間が制限されてしまう）ことを抑制できる。

また、変換部１２が共通のフォーマットを用いて第１の画像データと第２の画像データを出力することで、演算部１３が第１の画像データと第２の画像データを交互に抽出することが容易となる。共通のフォーマットを用いることは、例えば、ＪＰＥＧのように画素数が同じでも画像によってデータ長が異なる画像形式を扱う場合に有効である。例えば、ＪＰＥＧデータとＹＵＶデータが、共通のフォーマットではなくそれぞれ独自のフォーマットを用いて出力されると、演算部１３では可変長データと固定長データの切り替えに時間を要し、フレームレートの低下の原因となる。一方、ＪＰＥＧデータとＹＵＶデータが共通のフォーマットを用いて出力されると、演算部１３では切り替えに要する時間が抑制され、ＪＰＥＧデータとＹＵＶデータの抽出が容易となる。

なお、画像データ処理装置１０は、デジタルカメラや携帯電話機などの様々な電子機器に搭載することができる。また、撮像素子１１、表示装置１４および記憶装置１５は、画像データ処理装置１０の外部にあってもよい。すなわち、変換部１２は、画像データ処理装置１０の外部の撮像素子から、撮像された画像のデータを取得してもよい。また、演算部１３は、画像データ処理装置１０の外部の表示装置に画像を表示してもよく、画像データ処理装置１０の外部の記憶装置に画像を記録してもよい。

以下に説明する第２の実施の形態では、カメラ機能を備えた携帯電話機の例を挙げる。ただし、第２の実施の形態で説明する画像データ処理方法は、デジタルカメラや通話機能をもたない情報端末装置など、携帯電話機以外の電子機器に応用可能である。

［第２の実施の形態］
図２は、第２の実施の形態の携帯電話機を示すブロック図である。第２の実施の形態に係る携帯電話機１００は、イメージセンサ１１０、イメージＤＳＰ１２０、ＣＰＵ（Central Processing Unit）１３０、ディスプレイ１４０、フラッシュメモリ１５０、ＲＯＭ（Read Only Memory）１６１、ＲＡＭ（Random Access Memory）１６２、無線通信部１６３、キーパッド１６４、マイクロホン１６５およびスピーカ１６６を有する。

イメージセンサ１１０は、光を電子信号に変換する半導体回路である。イメージセンサ１１０として、例えば、ＣＣＤセンサやＣＭＯＳセンサを用いることができる。イメージセンサ１１０は、撮像した画像のＲＡＷデータを、イメージＤＳＰ１２０に出力する。イメージセンサ１１０は、ユーザが連写操作（例えば、シャッターボタンを押下し続ける操作）を行うと、所定のフレームレートで、撮像した画像のＲＡＷデータを連続出力する。

イメージＤＳＰ１２０は、画像データの画像形式を変換する回路である。イメージＤＳＰ１２０は、イメージセンサ１１０から取得したＲＡＷデータから、１枚の画像に対してＹＵＶデータとＪＰＥＧデータの両方を生成する。そして、イメージＤＳＰ１２０は、ＹＵＶデータとＪＰＥＧデータを、時分割でＣＰＵ１３０に出力する。連写時は、ＹＵＶデータとＪＰＥＧデータを、それぞれ３ｆｐｓで交互に出力する。

ＣＰＵ１３０は、携帯電話機１００が備える機能を制御する演算装置である。ＣＰＵ１３０は、ＲＯＭ１６１に格納されているプログラムをＲＡＭ１６２に展開して実行する。ＣＰＵ１３０が実行するプログラムには、カメラ機能を制御するプログラムが含まれる。

カメラ機能に関して、ＣＰＵ１３０は、撮像された画像をディスプレイ１４０に表示する処理とフラッシュメモリ１５０に記録する処理を行う。例えば、ＣＰＵ１３０は、イメージＤＳＰ１２０からＹＵＶデータとＪＰＥＧデータを時分割で取得する。そして、取得したＹＵＶデータをディスプレイ１４０に出力すると共に、取得したＪＰＥＧデータを含む画像ファイルをフラッシュメモリ１５０に格納する。連写時は、ＣＰＵ１３０は、撮像された画像を表示する処理と記録する処理を、それぞれ３ｆｐｓで交互に実行する。

ディスプレイ１４０は、ＣＰＵ１３０が生成する操作画面や、イメージセンサ１１０で撮像された画像を表示する表示装置である。ディスプレイ１４０として、例えば、ＬＣＤを用いることができる。ディスプレイ１４０は、ＹＵＶデータをＣＰＵ１３０から取得して、画像を表示する。連写時には、撮像された画像のＹＵＶデータを３ｆｐｓで取得し、撮像された画像を順次表示する。ただし、画面のちらつきを抑制するため、撮像された画像の間に黒画像を表示する。黒画像データは、ＣＰＵ１３０から取得する。

フラッシュメモリ１５０は、画像データを含む各種のデータを記憶する不揮発性メモリである。フラッシュメモリ１５０には、ＣＰＵ１３０により、ＪＰＥＧデータを含む画像ファイルが書き込まれる。連写時には、撮像された画像に対応する画像ファイルが３ｆｐｓで順次書き込まれる。なお、フラッシュメモリ１５０は、携帯電話機１００に対して着脱可能なカード型メモリであってもよい。また、フラッシュメモリ１５０に代えて、他の種類の不揮発性の記憶媒体を用いてもよい。

ＲＯＭ１６１は、ＣＰＵ１３０で実行されるプログラムおよび当該プログラムの実行に伴って参照されるデータを予め記憶するメモリである。ＲＯＭ１６１に格納されたプログラムおよびデータは、ＣＰＵ１３０により読み出される。ＲＯＭ１６１に格納されているプログラムには、カメラ機能を制御するためのプログラムが含まれる。なお、ＲＯＭ１６１に代えて、フラッシュメモリなど書き換え可能な不揮発性メモリを用いてもよい。

ＲＡＭ１６２は、ＣＰＵ１３０で実行されるプログラムおよび当該プログラムの実行に伴って参照されるデータの少なくとも一部を一時的に記憶する揮発性メモリである。ＣＰＵ１３０により、ＲＡＭ１６２への書き込みおよびＲＡＭ１６２からの読み出しが行われる。なお、ＲＡＭ１６２に代えて、他の種類のメモリを用いてもよい。

無線通信部１６３は、ＣＰＵ１３０の制御のもと、無線基地局など他の無線通信装置と無線通信を行う。例えば、無線通信部１６３は、携帯電話機１００が備えるアンテナを介して受信した無線信号を復調および復号し、得られた受信データをＣＰＵ１３０に出力する。また、ＣＰＵ１３０から取得した送信データを符号化および変調し、得られた送信信号をアンテナを介して無線出力する。

キーパッド１６４は、複数の入力キーを備えた入力デバイスである。キーパッド１６４は、ユーザにより何れかの入力キーが押下されると、押下された入力キーを示す入力信号をＣＰＵ１３０に出力する。入力キーには、数字やアルファベットなどの文字を入力するための文字キーと、イメージセンサ１１０による撮像の開始・終了や無線による通話の開始・終了などを指示するための機能キーが含まれる。

マイクロホン１６５は、音の物理振動を電気信号に変換して音声入力を受け付け、音声信号としての電気信号をＣＰＵ１３０に出力する。例えば、ユーザが通話を行っているとき、ユーザの声や携帯電話機１００側の背景雑音がマイクロホン１６５から入力される。

スピーカ１６６は、ＣＰＵ１３０の制御のもと、音声信号としての電気信号を物理振動に変換して音を再生する。例えば、携帯電話機１００のユーザが通話を行っているとき、通話相手の声や通話相手側の背景雑音がスピーカ１６６から出力される。

なお、イメージセンサ１１０は、第１の実施の形態の撮像素子１１の一例である。イメージＤＳＰ１２０は、変換部１２の一例である。ＣＰＵ１３０は、演算部１３の一例である。ディスプレイ１４０は、表示装置１４の一例である。フラッシュメモリ１５０は、記憶装置１５の一例である。

図３は、イメージＤＳＰを示すブロック図である。イメージＤＳＰ１２０は、ＹＵＶ変換部１２１、画素数変換部１２２、ＪＰＥＧエンコード部１２３および多重化部１２４を有する。

ＹＵＶ変換部１２１は、イメージセンサ１１０から取得したＲＡＷデータを、１画像分ずつＹＵＶデータに変換する。そして、ＹＵＶデータを、画素数変換部１２２およびＪＰＥＧエンコード部１２３に出力する。

ここで、ＹＵＶデータは、Ｙ成分のデータ（Ｙデータ）とＣｂ成分のデータ（Ｃｂデータ）とＣｒ成分のデータ（Ｃｒデータ）とを含む。Ｙデータは、輝度信号の集合である。Ｃｂデータは、輝度信号と青色成分（Ｂ）の差を示す色差信号の集合である。Ｃｒデータは、輝度信号と赤色成分（Ｒ）の差を示す色差信号の集合である。第２の実施の形態では例えば、画像形式としてＹＵＶ４２２を想定する。ＹＵＶ４２２では、隣接する２画素が、２バイトのＹ信号と１バイトのＣｂ信号と１バイトのＣｒ信号によって表現される。ただし、ＹＵＶ４２２以外の画像形式を用いることも可能である。

画素数変換部１２２は、ＹＵＶ変換部１２１から取得したＹＵＶデータに対して、画素数の変換（通常は、画素数の削減、すなわち、画像の縮小）を行う。変換後の画素数は、ディスプレイ１４０の画素数に対応する。これは、ディスプレイ１４０よりも画素数の多い画像をフラッシュメモリ１５０に記録できるようにするためである。ディスプレイ１４０の画素数は、例えば、６４０×４８０画素である。そして、画素数変換部１２２は、画素数を変換した後のＹＵＶデータを多重化部１２４に出力する。

ＪＰＥＧエンコード部１２３は、ＹＵＶ変換部１２１から取得したＹＵＶデータを、ＪＰＥＧデータにエンコードする。例えば、ＪＰＥＧエンコード部１２３は、ＹＵＶデータの８×８画素毎に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を行い、周波数成分の配列を得る。そして、ＪＰＥＧエンコード部１２３は、ＪＰＥＧデータを多重化部１２４に出力する。なお、ＪＰＥＧデータの画像（フラッシュメモリ１５０に記録する画像）の画素数が、ＣＰＵ１３０から撮像開始前に指定される。

多重化部１２４は、画素数変換部１２２から取得したＹＵＶデータと、ＪＰＥＧエンコード部１２３から取得したＪＰＥＧデータとを、時分割多重しＣＰＵ１３０に出力する。例えば、多重化部１２４は、ＹＵＶデータの転送とＪＰＥＧデータの転送に共通に用いるフォーマットに、ＹＵＶデータまたはＪＰＥＧデータを挿入する。そして、ＹＵＶデータを含むフォーマットのデータとＪＰＥＧデータを含むフォーマットのデータを、交互に出力する。なお、多重化部１２４は、ＣＰＵ１３０から指定されたＪＰＥＧデータの画像の画素数に基づいて、フォーマットのサイズを撮像開始前に決定する。

図４は、ＣＰＵの表示・保存機能を示すブロック図である。携帯電話機１００では、ＣＰＵ１３０が所定のプログラムを実行することで、カメラ設定部１３１、分離部１３２、表示処理部１３３、黒画像生成部１３４および保存処理部１３５の機能が実現される。

カメラ設定部１３１は、ＪＰＥＧデータの画像（フラッシュメモリ１５０に記録する画像）の画素数を、イメージＤＳＰ１２０に対して指定する。画像の画素数は、例えば、撮像開始前にユーザがキーパッド１６４を用いて、複数の画素数の候補の中から選択する。画像の画素数は、例えば、３００万画素に設定することが考えられる。また、カメラ設定部１３１は、イメージＤＳＰ１２０に対して指定した画素数に基づいて、イメージＤＳＰ１２０から取得するデータのフォーマットのサイズを、撮像開始前に算出しておく。

分離部１３２は、イメージＤＳＰ１２０から取得するデータを、ＹＵＶデータを含むフォーマットのデータとＪＰＥＧデータを含むフォーマットのデータとに分離する。フォーマットにＹＵＶデータとＪＰＥＧデータの何れが挿入されているかは、後述するように、フォーマットに含まれるヘッダ情報に基づいて判断する。分離部１３２は、ＹＵＶデータを含むフォーマットのデータを、表示処理部１３３に出力する。また、ＪＰＥＧデータを含むフォーマットのデータを、保存処理部１３５に出力する。

表示処理部１３３は、分離部１３２から取得したデータのフォーマットから、ＹＵＶデータを抽出する。そして、抽出したＹＵＶデータを、ディスプレイ１４０に出力する。連写時には、表示処理部１３３は、撮像された画像のＹＵＶデータの間に、黒画像生成部１３４から取得した黒画像のＹＵＶデータを、ディスプレイ１４０に出力する。すなわち、撮像された画像と黒画像を、それぞれ３ｆｐｓで交互にディスプレイ１４０に表示する。また、表示処理部１３３は、撮像された画像のＹＵＶデータを取得した際、シャッター音が鳴るよう、スピーカ１６６にシャッター音の音声信号を出力する。

黒画像生成部１３４は、ディスプレイ１４０の全面に黒画像を表示するためのＹＵＶデータを生成し、表示処理部１３３に出力する。なお、撮像された画像の間にディスプレイ１４０に表示する画像は、所定のダミー画像であればよく、黒画像でなくてもよい。

保存処理部１３５は、分離部１３２から取得したデータのフォーマットから、ＪＰＥＧデータを抽出する。ＪＰＥＧデータは可変長のデータであるため、後述するように、ヘッダ情報を参照してＪＰＥＧデータが挿入されている位置を特定する。そして、保存処理部１３５は、抽出したＪＰＥＧデータを含むファイルを生成し、所定の規則に従ってファイル名を付与して、フラッシュメモリ１５０に格納する。

図５は、画像データのフォーマット例を示す図である。図５に示したフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。フォーマットは、Ｙ領域とＣｂ領域とＣｒ領域を含む。Ｙ領域・Ｃｂ領域・Ｃｒ領域それぞれの前には、固定長の（例えば、４ライン分の）ヘッダ領域が設けられている。

フォーマットの全体のサイズは、ＪＰＥＧデータの画像の画素数に応じて決まる。Ｙ領域とＣｂ領域とＣｒ領域のサイズの比は、ＹＵＶデータに含まれるＹデータとＣｂデータとＣｒデータのデータ量の比に一致することが好ましい。ＹＵＶデータの画像形式としてＹＵＶ４２２を用いた場合、Ｙ領域とＣｂ領域とＣｒ領域のサイズの比は、２：１：１である。Ｙ領域とＣｂ領域とＣｒ領域のサイズの比を一定にすることで、フォーマット内の各領域の位置を算出することが容易となる。

ＹＵＶデータを含むフォーマットでは、Ｙ領域に、固定長（例えば、６４０×４８０バイト）のＹデータが挿入される。Ｙ領域の残りの部分には、任意のビット列であるダミーデータが挿入される。また、Ｃｂ領域に、固定長（例えば、６４０×２４０バイト）のＣｂデータが挿入される。Ｃｂ領域の残りの部分には、ダミーデータが挿入される。同様に、Ｃｒ領域に、固定長（例えば、６４０×２４０バイト）のＣｒデータが挿入される。Ｃｒ領域の残りの部分には、ダミーデータが挿入される。表示処理部１３３は、フォーマットからダミーデータを除去することで、ＹＵＶデータを得ることができる。

ＪＰＥＧデータを含むフォーマットでは、Ｙ領域・Ｃｂ領域・Ｃｒ領域の一部または全部に、ＪＰＥＧエンコードによって得られるバイナリデータである、可変長のＪＰＥＧデータが挿入される。保存処理部１３５は、フォーマットからＪＰＥＧバイナリデータを抽出することで、ＪＰＥＧファイルを生成することができる。

ここで、ＪＰＥＧバイナリデータの挿入方法は、幾つかの方法が考えられる。例えば、Ｙ領域にのみＪＰＥＧバイナリデータを挿入する方法がある。その場合、Ｙ領域にＪＰＥＧバイナリデータ全体が収まるようフォーマットのサイズが算出される。また、Ｙ領域・Ｃｂ領域・Ｃｒ領域を順にＪＰＥＧバイナリデータで埋めていく方法や、ＪＰＥＧバイナリデータをＹ領域・Ｃｂ領域・Ｃｒ領域のサイズ比（例えば、２：１：１）で３分割し、Ｙ領域・Ｃｂ領域・Ｃｒ領域に挿入する方法もある。その場合、Ｙ領域・Ｃｂ領域・Ｃｒ領域全体でＪＰＥＧバイナリデータが収まるようフォーマットのサイズが算出される。

ヘッダ領域には、ヘッダ情報が挿入される。ヘッダ情報は、フォーマットのサイズを示す情報や、シャッタースピードなどのＥＸＩＦ（Exchangeable Image File Format）のメタ情報を含む。また、ヘッダ情報は、画像データの画像形式を示す情報や、Ｙ領域・Ｃｂ領域・Ｃｒ領域への画像データの挿入方法を示す情報などを含む。

図６は、画像データのヘッダのフォーマット例を示す図である。図６に示すヘッダ情報が、フォーマットの先頭（Ｙ領域の前）のヘッダ領域に挿入される。このヘッダ領域は、例えば、４ラインの固定長とする。ヘッダ情報は、ＹＵＶデータとＪＰＥＧデータの転送に関する情報として、３２バイトのバイト列を含む。

３２バイトのうち８バイトは、画像形式およびＪＰＥＧバイナリデータの分割の有無を示すバイト列である。ＹＵＶ４２２データが挿入されている場合、“ＹＵＶ４２２”を示す文字コード“５９ ５５ ５６ ３４ ３２ ３２ ００ ００”が設定される。ＪＰＥＧバイナリデータが分割されずに挿入されている場合、“ＪＰＥＧ１”を示す文字コード“４Ａ ５０ ４５ ４７ ３１ ００ ００ ００”が設定される。ＪＰＥＧバイナリデータが３分割されて挿入されている場合、“ＪＰＥＧ３”を示す文字コード“４Ａ ５０ ４５ ４７ ３３ ００ ００ ００”が設定される。

３２バイトのうち３×８＝２４バイトは、Ｙ領域・Ｃｂ領域・Ｃｒ領域に挿入されたＪＰＥＧバイナリデータのサイズを示すバイト列である。ＹＵＶ４２２データが挿入されている場合、任意のバイト列であるダミーバイトが設定される。ＪＰＥＧバイナリデータがＹ領域のみに挿入されている場合、ＪＰＥＧバイナリデータのサイズを示す８バイトの数値と、２×８バイトのダミーバイトとが設定される。ＪＰＥＧバイナリデータが３分割されて挿入されている場合、Ｙ領域のＪＰＥＧバイナリデータのサイズを示す８バイトの数値と、Ｃｂ領域のＪＰＥＧバイナリデータのサイズを示す８バイトの数値と、Ｃｒ領域のＪＰＥＧバイナリデータのサイズを示す８バイトの数値とが設定される。

図７は、イメージＤＳＰ処理を示すフローチャートである。このフローチャートは、連写時にイメージＤＳＰ１２０が実行する処理を示している。以下、図７に示す処理をステップ番号に沿って説明する。

（ステップＳ１１）ＪＰＥＧエンコード部１２３は、例えば、連写開始前に、ＣＰＵ１３０から指定された画素数を、生成するＪＰＥＧデータの画像の画素数として設定する。多重化部１２４は、例えば、連写開始前に、ＣＰＵ１３０から指定された画素数に基づいて、フォーマットのサイズを設定する。画素数が大きいほど、フォーマットのサイズを大きくする。また、ＪＰＥＧエンコード部１２３は、イメージセンサ１１０で撮像される画像の方向、すなわち、携帯電話機１００が縦向きか横向きかが、ＣＰＵ１３０から通知される。

ここで、フォーマットのサイズの算出方法は、予めＣＰＵ１３０と共通に設定される。算出方法は、前述の通り、ＪＰＥＧバイナリデータの転送にＹ領域・Ｃｂ領域・Ｃｒ領域の何れが使用され得るかによって異なる。Ｙ領域・Ｃｂ領域・Ｃｒ領域の全てを使用した方が、フォーマットのサイズが小さくて済む。多重化部１２４は、画素数とフォーマットのサイズとの対応関係を示す情報を予め保持していてもよい。

（ステップＳ１２）ＹＵＶ変換部１２１は、イメージセンサ１１０から取得した画像１枚分のＲＡＷデータを、ＹＵＶデータに変換する。そして、ＹＵＶデータを、画素数変換部１２２とＪＰＥＧエンコード部１２３の両方に出力する。

（ステップＳ１３）画素数変換部１２２は、ＹＵＶ変換部１２１から取得したＹＵＶデータの画像の画素数を、ディスプレイ１４０の画素数に合うように変換する。例えば、画素数を、ＶＧＡ（Video Graphics Array）サイズの６４０×４８０画素に変換する。

（ステップＳ１４）多重化部１２４は、画素数変換部１２２から取得したＹＵＶデータをフォーマットに挿入し、ＣＰＵ１３０に出力する。すなわち、多重化部１２４は、ＹデータをＹ領域に挿入し、ＣｂデータをＣｂ領域に挿入し、ＣｒデータをＣｒ領域に挿入する。また、ヘッダ領域に、ＹＵＶデータであることを示す識別情報を挿入する。

（ステップＳ１５）ＪＰＥＧエンコード部１２３は、ＣＰＵ１３０から通知されている画像の方向に応じて、ＹＵＶ変換部１２１から取得したＹＵＶデータに対し、画像の回転操作を行う。撮像される画像の方向がフラッシュメモリ１５０に記録すべき画像の方向と一致している場合は、回転操作を行わなくてよい。

（ステップＳ１６）ＪＰＥＧエンコード部１２３は、ＤＣＴなどの演算を行うことで、ＹＵＶデータをＪＰＥＧデータにエンコードする。
（ステップＳ１７）多重化部１２４は、ＪＰＥＧエンコード部１２３から取得したＪＰＥＧデータを、バイナリデータとしてフォーマットに挿入し、ＣＰＵ１３０に出力する。ＪＰＥＧバイナリデータの挿入方法には、前述の通り、幾つかの方法が考えられる。例えば、ＪＰＥＧバイナリデータを３分割しＹ領域・Ｃｂ領域・Ｃｒ領域に挿入する。また、多重化部１２４は、ヘッダ領域に、ＪＰＥＧデータであることを示す識別情報およびＪＰＥＧバイナリデータの挿入方法を示す情報を挿入する。

（ステップＳ１８）ＹＵＶ変換部１２１は、連写が終了したか、すなわち、イメージセンサ１１０からのＲＡＷデータの供給が停止したか判断する。連写が終了した場合、処理を終了する。連写が終了していない場合、処理をステップＳ１２に進める。

このように、イメージＤＳＰ１２０は、連写時、表示用のＹＵＶデータと記録用のＪＰＥＧデータを、共通のフォーマットに挿入して交互に出力する。なお、図７の例では、各画像についてＹＵＶデータを先に出力しＪＰＥＧデータを後に出力したが、ＹＵＶデータとＪＰＥＧデータの出力順序を逆にしてもよい。

図８は、ＣＰＵ処理を示すフローチャートである。このフローチャートは、連写時に、ＣＰＵ１３０がプログラムを実行することで実現される処理を示している。以下、図８に示す処理をステップ番号に沿って説明する。

（ステップＳ２１）カメラ設定部１３１は、例えば、連写開始前に、フラッシュメモリ１５０に記録する画像の画素数を、イメージＤＳＰ１２０に対して指定する。画素数は、例えば、ユーザの画面操作によって複数の画素数の候補の中から１つ（例えば、３００万画素）が選択される。また、カメラ設定部１３１は、画素数に基づいて、イメージＤＳＰ１２０が画像データの出力に用いるフォーマットのサイズを算出する。フォーマットのサイズの算出方法は、前述の通り、予めイメージＤＳＰ１２０と共通に設定されている。カメラ設定部１３１は、画素数とフォーマットのサイズとの対応関係を示す情報を予め保持していてもよい。また、カメラ設定部１３１は、携帯電話機の向き（縦向きまたは横向き）を検出し、撮像される画像の方向をイメージＤＳＰ１２０に通知する。

（ステップＳ２２）分離部１３２は、イメージＤＳＰ１２０から画像１枚分のデータを取得すると、ヘッダ領域から画像形式を示す識別情報を抽出する。
（ステップＳ２３）分離部１３２は、ステップＳ２２で抽出した識別情報に基づいて、フォーマットに挿入されている画像データがＹＵＶデータであるか否か判断する。ＹＵＶデータの場合、処理をステップＳ２４に進める。ＹＵＶデータでない場合、すなわち、ＪＰＥＧデータである場合、処理をステップＳ２７に進める。

（ステップＳ２４）表示処理部１３３は、ステップＳ２１でカメラ設定部１３１が算出したフォーマットのサイズに基づいて、Ｙ領域・Ｃｂ領域・Ｃｒ領域の位置を算出する。そして、フォーマットの各領域に含まれるダミーデータを除去する。

（ステップＳ２５）表示処理部１３３は、シャッター音を示す音声信号を、スピーカ１６６に出力する。これにより、スピーカ１６６でシャッター音が再生される。
（ステップＳ２６）表示処理部１３３は、フォーマットに含まれるダミーデータを除去することで得られたＹＵＶデータを、ディスプレイ１４０に出力する。これにより、ディスプレイ１４０に、イメージセンサ１１０で撮像された画像が表示される。そして、処理をステップＳ３０に進める。

（ステップＳ２７）保存処理部１３５は、ステップＳ２１でカメラ設定部１３１が算出したフォーマットのサイズに基づいて、Ｙ領域・Ｃｂ領域・Ｃｒ領域の位置を算出する。また、ヘッダ領域から、ＪＰＥＧバイナリデータの挿入方法を示す情報を抽出する。そして、保存処理部１３５は、Ｙ領域・Ｃｂ領域・Ｃｒ領域の中の挿入範囲を特定し、バイナリデータとして挿入されているＪＰＥＧデータを抽出する。

（ステップＳ２８）保存処理部１３５は、ステップＳ２７で抽出したＪＰＥＧデータを含む画像ファイルを生成する。そして、生成した画像ファイルを、所定の規則に基づいてファイル名を付与して、フラッシュメモリ１５０に格納する。

（ステップＳ２９）黒画像生成部１３４は、ディスプレイ１４０に表示する黒画像のデータを生成する。表示処理部１３３は、黒画像生成部１３４が生成した黒画像データを、ディスプレイ１４０に出力する。これにより、撮像された画像がステップＳ２６において表示される合間に、黒画像がディスプレイ１４０に表示される。

（ステップＳ３０）分離部１３２は、連写が終了したか、すなわち、イメージＤＳＰ１２０からの画像データの供給が停止したか判断する。連写が終了した場合、処理を終了する。連写が終了していない場合、処理をステップＳ２２に進める。

図９は、ＪＰＥＧバイナリデータの第１の挿入方法を示す図である。第１の挿入方法では、Ｙ領域・Ｃｂ領域・Ｃｒ領域のうちＹ領域のみに、ＪＰＥＧバイナリデータが挿入される。よって、ＪＰＥＧバイナリデータがＹ領域に収まるように、ＪＰＥＧ画像の画素数に応じてフォーマットのサイズが決定される。

時刻ｔでは、ある画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。時刻ｔ＋１では、時刻ｔと同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、Ｙ領域のみに挿入される。

時刻ｔ＋２では、時刻ｔと異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔと同じである。時刻ｔ＋３では、時刻ｔ＋２と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、Ｙ領域のみに挿入される。ただし、ＪＰＥＧバイナリデータのサイズは、時刻ｔ＋１と異なる可能性がある。

時刻ｔ＋４では、時刻ｔ＋２と異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔ＋２と同じである。時刻ｔ＋５では、時刻ｔ＋４と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、Ｙ領域のみに挿入される。ただし、ＪＰＥＧバイナリデータのサイズは、時刻ｔ＋３と異なる可能性がある。

図１０は、ＪＰＥＧバイナリデータの第２の挿入方法を示す図である。第２の挿入方法では、ＪＰＥＧバイナリデータがＹ領域とＣｂ領域とＣｒ領域とのサイズの比（例えば、２：１：１）に従って３分割され、Ｙ領域・Ｃｂ領域・Ｃｒ領域に挿入される。よって、ＪＰＥＧバイナリデータがＹ領域・Ｃｂ領域・Ｃｒ領域の全体に収まるように、ＪＰＥＧ画像の画素数に応じてフォーマットのサイズが決定される。

時刻ｔでは、ある画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。時刻ｔ＋１では、時刻ｔと同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、３つの領域に分散して挿入される。

時刻ｔ＋２では、時刻ｔと異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔと同じである。時刻ｔ＋３では、時刻ｔ＋２と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、３つの領域に分散して挿入される。ただし、各領域のＪＰＥＧバイナリデータのサイズは、時刻ｔ＋１と異なる可能性がある。

時刻ｔ＋４では、時刻ｔ＋２と異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔ＋２と同じである。時刻ｔ＋５では、時刻ｔ＋４と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＪＰＥＧバイナリデータは、３つの領域に分散して挿入される。ただし、各領域のＪＰＥＧバイナリデータのサイズは、時刻ｔ＋３と異なる可能性がある。

図１１は、ＪＰＥＧバイナリデータの第３の挿入方法を示す図である。第３の挿入方法では、Ｙ領域・Ｃｂ領域・Ｃｒ領域のうちＹ領域から順に、ＪＰＥＧバイナリデータを埋めていく。よって、ＪＰＥＧバイナリデータがＹ領域・Ｃｂ領域・Ｃｒ領域の全体に収まるように、ＪＰＥＧ画像の画素数に応じてフォーマットのサイズが決定される。

時刻ｔでは、ある画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。時刻ｔ＋１では、時刻ｔと同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ここでは、ＪＰＥＧバイナリデータのサイズが、Ｙ領域のサイズより大きく、Ｙ領域とＣｂ領域のサイズの合計以下である。よって、ＪＰＥＧバイナリデータは、Ｙ領域・Ｃｂ領域・Ｃｒ領域のうち、Ｙ領域とＣｂ領域に挿入される。

時刻ｔ＋２では、時刻ｔと異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔと同じである。時刻ｔ＋３では、時刻ｔ＋２と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ここでは、ＪＰＥＧバイナリデータのサイズが、Ｙ領域のサイズより小さい。よって、ＪＰＥＧバイナリデータは、Ｙ領域・Ｃｂ領域・Ｃｒ領域のうちＹ領域のみに挿入される。

時刻ｔ＋４では、時刻ｔ＋２と異なる画像のＹＵＶデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ＹＵＶデータのサイズは、時刻ｔ＋２と同じである。時刻ｔ＋５では、時刻ｔ＋４と同一の画像のＪＰＥＧバイナリデータを含むフォーマットのデータが、イメージＤＳＰ１２０からＣＰＵ１３０に転送される。ここでは、ＪＰＥＧバイナリデータのサイズが、Ｙ領域とＣｂ領域のサイズの合計より大きい。よって、ＪＰＥＧバイナリデータは、３つの領域に挿入される。

図１２は、画像データの転送の流れを示すシーケンス図である。連写時、イメージセンサ１１０、イメージＤＳＰ１２０、ＣＰＵ１３０、ディスプレイ１４０およびフラッシュメモリ１５０の間で、図１２に示すような流れでデータが転送される。

イメージセンサ１１０は、撮像した画像のＲＡＷデータをイメージＤＳＰ１２０に出力する（ステップＳ３１）。イメージＤＳＰ１２０は、ＲＡＷデータをＹＵＶデータに変換し、ＣＰＵ１３０に出力する（ステップＳ３２）。ＣＰＵ１３０は、ＹＵＶデータをディスプレイ１４０に出力する（ステップＳ３３）。イメージＤＳＰ１２０は、ＹＵＶデータをＪＰＥＧデータにエンコードし、ＣＰＵ１３０に出力する（ステップＳ３４）。ＣＰＵ１３０は、ＪＰＥＧデータをフラッシュメモリ１５０に格納し（ステップＳ３５）、黒画像データをディスプレイ１４０に出力する（ステップＳ３６）。

そして、次の画像について、ステップＳ３１〜Ｓ３６と同様の処理が行われる（ステップＳ３７〜Ｓ４２）。このように、イメージセンサ１１０で撮像された各画像に対する表示処理および記録処理が、連写が終了するまで繰り返される。なお、ＹＵＶデータおよびＪＰＥＧデータの取得（ステップＳ３２，Ｓ３４）と表示処理および記録処理（ステップＳ３３，Ｓ３５）とは、ＲＡＭ１６２上のバッファに画像データを一時的に格納することで、非同期で実行することができる。よって、ＣＰＵ１３０は、表示処理（ステップＳ３３）を、ＪＰＥＧデータの取得（ステップＳ３４）後に実行してもよい。

このような第２の実施の形態の携帯電話機１００によれば、連写時の画像の連続的な表示および記録を円滑に実行することができる。すなわち、イメージＤＳＰ１２０が、表示用のＹＵＶデータと記録用のＪＰＥＧデータの両方を生成して交互に出力するため、ＣＰＵ１３０の負荷が軽減される。また、イメージＤＳＰ１２０が、共通のフォーマットを用いて画像データを出力するため、ＣＰＵ１３０が異なる画像形式の画像データを交互に抽出することが容易となる。よって、ＣＰＵ１３０の負荷がボトルネックとなって連写可能時間が制限されてしまうことを抑制できる。例えば、携帯電話機１００では、ＣＰＵ１３０はカメラ機能の制御以外の処理も実行することから、負荷の低減は有効である。

また、イメージＤＳＰ１２０が、ＹＵＶデータとＪＰＥＧデータを生成するため、フラッシュメモリ１５０に記録する画像の画素数を、ディスプレイ１４０の画素数より大きくすることが容易となる。また、イメージＤＳＰ１２０が、ＪＰＥＧ画像の画素数に応じてフォーマットのサイズを変えることで、フォーマットのサイズの増大を抑制でき、処理の負荷を軽減できる。また、イメージＤＳＰ１２０が、ＪＰＥＧバイナリデータをフォーマット内のＹ領域・Ｃｂ領域・Ｃｒ領域に分散して挿入することで、フォーマットのサイズの増大を抑制でき、処理の負荷を軽減できる。また、イメージＤＳＰ１２０が、フォーマットのヘッダ領域内に画像形式を示す識別情報を挿入することで、ＣＰＵ１３０が取得した画像データの画像形式を容易に判断できるようになる。また、撮像された画像の間に黒画像を表示することで、表示用の画像データと記録用の画像データが交互にイメージＤＳＰ１２０から出力されることに伴う画像のちらつきを抑制できる。

１０ 画像データ処理装置
１１ 撮像素子
１２ 変換部
１３ 演算部
１４ 表示装置
１５ 記憶装置

Claims (8)

1. 撮像素子で撮像された複数の画像のデータを処理する画像データ処理装置であって、
   前記撮像された画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、前記第１の画像データと前記第２の画像データとを時分割で出力する変換部と、
   前記変換部が時分割で出力した前記第１および第２の画像データを取得し、前記第１の画像データを用いて表示装置に前記撮像された画像を表示する処理を行い、前記第２の画像データを用いて記憶装置に前記撮像された画像を記録する処理を行う演算部と、
   を有することを特徴とする画像データ処理装置。
2. 前記変換部は、前記第１および第２の画像データそれぞれを、前記第１の画像データと前記第２の画像データとに共通に使用するフォーマットに挿入して出力することを特徴とする請求項１記載の画像データ処理装置。
3. 前記フォーマットは、挿入されている画像データの画像形式を示すヘッダ情報を含み、
   前記演算部は、前記ヘッダ情報を参照して、前記フォーマットに挿入されている前記第１の画像データまたは前記第２の画像データを抽出する、
   ことを特徴とする請求項２記載の画像データ処理装置。
4. 前記演算部は、前記第２の画像データの画素数を前記変換部に対して指定し、
   前記変換部は、前記演算部から指定された前記第２の画像データの画素数に応じて、前記フォーマットのサイズを変更する、
   ことを特徴とする請求項２記載の画像データ処理装置。
5. 前記第１の画像データは、複数の成分のデータを含み、
   前記フォーマットは、前記複数の成分に対応する複数の領域を含み、
   前記変換部は、前記第２の画像データを、前記複数の領域のうち所定の一の領域に挿入するか、または、前記複数の領域に分散させて挿入する、
   ことを特徴とする請求項２記載の画像データ処理装置。
6. 前記演算部は、前記第２の画像データを取得したとき、ダミー画像を前記表示装置に表示する処理を行うことを特徴とする請求項１記載の画像データ処理装置。
7. 前記変換部は、前記撮像素子から前記複数の画像のデータを順次取得し、前記第１の画像データと前記第２の画像データとを交互に出力することを特徴とする請求項１記載の画像データ処理装置。
8. 撮像素子で撮像された複数の画像のデータを処理する、変換部と演算部とを有する装置が実行する画像データ処理方法であって、
   前記変換部が、前記撮像された画像それぞれについて、第１の画像形式の第１の画像データと第２の画像形式の第２の画像データとを生成し、前記第１の画像データと前記第２の画像データとを時分割で出力し、
   前記演算部が、時分割で出力された前記第１および第２の画像データのうち前記第１の画像データを用いて、表示装置に前記撮像された画像を表示する処理を行い、
   前記演算部が、時分割で出力された前記第１および第２の画像データのうち前記第２の画像データを用いて、記憶装置に前記撮像された画像を記録する処理を行う、
   ことを特徴とする画像データ処理方法。

Images