JP2015171042A - 画像処理システム及び画像撮像装置 - Google Patents

Abstract

【課題】カメラで撮像したＲＡＷ画像の現像処理を、カメラ外部の画像処理装置で実行させる画像処理システムにおいて、カメラと画像処理装置間の通信量を低減させることができるようにする。【解決手段】ＲＡＷ画像データを現像する第１の現像手段と、第１の現像画像データを記録する記録手段と、前記ＲＡＷ画像データを送信する画像データ送信手段と、画像表示手段と、装置の各部を制御する制御手段とを備える画像撮像装置と、前記ＲＡＷ画像データを受信する画像データ受信手段と、前記ＲＡＷ画像データを現像する第２の現像手段と、第２の現像画像データに対するアクセス情報を送信するアクセス情報送信手段とを備える画像処理装置とから成る画像処理システムであって、前記制御手段は、前記アクセス情報に基づいて、前記表示手段に再生表示される画像の表示を制御する。【選択図】図１

Description

本発明は画像処理システム及び画像撮像装置に関し、特に、画像サーバから画像データに対するアクセス情報を受信することができる撮像装置を用いた画像処理システムに用いて好適な技術に関するものである。

従来、カメラでの撮像において、撮像した画像信号に対する各種の補正処理を、カメラ外部の画像処理装置において実行させる技術が知られている。
例えば、特許文献１では、撮像した画像信号に対して現像処理を行う前のＲＡＷ画像データを、ネットワークを介して画像サーバに送信し、画像サーバ上でＲＡＷ画像の現像処理を行わせる。そして、現像結果である現像画像をカメラへ返送させ、カメラにおいて現像画像を表示する技術が開示されている。

特開２００８−２３６３９６号公報

前述の特許文献１の技術によれば、現像処理をカメラ外部で行うため、カメラにおける処理負荷を低減させることが可能となる。しかしながら、従来の技術を用いた場合は、カメラ外部の画像サーバで現像した現像画像を、予めカメラ側に送信しておき、カメラにて記録しておく必要があった。このため、現像画像データの量が多い場合は、カメラと画像サーバ間での通信量の増大と、カメラ側で必要となる記憶容量の増大という課題があった。

本発明は前述の問題点に鑑み、カメラで撮像したＲＡＷ画像の現像処理を、カメラ外部の画像処理装置で実行させる画像処理システムにおいて、カメラと画像処理装置間の通信量を低減させることができるようにすることを目的とする。また、カメラ側で必要とされる画像記憶容量を低減させることを目的とする。

本発明の画像処理システムは、画像撮像装置と画像処理装置とを有する画像処理システムであって、前記画像撮像装置は、撮像素子から読み出したＲＡＷ画像データを現像し、第１の現像画像データを生成する第１の現像手段と、前記第１の現像画像データを記録する記録手段と、前記ＲＡＷ画像データを、前記画像処理装置に送信する画像データ送信手段と、画像を表示する表示手段と、画像撮像装置の各部の動作を制御する制御手段とを備え、前記画像処理装置は、前記画像撮像装置から、前記ＲＡＷ画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信したＲＡＷ画像データを現像し、第２の現像画像データを生成する第２の現像手段と、前記第２の現像画像データに対するアクセス情報を前記画像撮像装置に送信するアクセス情報送信手段とを有し、前記制御手段は、前記画像処理装置から受信したアクセス情報に基づいて、前記表示手段に再生表示される画像の表示を制御することを特徴とする。

本発明によれば、カメラで撮像したＲＡＷ画像の現像処理を、カメラ外部の画像処理装置で実行させる画像処理システムにおいて、カメラと画像処理装置間の通信量を低減させることができる。また、カメラ側で必要とされる画像記憶容量を低減させることが可能となる。

本発明の第１の実施形態に係る画像処理システムの構成例を示すブロック図である。 本発明の第１の実施形態に係る再生インデックスデータの生成処理の流れを示すシーケンスチャートである。 本発明の第１の実施形態に係る再生インデックスデータの例と、動画像データ選択画面の例を示す図である。 本発明の第１の実施形態に係る動画像の再生処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る動画像データの移動、または、複製の処理の流れを示すフローチャートである。 本発明の第３の実施形態に係る動画像データの記録処理の流れを示すシーケンスチャートである。 本発明の第３の実施形態に係る動画像データの記録の状態を示す図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
以下、図１〜図４を参照して、本発明の第１の実施形態における画像処理システムについて説明する。
図１に示したのは、本発明の第１の実施形態に係る画像処理システムを構成するカメラ（図１（ａ））、及び画像サーバ（図１（ｂ））の主要な構成を示したブロック図である。
図１（ａ）において、１００は画像を撮像するカメラ全体（画像撮像装置）であり、１０１は被写体の光束を結像する撮像光学系である。

１０２は撮像センサであり、Ｂａｙｅｒ配列に並べられた不図示の撮像素子により、入射した光束を光電変換し、ＲＡＷ画像データとして出力する。１０３はＲＡＷ画像データに対するキズ画素補正やレベル補正を行うＲＡＷ補正部である。

１０４はＲＡＷ画像データに対する現像処理を行い、カメラ現像画像データを生成するカメラ現像処理部、１０５は現像処理された静止画、または、動画像データを符号化し、データ圧縮する画像エンコード部である。１０６はＲＡＷ画像データと、符号化されたカメラ現像画像データとを、記録するカメラ画像データメモリ、１０７は符号化されたカメラ現像画像データをデコードするカメラ画像デコード部、１０８はユーザに画像を呈示する表示部である。

１０９はカメラ１００の各部を制御するカメラ制御部、１１０は表示再生する画像データを管理するための再生インデックスデータを生成する再生インデックス生成部、１１１は再生インデックスデータを記録する再生インデックスメモリである。

１１２はユーザの操作を受け付ける操作部であり、操作部１１２を介してユーザによる動画像の撮影開始や終了、動画像の再生に関する指示が入力される。１１３はカメラ１００の外部の機器にＲＡＷ画像データを送信するＲＡＷ画像データ送信部、１１４はカメラ１００の外部からストリーミング動画データを受信するストリーミングデータ受信部である。

１１５は受信したストリーミングデータを一時的に記録するストリーミングデータバッファ、１１６は符号化されたストリーミングデータをデコードするストリーミングデータデコード部である。
１１７はカメラ１００に記憶された画像データを、カメラ１００の外部の記録媒体や記録機器に記録する記録部、１１８は画像データを記録する記録媒体である。

図１（ｂ）において、１５０は画像サーバ全体（画像処理装置）、１５１は画像サーバ１５０の各部の動作を制御する画像サーバ制御部、１５２はカメラ１００で撮像されたＲＡＷ画像データを受信するＲＡＷ画像データ受信部である。１５３は画像データを記憶する画像サーバ画像データメモリ、１５４は受信したＲＡＷ画像データに対する現像処理を行う画像サーバ現像処理部である。

１５５は画像データに対する符号化処理やパケット化処理を行い、ストリーミング再生に適した形式であるストリーミングデータへと変換するストリーミングデータ生成部である。１５６は生成したストリーミングデータをカメラ１００に送信するストリーミングデータ送信部である。また、ストリーミングデータ送信部１５６は、画像サーバアドレス情報の送信も行う。

ここで、画像サーバアドレス情報とは、画像サーバ画像データメモリ１５３に記録された画像データにアクセスするためのアクセス情報である。例えば、画像サーバ画像データメモリ１５３に記録された画像データのそれぞれに対して割り振られたＵＲＬ情報である。この画像サーバアドレス情報によって、画像サーバ１５０の外部から所望の動画像データを指定することができ、また、指定した動画像データに対応するストリーミングデータの送信を要求することが可能となる。

なお、カメラ１００のＲＡＷ画像データ送信部１１３とＲＡＷ画像データ受信部１５２、及びストリーミングデータ受信部１１４とストリーミングデータ送信部１５６とは、ネットワークを介して互いにデータの通信を行うことが可能である。ストリーミングデータ送信部１５６により、アクセス情報送信が行われることにより、カメラ１００においては、受信したアクセス情報に基づいて表示部１０８に表示する撮影画像（表示画像）の表示制御が行なわれる。

また、カメラ現像処理部１０４は、画像サーバ現像処理部１５４に対して、簡易的な構成となっている。例えば、カメラ現像処理部１０４では、ＲＡＷ画像データから一部の画素を間引いて画素数を少なくした縮小画像データに対して現像処理を行う。他には、カメラ現像処理部１０４では、ノイズ除去処理においてεフィルタ等の簡易的な構成で実現可能な処理のみ行い、画像サーバ現像処理部１５４ではバイラテラルフィルタ等の処理量は大きいが、より効果の大きな処理を行うようにしてもよい。これによって、カメラ１００の構成を簡略化することが可能となる。

次に、カメラ１００の撮像時の基本動作について説明した後、図２を参照して、本実施形態の特徴的な処理である画像データの表示再生処理の流れについて説明する。ここでは、カメラ１００によって動画像を撮影する場合における処理の流れを説明する。
撮像光学系１０１を通過した被写体像は撮像センサ１０２上に結像される。撮像センサ１０２は入射された光束を電気信号に変換した後、ＲＡＷ画像データとしてＲＡＷ補正部１０３へ出力する。

ＲＡＷ補正部１０３は、ＲＡＷ画像データに対する各種の補正処理、例えば、ＯＢ補正やキズ画素補正を行い、補正後のＲＡＷ画像信号をカメラ現像処理部１０４へ出力する。また、ＲＡＷ補正部１０３は、補正後のＲＡＷ画像データをカメラ画像データメモリ１０６へも出力する。

カメラ現像処理部１０４では、入力されたＲＡＷ画像データに対する現像処理が行われる。例えば、Ｂａｙｅｒ配列パターンで並んだＲＡＷ画像データを同時化するデモザイキング処理や、ホワイトバランス補正、ガンマ補正など各種の補正処理が行われる。カメラ現像処理部１０４は生成したカメラ現像画像データを画像エンコード部１０５へ出力する。

画像エンコード部１０５では、入力されたカメラ現像画像データに対して符号化処理を行い、符号化されたカメラ現像画像データをカメラ画像データメモリ１０６へ出力する。カメラ画像データメモリ１０６は入力されたＲＡＷ画像データ、及び、カメラ現像画像データを記録する。

また、カメラ現像処理部１０４は、カメラ現像画像データを表示部１０８へも出力する。表示部１０８は、入力されたカメラ現像画像データを表示デバイス上に表示する。これによって、ユーザは撮影中、及び撮影の前後において画像データの確認を行うことができる。
これら一連の処理動作が、ユーザが操作部１１２を介して動画撮影開始指示を入力してから、動画像撮影終了指示を入力するまでの間、繰り返し行われ、動画像データの撮影と記録が実行される。従って、カメラ画像データメモリ１０６に記録されるＲＡＷ画像データは、フレーム画像毎に分けられた複数枚のＲＡＷ画像データとなる。

以上が、カメラ１００の撮影時の基本動作の流れである。次に、図２、図３を参照して、本実施形態の特徴的な部分である撮影後の動画像データの再生処理の流れについて説明する。
図２に示したのは、撮影した動画像データの再生を制御するための再生インデックスの生成に係る処理の流れを示すシーケンスチャートである。

まず、Ｓ２０１では、カメラ１００がユーザの指示に従って動画像撮影を行う。ここでの処理の流れは前述の通りであり、カメラ画像データメモリ１０６にＲＡＷ画像データ、及び符号化されたカメラ現像画像データが記録される。
Ｓ２０２では、カメラ制御部１０９が、記録されたカメラ現像画像データに対する再生インデックスデータを生成する。

ここで、再生インデックスデータについて、図３を参照して説明する。
図３（ａ）に示したのは、動画像データの再生を制御するための再生インデックスデータの例である。再生インデックスデータは、カメラ制御部１０９の制御に従い、再生インデックス生成部１１０が生成し、再生インデックスメモリ１１１へ記録する。

図示の通り、再生インデックスデータは下記の要素から構成されるデータテーブルである。
すなわち、動画像を識別するための画像ＩＤ（３０１）。画像データファイルの画像ファイル名（３０２）。カメラ画像データメモリ１０６に記録されたカメラ現像画像データのアドレス情報（３０３）。カメラ画像データメモリ１０６に記録されたサムネイル画像のアドレス情報（３０４）。画像サーバ１５０でのストリーミングデータ生成処理の状況を表す情報であるストリーミングデータ生成フラグ（３０５）。画像サーバ１５０で生成されたストリーミングデータを読み出すための画像サーバアドレス情報（３０６）である。なお、画像サーバ１５０でのストリーミングデータの生成処理については、後で詳しく説明する。

図３（ａ）では、ストリーミングデータ生成フラグ３０５が表す情報の内容として下記の３通りの例を示した。すなわち、１つ目は、画像ＩＤ０００１の欄に示したストリーミングデータの生成が完了していることを表す「生成完了」である。２つ目は画像ＩＤ０００２の欄に示したストリーミングデータが生成中であることと、その処理の進捗割合を示す「生成中（５０％）」である。

そして、３つ目は画像ＩＤ０００３の欄に示した画像サーバ１５０へのＲＡＷ画像データの送信が行われておらず、ストリーミングデータの生成もまだ行われていないことを示す「未生成」である。これらのストリーミングデータ生成フラグ（３０５）の情報は、再生インデックス生成部１１０が、適宜画像サーバ１５０との通信を行うことで更新するものである。

Ｓ２０２の段階では、動画像撮影を終了した直後であるため、生成される再生インデックスデータは、図３（ａ）の画像ＩＤ０００３の欄に示した通りとなる。すなわち、Ｓ２０１において生成されたカメラ現像画像データの情報が、画像ファイル名３０２、カメラ現像画像アドレス情報３０３、サムネイル画像情報３０４に記録されている。一方で、画像サーバ１５０による現像処理は実行されていないため、ストリーミングデータ生成フラグ３０５は、「未生成」を示している。

次に、Ｓ２０３では、カメラ１００のＲＡＷ画像データ送信部１１３が、ＲＡＷ画像データのうち、画像サーバ１５０へのデータ送信が完了していないものを選択する。そして、そのＲＡＷ画像データをカメラ画像データメモリ１０６から読み出して、画像サーバ１５０へ送信する。送信するＲＡＷ画像データの選択は、再生インデックスデータのストリーミングデータ生成フラグ３０５の情報を参照すればよい。

Ｓ２０４では、画像サーバ１５０が、外部のカメラ１００からＲＡＷ画像データ受信部１５２を介して受信したＲＡＷ画像データを、画像サーバ画像データメモリ１５３へ記録する。
Ｓ２０５では、画像サーバ１５０の画像サーバ現像処理部１５４が、ＲＡＷ画像データを画像サーバ画像データメモリ１５３より読み出し、読み出したＲＡＷ画像データに対する現像処理を行う。画像サーバ現像処理部１５４は、カメラ現像処理部１０４の現像処理よりも高負荷の演算処理を行い、その現像結果はカメラ現像処理部１０４よりも、高解像度・高画質となる。画像サーバ現像処理部１５４は、現像処理を行った結果である画像サーバ現像画像データを、画像サーバ画像データメモリ１５３に出力し、記録させる。

Ｓ２０６では、画像サーバ１５０の画像サーバ制御部１５１が、Ｓ２０５で生成された画像サーバ現像画像データに関連付けられた画像サーバアドレス情報を生成する。そして、ストリーミングデータ送信部１５６を介してカメラ１００に送信するアドレス情報送信処理を行う。画像サーバアドレス情報が送信されると、カメラ１００のカメラ制御部１０９が、ストリーミングデータ受信部１１４を介して、画像サーバアドレス情報を受信する。

Ｓ２０７では、カメラ１００の再生インデックス生成部１１０が、外部の画像サーバ１５０から受信した画像サーバアドレス情報に基づいて、再生インデックスデータの更新を行う。すなわち、Ｓ２０２でストリーミングデータ生成フラグ３０５を「未生成」としたものを、「生成完了」に更新する。また、送信された画像サーバアドレス情報を、画像サーバアドレス情報３０６に記録する。

以上、再生インデックスデータの生成と更新処理の流れについて説明した。次に、図３（ｂ）と図４を参照して、カメラ１００における動画再生処理の流れについて説明する。
図３（ｂ）に示したのは、ユーザが動画再生データを選択する際に、カメラ制御部１０９が表示部１０８に表示する操作画面を表したものであり、図３（ａ）に示した再生インデックスデータに対応した選択肢が提示されている。

図３（ｂ）において、３５１は各動画像データのサムネイル画像、３５２a、３５２ｂは動画像を再生させるデータを選択する選択肢を表す。３５２aはカメラ現像画像データを表し、３５２ｂは画像サーバ現像画像データに対応するストリーミングデータを表している。従って、ストリーミングデータの生成が完了していない動画像である画像ファイル名「MOVIE＿002」、「MOVIE＿003」には３５２ｂのアイコンが表示されていない。

次に、図４のフローチャートを参照しながら、カメラ１００における動画像の再生処理の流れを説明する。
まず、Ｓ４０１では、ユーザが、操作部１１２を操作して動画像を選択し、その再生を開始する指示が入力されたか否かを判断する。入力された場合にはＳ４０２に進み、入力されない場合には待機する。
Ｓ４０２では、カメラ制御部１０９が、Ｓ４０1で指定された動画像ファイルに対応する再生インデックスデータを、再生インデックスメモリ１１１より読み出す。

Ｓ４０３では、カメラ制御部１０９が、読み出した再生インデックスデータのストリーミングデータ生成フラグ３０５を参照し、ストリーミングデータの生成が完了しているか否かを判定する。生成が未完了であればＳ４０４へ進み、完了していればＳ４０６へ進む。

Ｓ４０４では、カメラ制御部１０９が、再生インデックスデータのカメラ現像画像アドレス情報３０３を参照して、カメラ画像データメモリ１０６から、カメラ現像画像データを読み出し、カメラ画像デコード部１０７へ出力するよう制御する。
Ｓ４０５では、カメラ画像デコード部１０７が、入力されたカメラ現像画像データをデコードし、表示部１０８へ出力する。

一方、Ｓ４０６では、カメラ制御部１０９が、再生インデックスデータの画像サーバアドレス情報３０６を参照し、画像サーバ１５０へ選択された動画像ファイルに対応するストリーミングデータの送信を開始するよう要求する。
Ｓ４０７では、画像サーバ１５０の画像サーバ制御部１５１が、受信した画像サーバアドレス情報に基づき、要求された画像サーバ現像画像データを、画像サーバ画像データメモリ１５３より読み出す。画像サーバ制御部１５１は、読み出した画像サーバ現像画像データを、ストリーミングデータ生成部１５５へ出力する。

ストリーミングデータ生成部１５５は、入力された画像サーバ現像画像データに対して符号化処理、及び、パケット化処理を行い、ストリーミング用のデータ形式へ変換し、ストリーミングデータ送信部１５６へ送信する。ストリーミングデータ送信部１５６は、入力されたストリーミングデータを、パケット毎に順次、カメラ１００に対して送信し、ストリーミングデータの送信を開始する。

Ｓ４０８では、カメラ１００のストリーミングデータ受信部１１４が、パケット化されたストリーミングデータを受信し、パケット毎に順次、ストリーミングデータバッファ１１５に出力して記憶させる。
Ｓ４０９では、ストリーミングデータデコード部１１６が、ストリーミングデータバッファ１１５に蓄積されたストリーミングデータをパケット単位で順次読み出し、デコード処理を行い、デコードした画像信号を表示部１０８へ出力する。

ストリーミングデータデコード部１１６は、読み出したストリーミングデータを、ストリーミングデータバッファ１１５から削除する。従って、ストリーミングデータバッファ１１５は、動画像データが分割されたパケットデータを記録するだけの容量が有ればよい。このようにストリーミング再生を用いているため、カメラ１００に必要とされるデータバッファの容量を削減することが可能となる。

Ｓ４１０では、表示部１０８が、カメラ画像デコード部１０７、または、ストリーミングデータデコード部１１６より入力された画像信号を順次、不図示の表示デバイス上に表示し、動画像を再生表示する。
以上、説明したように、本実施形態では、撮影した動画像データを再生表示する際に、画像サーバ１５０での現像処理が完了していれば、その結果をストリーミング再生するようにする。また、画像サーバ１５０での現像処理が完了していなければ、カメラ１００で現像をした結果を再生するようにした。

これにより、ユーザは、画像サーバ１５０で現像した高画質な動画像データが存在する場合には、その高画質な動画像データを再生表示させることができる。更に、画像サーバ１５０からストリーミング再生を行うため、画像サーバ現像画像データの全てを、カメラ１００に予め蓄積しておく必要が無くなり、カメラ１００で必要とされるデータバッファの容量を低減させることが可能となる。また、ユーザから再生指示のあった動画像に対してのみ画像データの通信を行うため、無駄なデータ通信を行うことが無くなり、データ通信の処理負荷を低減することが可能となる。

なお、本実施形態では、動画像データ再生の開始時に、画像サーバ現像画像データが生成されている場合は、画像現像画像データをストリーミング再生するよう選択する場合で説明したが、本発明は、再生する動画像の選択方法をこれに限定するものではない。すなわち、画像サーバから受信した画像サーバアドレス情報に基づいて、動画像の選択を制御する方法であれば、どのようなものを用いても構わない。

例えば、動画像データ再生の途中において、画像サーバアドレス情報を受信した場合は、再生の途中から、画像サーバ現像画像データのストリーミング再生に切り替えるようにしてもよい。この場合、カメラ制御部１０９は、画像サーバアドレス情報によってストリーミング再生する動画像データを指定するとともに、現在表示中のフレーム画像のフレーム番号の情報を併せて画像サーバ１５０に送信する。これによって、動画像の再生途中で、カメラ現像画像データの再生から、画像サーバ現像画像のストリーミング再生に切り替えることが可能となる。

また、画像サーバアドレス情報に加えて、カメラ１００と画像サーバ１５０の通信状況に応じて、再生する動画像を選択するよう制御してもよい。具体的には、ストリーミングデータのデータレートに対して、カメラと画像サーバ間の通信速度が不足している場合は、カメラ現像画像データの再生を選択するよう制御してもよい。

また、カメラと画像サーバ間の通信速度が一時的に低下している場合は、通信速度が低下している間だけ、カメラ現像画像データの再生を選択するよう制御してもよい。これによって、通信速度の不足による動画像再生の途切れを防止することが可能となる。

また、カメラ現像画像データの再生か、画像サーバ現像画像データのストリーミング再生かを、ユーザに選択させるようにしてもよい。具体的には、図３（ｂ）に示したように、カメラ現像画像データの再生と、画像サーバ現像画像データのストリーミング再生とで、選択可能な候補を表示部１０８に表示させ、ユーザが候補の何れかを選択するようにすればよい。これによって、ユーザが自分の意思に従って、動画像データの再生を制御することが可能となる。

また、本実施形態では、画像サーバでの現像処理が一通りである場合で説明したが、本発明は、カメラ外部の画像処理装置での現像処理をこれに限定するものではない。画像サーバ１５０における現像処理を、互いに異なる複数の現像パラメータ、または、現像処理方法を用いて行ってもよい。

この場合、複数の現像パラメータ、または、現像処理方法によって生成された画像サーバ現像画像データのそれぞれに対して、別個の画像サーバアドレス情報を生成し、カメラに送信する。この場合は、図３（ｂ）に示した、動画像データの選択画面において、複数の画像サーバ現像画像データの選択肢をユーザに提示し、ユーザが何れかを選択することが可能なように制御すればよい。

また、本実施形態では、画像サーバアドレス情報の受信後、カメラ現像画像データと、画像サーバアドレス情報との両方のデータを記録しておく場合で説明したが、本発明は、画像データの記録方法をこれに限定するものではない。例えば、画像サーバアドレス情報を受信した後、対応するカメラ現像画像データを削除するよう制御してもよい。

または、画像サーバアドレス情報を受信した後、対応するカメラ現像画像データの画素数を更に縮小する縮小処理を行い、データサイズの小さいプレビュー用の画像データとして保持しておくようにしてもよい。これによって、カメラに必要とされるデータメモリの容量を、削減することが可能となる。

また、本実施形態では、画像サーバでの現像処理が完了した際に画像サーバアドレス情報を送信するよう制御する場合で説明したが、本発明は、画像サーバアドレス情報の送信のタイミングをこれに限定するものではない。例えば、ユーザによる指示や画像サーバ管理者による指示によって、画像サーバのデータの移動、編集が行われる場合が考えられる。このような場合には画像サーバアドレス情報を新規に生成し、画像サーバからカメラへ送信するよう制御する。

また、逆に、カメラ側でカメラ現像画像データに対する編集処理がなされる場合も考えられる。このような場合には、カメラ現像画像データに対する編集内容を画像サーバに送信し、画像サーバ現像画像データに対しても同じ編集処理を施す。その後、編集結果として新たに生成された画像サーバ現像画像データに対して、画像サーバアドレス情報を生成し、カメラに送信するようにする。これによって、カメラ側で画像データを編集した場合であっても、ユーザの所望する動画像をストリーミング再生することが可能となる。

（第２の実施形態）
前述した第１の実施形態では、カメラ１００での動画像再生時に、カメラ現像画像データか、画像サーバ現像画像データのストリーミング再生かを選択して再生する場合について説明した。
次に、本発明の第２の実施形態として、カメラ１００で撮影した動画像データを、カメラ１００の外部に移動、または、複製する場合について説明する。

第２の実施形態に係るカメラ１００、画像サーバ１５０の構成は図１に示した第１の実施形態の場合と同様であるため、ここでは説明を省略する。また、カメラ１００での撮像動作、及び、再生インデックスデータの生成処理は、図２に示した第１の実施形態の場合と同様であるため、ここでは説明を省略する。

次に、図５を参照して、第２の実施形態の特徴的な処理である、撮影した動画像データの移動、または、複製処理の流れについて説明する。図５に示したのは、撮影した動画像データの移動、または、複製処理の際にカメラ１００の各部によって行われる処理の内容を示したフローチャートである。

まず、Ｓ５０１では、ユーザが操作部１１２を介して、動画像データの移動、または、複製処理の指示が入力されるのを待機する。ユーザは、図３（ｂ）に示したような表示画面を見ながら、移動、または、複製を行う動画像を選択して指示する。ユーザにより、指示が入力されるとＳ５０２に進む。
Ｓ５０２では、カメラ制御部１０９が、ユーザに指定された動画像に対する再生インデックスデータを、再生インデックスメモリ１１１から読み出す。

Ｓ５０３では、カメラ制御部１０９が、読み出した再生インデックデータのストリーミングデータ生成フラグ３０５の情報を参照する。そして、ストリーミングデータの生成が完了しているか否か、すなわち、画像サーバ１５０での現像処理が完了しているか否かを判定する。ストリーミングデータの生成が完了している場合はＳ５０４へ進み、完了していない場合はＳ５０５へ進む。

Ｓ５０４では、カメラ制御部１０９が、ユーザに指示された動画像に対する画像サーバアドレス情報３０６を読み出し、その情報を記録部１１７へ出力する。
Ｓ５０５では、カメラ制御部１０９が、ユーザに指示された動画像に対するカメラ現像画像データを読み出し、そのデータを記録部１１７へ出力する。

Ｓ５０６では、記録部１１７が、入力された画像サーバアドレス情報、または、カメラ現像画像データの何れかを、記録媒体１１８へ出力し、記録媒体１１８へ記録する。なお、動画像データの移動が指示された場合は、対応するカメラ現像画像データ、または、再生インデックスデータを削除するようにする。

以上、説明したように、本実施形態では、撮影した動画像データを、カメラ１００の外部に移動、または、複製する際に、以下のようにした。すなわち、画像サーバアクセス情報が存在している場合には、カメラ現像画像データは移動、または、複製せずに、画像サーバアドレス情報のみを移動、または、複製するようにした。これにより、移動、または、複製を行うデータ容量を縮小することが可能となり、通信の負荷を低減することが可能となる。また、カメラ１００の外部の記録媒体や記録機器に必要とされるデータ容量を低減することが可能となる。

（第３の実施形態）
前述した第１の実施形態では、カメラ１００において、再生インデックスデータを生成し、動画像の再生表示を制御する場合を説明した。
次に、本発明の第３の実施形態として、再生インデックスデータを用いずに、動画像の再生表示を制御する場合について説明する。

第３の実施形態に係るカメラ１００の構成、及び、画像サーバ１５０の構成は図１に示した第１の実施形態の場合と同様であるため、ここでは説明は省略する。ただし、本実施形態では、再生インデックスデータは用いないため、再生インデックス生成部１１０、及び、再生インデックスメモリ１１１は用いない。

次に、図６を参照して、本実施形態に係る動画像データの記録処理の流れを説明する。
図６に示したのは、本実施形態においてカメラ１００と画像サーバ１５０が行う動画像データの撮影、及び、記録時に行う処理の流れを示すシーケンスチャートである。
まず、Ｓ６０１では、カメラ１００が、ユーザの指示に従って動画像データの撮影を行う。撮影処理の流れは図２のＳ２０１に示した第１の実施形態の場合と同様であるため、説明は省略する。

Ｓ６０２では、撮影されたカメラ現像画像データが、カメラ画像データメモリ１０６へ記録される。ここで、図７を用いて、カメラ画像データメモリ１０６への記録処理の詳細について説明する。

図７に示したのは、カメラ画像データメモリ１０６に記録される画像データを模式的に表したものである。なお、図７（ａ）は動画像データ撮影の直後の段階（Ｓ６０２に相当）を表し、図７（ｂ）はそれから暫く時間が経過した段階（Ｓ６０７）の状態を表している。

図７において、７０１ａ、７０１ｂは、各画像データが記録されている領域の先頭を表すアドレス情報が、リスト形式で記録されているデータリスト領域である。７０２ａ、７０２ｂは、各画像データが記録された画像データ領域である。ここで、Ｓ６０１において撮影された動画像が「ＭＯＶＩＥ＿００３」であるとすると、「ＭＯＶＩＥ＿００３」に対しては、カメラ現像画像データとＲＡＷ画像データとが記録されている。

次に、Ｓ６０３では、図２のＳ２０３と同様、カメラ制御部１０９が、ＲＡＷ画像データをカメラ画像データメモリ１０６より読み出し、ＲＡＷ画像データ送信部１１３を介して、画像サーバ１５０へ送信する。
Ｓ６０４では、図２のＳ２０４と同様、画像サーバ１５０が、ＲＡＷ画像データ受信部１５２を介して受信したＲＡＷ画像データを、画像サーバ画像データメモリ１５３へ記録する。

Ｓ６０５では、図２のＳ２０５と同様、画像サーバ１５０の画像サーバ現像処理部１５４が、ＲＡＷ画像データに対する現像処理を行う。
Ｓ６０６では、図２のＳ２０６と同様、画像サーバ１５０が、現像した画像サーバ現像画像データをストリーミング再生する際に必要となる画像サーバアドレス情報を、ストリーミングデータ送信部１５６を介して、カメラ１００へ送信する。

Ｓ６０７では、カメラ制御部１０９が、受信した画像サーバアドレス情報に基づき、カメラ画像データメモリ１０６の情報を更新する。ここでの更新処理の内容を図７（ｂ）を参照して説明する。
Ｓ６０７で受信した情報が、「ＭＯＶＩＥ＿００２」、「ＭＯＶＩＥ＿００３」であるとすると、カメラ画像データメモリ１０６は、図７（ａ）から図７（ｂ）のように更新される。すなわち、「ＭＯＶＩＥ＿００２」、「ＭＯＶＩＥ＿００３」に対して、カメラ現像画像データ、及び、ＲＡＷ画像データが削除され、代わりに、画像サーバアドレス情報が記録される。
以上が、本実施形態における動画像データの撮影、及び、記録時の処理の流れである。

この後、ユーザが、操作部１１２を介して、再生表示する動画像データの指定を行った際には、カメラ制御部１０９が、カメラ画像データメモリ１０６に記録されているデータリスト領域７０１を読み出し、該当する画像データの読み出しを行う。
カメラ制御部１０９は、画像データ領域７０２に記録されている情報が、カメラ現像画像データである場合は、カメラ画像デコード部１０７を介して表示部１０８での表示再生を行うよう制御する。

一方、画像データ領域７０２に記録されている情報が、画像サーバアドレス情報である場合は、画像サーバ１５０に対して該当する画像サーバ現像画像データをストリーミングデータとして送信するよう要求する。そして、ストリーミングデータの受信を行い、表示部１０８で表示再生を行うよう制御する。

以上、説明したように、本実施形態では、画像サーバからの画像サーバアドレス情報の受信状況に応じて、撮影した動画像データの記録情報を更新するようにした。これにより、撮影した動画像データを再生表示する際に、画像サーバ１５０での現像処理が完了していれば、その結果をストリーミング再生するようにする。また、画像サーバ１５０での現像処理が完了していなければ、カメラ１００で現像をした結果を再生することが可能となる。この場合、受信状況を表示部１０８に表示するようにしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ カメラ
１０４ カメラ現像処理部
１０６ カメラ画像データメモリ
１０８ 表示部
１１０ 再生インデックス生成部
１１１ 再生インデックスメモリ
１１３ ＲＡＷ画像データ送信部
１１４ ストリーミングデータ受信部
１５０ 画像サーバ
１５２ ＲＡＷ画像データ受信部
１５３ 画像サーバ画像データメモリ
１５４ 画像サーバ現像処理部
１５５ ストリーミングデータ生成部
１５６ ストリーミングデータ送信部

Claims (14)

1. 画像撮像装置と画像処理装置とを有する画像処理システムであって、
   前記画像撮像装置は、
   撮像素子から読み出したＲＡＷ画像データを現像し、第１の現像画像データを生成する第１の現像手段と、
   前記第１の現像画像データを記録する記録手段と、
   前記ＲＡＷ画像データを、前記画像処理装置に送信する画像データ送信手段と、
   画像を表示する表示手段と、
   画像撮像装置の各部の動作を制御する制御手段とを備え、
   前記画像処理装置は、
   前記画像撮像装置から、前記ＲＡＷ画像データを受信する画像データ受信手段と、
   前記画像データ受信手段が受信したＲＡＷ画像データを現像し、第２の現像画像データを生成する第２の現像手段と、
   前記第２の現像画像データに対するアクセス情報を前記画像撮像装置に送信するアクセス情報送信手段とを有し、
   前記制御手段は、
   前記画像処理装置から受信したアクセス情報に基づいて、前記表示手段に再生表示される画像の表示を制御することを特徴とする画像処理システム。
2. 前記制御手段は、
   前記アクセス情報に基づき、前記第２の現像画像データを前記画像処理装置より受信し、受信した第２の現像画像データを、前記表示手段に表示することを特徴とする請求項１に記載の画像処理システム。
3. 前記第２の現像画像データをストリーミング再生して前記表示手段に表示することを特徴とする請求項１または２に記載の画像処理システム。
4. 前記制御手段は、
   前記表示手段に、前記第１の現像画像データか、前記第２の画像データかの何れかを表示するよう選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理システム。
5. 前記制御手段は、
   前記アクセス情報の受信が完了している場合に、前記第２の現像画像データを表示するよう選択することを特徴とする請求項４に記載の画像処理システム。
6. 前記制御手段は、
   前記第１の現像画像データを表示中に、前記第２の現像画像データに対する前記アクセス情報を受信した場合には、前記第２の現像画像データを表示するよう表示画像の選択を切り替えることを特徴とする請求項４に記載の画像処理システム。
7. 前記制御手段は、
   前記画像処理装置との間のデータの通信状況に応じて、前記第１の現像画像データか、前記第２の現像画像データかの何れを表示するかを選択することを特徴とする請求項４に記載の画像処理システム。
8. 前記第１の現像手段は、前記第２の現像手段に比べて、簡易的な構成であることを特徴とする請求項１〜７の何れか１項に記載の画像処理システム。
9. 前記表示手段は、
   前記アクセス情報の受信状況を表示することを特徴とする請求項１〜８の何れか１項に記載の画像処理システム。
10. 前記画像処理装置において、
    複数の前記第２の現像画像データを生成するとともに前記複数の第２の現像画像データのそれぞれに対してアクセス情報を生成し、前記アクセス情報送信手段は、前記複数のアクセス情報のそれぞれを、前記画像撮像装置に送信することを特徴とする請求項１〜９の何れか１項に記載の画像処理システム。
11. 外部の画像処理装置とネットワークを介して通信する画像撮像装置であって、
    撮像素子から読み出したＲＡＷ画像データを現像し、第１の現像画像データを生成する第１の現像手段と、
    前記第１の現像画像データを記録する記録手段と、
    前記ＲＡＷ画像データを、前記画像処理装置に送信する画像データ送信手段と、
    前記画像処理装置によって前記ＲＡＷ画像データが現像されて得られた第２の現像画像データにアクセスするためのアクセス情報を受信する受信手段と、
    画像を表示する表示手段と、
    画像撮像装置の各部の動作を制御する制御手段とを備え、
    前記制御手段は、
    前記画像処理装置から受信したアクセス情報に基づいて、前記表示手段に再生表示される画像の表示を制御することを特徴とする画像撮像装置。
12. 外部の画像処理装置とネットワークを介して通信する画像撮像装置の制御方法であって、
    撮像素子から読み出したＲＡＷ画像データを現像し、第１の現像画像データを生成する第１の現像工程と、
    前記第１の現像画像データを記録する記録工程と、
    前記ＲＡＷ画像データを、前記画像処理装置に送信する画像データ送信工程と、
    前記画像処理装置によって前記ＲＡＷ画像データが現像されて得られた第２の現像画像データにアクセスするためのアクセス情報を受信する受信工程と、
    画像を表示装置に表示する表示工程と、
    画像撮像装置の各部の動作を制御する制御工程とを備え、
    前記制御工程は、
    前記画像処理装置から受信したアクセス情報に基づいて、前記表示装置に再生表示される画像の表示を制御することを特徴とする画像撮像装置の制御方法。
13. 外部の画像処理装置とネットワークを介して通信する画像撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    撮像素子から読み出したＲＡＷ画像データを現像し、第１の現像画像データを生成する第１の現像工程と、
    前記第１の現像画像データを記録する記録工程と、
    前記ＲＡＷ画像データを、前記画像処理装置に送信する画像データ送信工程と、
    前記画像処理装置によって前記ＲＡＷ画像データが現像されて得られた第２の現像画像データにアクセスするためのアクセス情報を受信する受信工程と、
    画像を表示装置に表示する表示工程と、
    画像撮像装置の各部の動作を制御する制御工程とをコンピュータに実行させ、
    前記制御工程は、
    前記画像処理装置から受信したアクセス情報に基づいて、前記表示装置に再生表示される画像の表示を制御するようコンピュータを制御することを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images