JP2006325150A - 撮像方法、撮像システムおよび撮像装置 - Google Patents

Abstract

【課題】撮像装置（カメラ部）と表示装置（ビューア部）が別体構成である無線通信カメラの遠隔撮影において、ユーザに十分なフレームレートのファインダ画像を提供しつつ、ユーザが意図するタイミングにおける画像を撮像可能とする。
【解決手段】表示用画像データと記憶用画像データとを連続的に生成する工程と、記憶用画像データとタイミングデータとを関連づけて一時記憶する工程と、表示用画像データとタイミングデータとを関連づけて表示装置に送信する工程と、撮像指示を受け付ける工程と、撮像指示を受け付けた時点での画像に対応するタイミングデータを撮像装置に送信する工程と、撮像装置が受信したタイミングデータに対応する記憶用画像データを前記バッファから読出して、画像保管手段に記憶する工程とを有する。
【選択図】図５

Description

本発明は、撮像方法および撮像システムに関するものである。特に、撮像部と表示部とが分離可能な装置を用いた撮像方法に関するものである。

一般的なデジタルカメラは、静止画の撮影時にカメラ本体が備える液晶画面にファインダ画像を表示し、ユーザがファインダ画像を確認しながら撮影することができるよう構成されている。また、本体に備える記憶装置に保存した撮影データを液晶画面に表示し確認することができる。

一方で、撮像機能と表示機能を備えるカメラ本体から表示機能部を分離可能とし、撮像機能を有するカメラ部と表示機能を有するビューア部との別体構成にすることができるデジタルカメラも考えられている。さらに、別体構成のデジタルカメラにおいて、カメラ部とビューア部のそれぞれが無線通信手段を備え、ユーザはビューア部を操作することによりカメラ部の遠隔操作を行い撮影をすることも考えられている。遠隔操作による撮影においては、ビューア部の備える液晶画面にカメラ部が撮像し取得したファインダ画像を表示することにより、ユーザはファインダ画像を見ながらシャッタータイミングを決定し撮影することが出来る（特許文献１）。

しかしながら、カメラ部とビューア部が別体構成である無線通信カメラによる遠隔撮影においては、カメラ部で撮影したデータは符号化され無線伝送された後、ビューア部で復号化されファインダ画面に表示されることから、伝送遅延・処理遅延が存在する。そのため、ビューア部を操作するユーザがシャッターボタンを押下した時点でのファインダ画像と、カメラ部が撮影する画像のタイミングは異なることとなる。つまり、ユーザが意図したタイミングとは異なる画像が得られることになってしまうという問題が起こる。

上記の問題に対し、ビューア部においてファインダ画像と同程度のフレームレートで静止画像を連続的に保存することで対処することが考えられるが、高解像度の静止画像を撮影する場合は、画像データ量が膨大となるという問題点がある。さらに、ファインダ画像として連続して送受信するためには、非常に大きな通信帯域が必要となるため、ファインダ画像のフレームレートの低下等の問題が発生し望ましくない。

一方、ユーザによるビューア部の操作（シャッターボタンのレリーズ動作など）を制御信号としてカメラ部に伝送する際にも、伝送遅延や処理遅延が存在する。そのため、ユーザが意図したタイミングと結果的に得られた撮影画像のタイミングとの間にはさらに時間的なずれが生じてしまう。

伝送遅延を要因とする類似した問題に対する技術として、カメラ側のフレーム番号と受信した端末側のフレーム番号とを比較し、遅延時間分だけカメラのパン操作を補正する方法（特許文献２）があるが、静止画撮影に関するものではない。また、カメラ側のフレームに対するタイムスタンプと受信側のタイムスタンプのずれから遅延補正を行い、カメラの向きやズーム操作などのずれを制御方法（特許文献３）もあるが、静止画撮影に関するものではない。また、いずれにおいてもファインダ画像と撮影画像で解像度や形式（圧縮方式など）が異なることを要因として捉えたものではない。

また、カメラの撮像装置、表示装置、操作キーが一体型である電子スチルカメラの撮影に関して、シャッターボタンのレリーズ動作から実際の撮像動作が行われる間の遅延によるシャッターチャンスを捉え損なうことを防ぐため、シャッターボタンの半押しによって撮影画像のバッファリングを開始し、全押しによってバッファリングを終了して撮影画像を記録する方法（特許文献４）がある。しかしながら、伝送遅延を要因とする問題やファインダ画像と撮影画像との相違を要因とする問題を捉えたものではない。
特開平５−７２６０８号公報 特開平７−２７４１５８号公報 特開平９−２８４６２７号公報 特開平１０−７０６９６号公報

カメラ部とビューア部が別体構成である通信カメラの遠隔撮影においては伝送遅延・処理遅延が発生する。そのため、ビューア部のファインダ画像を確認しながらユーザがシャッターボタンを押下し撮影を行った場合、ユーザが意図したタイミングとは異なる画像が得られてしまうという問題があるため対策が望まれていた。

本発明はかかる問題点に鑑みてなされたものであり、その目的とするところは、カメラ部とビューア部が別体構成である通信カメラの遠隔撮影において、ユーザに十分なフレームレートのファインダ画像を提供しつつ、ユーザが意図するタイミングにおける画像を撮像可能とすることを可能とさせる技術を提供することにある。

画像を撮像する撮像装置と撮像装置とは別体であって撮像装置で撮像された画像を表示する表示装置とを用いた撮像方法であって、撮像装置が画像を連続的に撮像し、表示装置に表示させるための表示用画像データと記憶保存するための記憶用画像データとを連続的に生成する工程と、撮像装置が記憶用画像データとその記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけて、バッファに対し連続的に一時記憶する工程と、撮像装置が表示用画像データとその表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて、連続的に表示装置に送信する工程と、表示装置が撮像装置から受信した表示用画像データに基づいた画像を表示している状態で撮像指示を受け付ける工程と、表示装置が撮像指示を受け付けた時点で表示装置に表示されていた画像を特定し、画像を撮像したタイミングを示すタイミングデータを撮像装置に送信する工程と、撮像装置が表示装置からタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを前記バッファから読出して、画像保管手段に記憶する工程とを有する。

ここで、撮像装置と表示装置とは無線通信を用いて相互に通信が可能である。

また、タイミングデータは、表示用画像データの撮影累積番号である。

または、タイミングデータは、表示用画像データの撮影されたタイムスタンプである。

さらに、記憶用画像データを一時記憶する工程は、表示装置の有するシャッターボタンの半押し操作をトリガとして開始され、タイミングデータを撮像装置に送信する工程は、表示装置の有するシャッターボタンの全押し操作をトリガとしてなされる。

なお、バッファは、リングバッファである。

さらに、画像保管手段に記憶する工程において、受信したタイミングデータに一致する記憶用画像データがバッファに存在しない場合、タイミングデータに最も類似する記憶用画像データをバッファから読出して保管手段に記憶する。

また、撮像指示を受け付けた時点で表示装置に表示されていた画像が撮像された時点から、撮像指示により撮像が行われる時点までの遅延時間を測定する遅延時間測定工程と、測定した遅延時間の情報を用いて、バッファのサイズを設定するバッファサイズ設定工程と、をさらに有する。

さらに、測定した遅延時間の情報を用いて、バッファに記憶用画像データを一時記憶するフレームレートを設定するフレームレート設定工程をさらに有する。

画像を撮像する撮像装置と、撮像装置とは別体であって撮像装置で撮像された画像を表示する表示装置とを備えた撮像システムであって、撮像装置は、画像を連続的に撮像し、表示装置に表示させるための表示用画像データと、記憶保存するための記憶用画像データとを連続的に生成する生成手段と、記憶用画像データと、その記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に一時記憶する一時記憶手段と、表示用画像データと、その表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に表示装置に送信する第１送信手段とを有し、表示装置は、送信手段によって送信された表示用画像データを受信し、受信した表示用画像データに基づいた画像を表示する表示手段と、撮像指示を受け付ける受付手段と、受付手段が撮像指示を受け付けた時点で表示手段に表示されていた画像を特定し、画像の表示用画像データから、その表示用画像データを撮像したタイミングを示すタイミングデータを導き出し、タイミングデータを、撮像装置に送信する第２送信手段とを有し、撮像装置は、更に、第２送信手段からタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを一時記憶手段から読出す画像読出手段と、画像読出手段によって読出された記憶用画像データを記憶する画像保管手段とを有する。

撮像装置であって、撮像装置とは別体であり撮像装置で撮像された画像を表示する表示装置と通信する通信手段と、画像を連続的に撮像し、表示装置に表示させるための表示用画像データと、記憶保存するための記憶用画像データとを連続的に生成する生成手段と、記憶用画像データと、その記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に一時記憶する一時記憶手段と、表示用画像データと、その表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に表示装置に送信する第１送信手段と、表示装置における表示用画像データを撮像したタイミングを示すタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを一時記憶手段から読出す画像読出手段と、画像読出手段によって読出された記憶用画像データを記憶する画像保管手段とを有する。

本発明によれば、カメラ部とビューア部が別体構成である通信カメラの遠隔撮影において、ユーザに十分なフレームレートのファインダ画像を提供しつつ、ユーザが意図するタイミングにおける画像を撮像することを可能とさせる技術を提供することができる。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１実施形態）
本発明に係る撮影装置の第１実施形態として、遠隔操作可能な無線通信カメラを例に挙げて以下に説明する。

図１に、本実施形態に係る無線通信カメラ１００の外観図を示す。無線通信カメラ１００は、撮像を行いデジタルデータを生成する部分であるカメラ部１０１と、ファインダ表示を行いユーザからの操作を受け付けるビューア部１０２に分離可能である。カメラ部１０１とビューア部１０２は、それぞれ無線通信機能を有しており、遠隔操作で使用することが可能である。つまり、ユーザはビューア部１０２のファインダ表示を見ながら操作を行うことにより、離れた場所にあるカメラ部１０１を制御し撮影することができる。

図２に、無線通信カメラ１００を用いた遠隔撮影のためのネットワーク構成例を示す。図２（ａ）では、カメラ部１０１とビューア部１０２とが無線通信２０１を直接行うことにより動作している様子を示している。カメラ部１０１とビューア部１０２との間で伝送されるデータとしては、撮影時のファインダ画像、保存用画像および制御信号が存在するが、詳細については後述する。また、図２（ｂ）に示すように、カメラ部１０１とビューア部１０２とがＬＡＮ２０２等を経由して通信するような構成であってもよい。

＜カメラ部１０１およびビューア部１０２の内部構成＞
図３は、カメラ部１０１に係る例示的な内部構成のブロック図である。

カメラ部１０１は、カメラレンズ３０１により得られた像から光電変換デバイス（ＣＣＤ、ＣＭＯＳなど）を用いて画像データを生成する撮像部３０２と、撮像部３０２で生成した生データをＪＰＥＧ等の静止画像やＭＰＥＧ４等の動画像に変換する画像処理部３０３と、変換した画像データ（静止画像および動画像）をビューア部１０２に送信するための無線通信部３１５を有している。なお、無線通信部３１５はビューア１０２からの制御信号の送受信にも用いられる。さらに、上記各部を制御プログラムを実行して制御するＣＰＵ３１１、制御プログラムを記憶しているＲＯＭ３１２、一時記憶領域として用いられるＲＡＭ３１３、ビューア部１０２と接続して一体化するための機器インターフェース３１４を有している。そして、上記それぞれの部位はシステムバス３００により接続されている。

なお、ここでは、無線通信部３１５で使用される無線通信方式としては無線ＬＡＮ規格（ＩＥＥＥ８０２．１１規格群）におけるアドホックモードを用いることを想定するが、これに限定されるものではない。

図４は、ビューア部１０２に係る例示的な内部構成のブロック図である。

ビューア部１０２は、カメラ部１０１から送信された画像データの受信およびカメラ部を制御するための制御信号の送受信を行う無線通信部４１５と、無線通信部４１５で受信した画像データ（ＪＰＥＧ等の静止画やＭＰＥＧ４等の動画）を復号処理などを行う画像処理部４０３と、表示部４０１への画面表示を制御する表示制御部４０２と、ユーザからの操作を受け付ける操作部４０４と、主に保存用画像である静止画を記憶するための記憶装置４０５を有している。なお、表示部４０１はたとえば液晶画面で構成され、操作部４０４はたとえばシャッターボタンや十字キー等から構成される。

さらに、上記各部を制御プログラムを実行して制御するＣＰＵ４１１、制御プログラムを記憶しているＲＯＭ４１２、一時記憶領域として用いられるＲＡＭ４１３、カメラ部１０１と接続して一体化するための機器インターフェース４１４を有している。そして、上記それぞれの部位はシステムバス４００により接続されている。

なお、無線通信部４１５で使用される無線通信方式としては、上述した無線通信部３１５と同様、無線ＬＡＮ規格におけるアドホックモードを用いることを想定するが、これに限定されるものではない。また、記憶装置４０５としては、たとえば半導体記憶媒体、磁気記憶媒体などであり、外部記憶媒体を着脱可能なものであってもよい。

＜カメラ部１０１とビューア部１０２の動作＞
図５は、本実施形態に係るカメラ部１０１とビューア部１０２との例示的な動作を示す図である。

図５（ａ）にファインダ画像表示を行いユーザの操作を持ちうけている状態を示す。カメラ部１０１はビューア部１０２にファインダデータ５０１を無線伝送し、ビューア１０２は表示部４０１にファインダ画像を表示している状態である。なお、ビューア部１０２の表示部の画面解像度や無線通信の伝送速度に応じて、ファインダ画像の解像度やフレームレートを変更してもよい。

図５（ｂ）にユーザの操作により撮影準備指示が送信されている時点での状態を示す。ビューア部１０２は操作部４０４のシャッターボタンがユーザにより半押しされたことを検知すると、カメラ部１０１に撮影準備指示５０２の信号をカメラ部に送信する。カメラ部１０１はビューア部１０２から撮影準備指示５０２の信号を受信すると、撮像部３０２で生成された画像データから保存用の静止画データの生成を開始すると共に、静止画データを後述するバッファ領域にバッファリングを開始する。

図５（ｃ）にユーザの操作により撮影指示が送信されている時点での状態を示す。ビューア部１０２は操作部４０４のシャッターボタンがユーザにより全押しされたことを検知すると、その時点で表示部４０１に表示されていたファインダ画像を特定するタイミングデータと共に、撮影指示５０３の信号をカメラ部１０１に送信する。カメラ部１０１はビューア部１０２から撮影指示５０３の信号を受信すると、ファインダデータ５０１の送信と静止画データのバッファリングを停止し、受信したタイミングデータに基づいて、バッファリングしている複数の静止画データの中から対応する静止画データを決定する。

図５（ｄ）に静止画データを保存している状態を示す。カメラ部１０１は上述したタイミングデータに基づき決定した静止画データを、ビューア部１０２に送信する。ビューア部１０２はカメラ部１０１から送信された静止画データを記憶装置４０５に記憶する。この際、表示部４０１を用いて保存する静止画データの確認表示を行ってもよい。なお、ここではビューア部１０２が有する記憶装置４０５に静止画データを記憶するように説明を行ったが、カメラ部１０１に記憶装置（不図示）を設け、そこに決定した静止画データを記憶するように構成しても構わない。

上記では、撮影準備指示の送信トリガとしてシャッターボタンの半押し動作、撮影指示の送信トリガとしてシャッターボタンの全押し動作を用いて説明したが、別途ボタンを設けるなどして実現してもよい。また、カメラ部１０１におけるバッファリング動作については常時行うよう構成してもよい。

図６は、ファインダ画像表示状態（図５（ａ）に相当）におけるカメラ部１０１の動作詳細を示すフローチャートである。

ステップＳ６０１では、撮像部３０２は連続的に画像データを生成する。なお、撮像部３０２で生成される画像データはファインダ画像データや保存用の静止画データの元となる画像データであり、以後”元画像データ”と呼ぶ。撮像部３０２で生成される元画像データの、解像度およびフレームレートは変更可能であり、高レートで低解像度の設定（例えば、３０ｆｐｓ、３２０×２４０ｄｏｔ）や低レートで高解像度の設定（例えば、５ｆｐｓ、１２８０×９６０ｄｏｔ）が可能である。

ステップＳ６０２では、ＣＰＵ３１１は、Ｓ６０１で生成された各元画像データに対し、タイミングデータを生成し対応付ける。タイミングデータとしては生成したフレームの累積番号やタイムスタンプなどが使用されるが、タイミングを特定可能なものであれば特に指定はしない。

ステップＳ６０３では、ＣＰＵ３１１は、ビューア部１０２に伝送されるファインダデータのフレームレートに合わせて画像フレームの間引きを行う。例えば、３０ｆｐｓで元画像データが生成されている状態において、ファインダデータが１５ｆｐｓで送信される場合においては、元画像データの偶数個目（あるいは奇数個目）の元画像フレームを間引くことにより実現される。なお、無線通信回線の状態に応じて送信可能なフレームレートを調整してもよい。

ステップＳ６０４では、画像処理部３０３は元画像データをファインダデータの解像度（サイズ）に合わせる処理（リサイズ）を行う。

ステップＳ６０５では、画像処理部３０３はリサイズされた元画像データの符号化を行い、ファインダデータを生成する。符号化には動画圧縮符号（ＭＰＥＧ４、Ｈ．２６３を含む任意の符号）が利用される。

ステップＳ６０６では、無線通信部３１５は生成されたファインダデータをビューア１０２に送信する。なお、ファインダデータの個々の画像フレームには対応するタイミングデータが対応付けられている。

図７は、撮影準備状態（図５（ｂ）と図５（ｃ）間の期間）におけるカメラ部１０１の動作詳細を示すフローチャートである。図６を用いて説明した動作に加え、保存用の静止画データに係る処理が実行される点で異なる。なお、以下の動作に先立って、保存する静止画データの解像度や符号化形式を操作部４０４などによりユーザに設定入力させ、ＲＡＭ３１３などに設定値を記憶する動作が行われるが、この設定動作については従来のデジタルカメラと同様であるため詳細な説明は省略する。

ステップＳ７０１では、撮像部３０２は連続的に元画像データを生成する。

ステップＳ７０２では、ＣＰＵ３１１は、Ｓ７０１で生成された各元画像データに対し、タイミングデータを生成し対応付ける。

ステップＳ７０３〜Ｓ７０６（ファインダデータに係る処理）については、前述したステップＳ６０３〜Ｓ６０６と同様のため説明は省略する。

以下のステップＳ７０７〜Ｓ７１０は保存用の静止画像に係る処理であり、ファインダデータに係る処理と平行して行われる。

ステップＳ７０７では、ＣＰＵ３１１は、後述する静止画データのバッファリングのフレームレートに合わせて画像フレームの間引きを行う。例えば、３０ｆｐｓで元画像データが生成されている状態において、静止画データが５ｆｐｓでバッファリングされる場合においては、平均的に元画像データの１／６のレートとなるよう元画像フレームを間引くことにより実現される。間引く間隔は、ステップＳ７０３で行われるファインダーデータの間引きとは通常異なるが同一であってもよい。

ステップＳ７０８では、画像処理部３０３は元画像データを保存する静止画データの解像度（サイズ）に合わせる処理（リサイズ）を行う。

ステップＳ７０９では、画像処理部３０３はリサイズされた元画像データの符号化を行い、静止画データを生成する。符号化には静止画圧縮符号（ＪＰＥＧ、ＪＰＥＧ２０００を含む任意の符号）が利用される。

ステップＳ７１０では、ＣＰＵ３１１はＲＡＭ３１３上にあらかじめ確保されたバッファ領域に対しＳ７０９で生成された静止画データをバッファリングする。バッファ方式として、撮影データを格納するときバッファ領域に空きが無くなれば最も古い撮影データから順に上書きするリングバッファを用いることにより、効率的なバッファリングか可能となる。なお、バッファリングのフレームレートが高いほど、後述するタイミングデータから決定される静止画データの時間的なずれを小さくすることが期待できることから、処理可能な最大限のフレームレートでバッファリングすることが望ましい。

図８は、リングバッファへのバッファリング動作を示す図である。ここでは６個の静止画データをバッファリング可能なリングバッファ８００を例に説明する。８０１〜８０６はそれぞれ静止画データ１フレームを書き込むのに十分な大きさであるバッファ領域を示している。１フレームの静止画データは、符号化された画像データと対応するタイミングデータとから構成される。例えばバッファ領域８０１には、タイミングデータ８０１ａと符号化された画像データ８０１ｂが格納される。バッファ８０２〜８０６についても同様である。静止画データのバッファリングが開始されると、最初の撮影データを８０１、次の撮影データを８０２、と順番に記憶していき、バッファ配列の最後のバッファ８０６まで記憶する。次の撮影データは、その時点で最も古いデータが記憶されているバッファ８０１に戻って格納する（つまり画像データを上書する）。その後の撮影データは再び８０２から順番に格納（上書き）していく。なお、ここではタイミングデータを符号化された画像データと合わせてリングバッファ８００に記憶するよう説明しているが、符号化された画像データとの対応関係が保持されるような、任意の記憶方法が利用可能である。

＜保存する静止画データの決定＞
図５（ｃ）を用いて前述したように、ビューア部１０２は操作部４０４のシャッターボタンがユーザにより全押しされたことを検知すると、その時点で表示部４０１に表示されていたファインダ画像を特定するタイミングデータ（累積番号、タイムスタンプなど）と共に、撮影指示５０３の信号をカメラ部１０１に送信する。カメラ部１０１はビューア部１０２から撮影指示５０３の信号を受信すると、ファインダデータ５０１の送信と静止画データのバッファリングを停止し、受信したタイミングデータに基づいて、バッファリングしている複数の静止画データの中から対応する静止画データを決定する。

ただし、ファインダデータのフレームレートとバッファされる静止画データのフレームレートとは、一致しているとは限らないことから、ビューア部１０２から送信されたタイミングデータに一致する静止画データが必ず存在するとは限らない。そのため、存在しない場合はビューア部１０２から送信されたタイミングデータに最も近いタイミングデータを持つ静止画データを、バッファ領域から検索し選択する。最も近いタイミングデータを持つ静止画データが前後で二つ存在する場合は、直後の静止画データを選択してもよい。また、唯一の静止画データを決定し保存するのではなく２以上の静止画データについて保存するよう決定してもよい。

以上、カメラ部とビューア部が別体構成である無線通信カメラの遠隔撮影において、カメラ部とビューア部が上述した動作を行うことで、ユーザに十分なフレームレートのファインダ画像を提供しつつ、ユーザが意図するタイミングにおける画像を撮像することを可能とさせる技術を提供することができる。

（第２実施形態）
第２実施形態ではカメラ部１０１で行われるバッファリングに係る動作について詳細に説明する。装置構成および全体の動作については第１実施形態と同様であり説明は省略する。

＜概要＞
遠隔撮影においては、通信回線の状況変化や、ファインダデータの符号形式の変更などにより、遅延時間は変動し、十分な時間（遅延時間に相当する時間）のバッファリングが出来なくなる可能性が存在する。そこで、本実施形態では、遅延時間を測定し、その結果を利用して、バッファ領域の変更およびバッファする画像データの時間間隔を変更することにより上記の問題点を解決する。

＜遅延時間の測定＞
図９は、遠隔撮影における遅延時間を表す模式図を示す。

遠隔撮影における遅延時間は、主に、カメラ部１０１がファインダデータを生成しビューア部１０２へファインダデータを転送する時間（ｔ１）、ビューア部１０２が受信したファインダデータを表示部４０１に表示するまでの処理時間（ｔ２）、および、ビューア部１０２がユーザによるシャッターボタン押下を受け付け撮影指示をカメラ部１０１に送信して実際に撮像部３０２が撮像するまでの転送時間（ｔ３）から構成されている。実際にはフォーカス動作等による遅延も考えられるが説明の簡単化のために省略する。

そのため、ユーザによるシャッターボタン押下時に表示部４０１に表示されていたファインダ画像が撮像されたタイミングから、ｔ１＋ｔ２＋ｔ３に相当する時間遅延したタイミングでの静止画データが結果として得られることになる。つまり、ユーザが所望するタイミングにおける静止画像を取得するためには、最低限ｔ１＋ｔ２＋ｔ３に相当する時間の画像をバッファリングしておく必要があることが分かる。なお、ｔ１、ｔ３については通信回線などの状況により変化し、ｔ２についてはファインダデータの動画形式などに依存して変化し得る。

一方、バッファ容量はコストの問題などにより、常に十分となるバッファ領域を確保可能とは限らない。その結果、遅延時間が長い場合においては、所望のデータは新しいデータによって上書されてしまうことになりうる。つまり、時間順で古い撮影データは上書きされて無効になるため、カメラが撮影指示を受信したタイミングで、撮影指示されたフレームよりもｔ１＋ｔ２＋ｔ３より短い時間に相当する新しい撮影データだけを保持している可能性がある。

図１０は、遅延時間測定の処理フローを示す。なお、ここでは、カメラは電源投入後の最初のビューアからのファインダデータ転送要求の受信をトリガに遅延時間の計測を開始することを想定するが、カメラが自律的に計測動作を開始してもよいし、定期的に測定動作を行うよう構成してもよい。

ステップＳ１００１では、カメラ部１０１は、遅延時間測定のためのテストフレームを含むファインダデータの作成し、ビューア部１０２に送信する。なお、テストフレームは、計測専用のフレームであってもよいし実際の撮像データであってもよいが、例えば計測のためのフレームであることを示す情報（以下、フラグ情報と呼ぶ）が付加されている。また、ＣＰＵ３１１はテストフレームに対応するタイミングデータをＲＡＭ３１３に記憶する。ここではタイミングデータとして、カメラ部１０１の有するタイマ（不図示）を用いたタイムスタンプを用いることとする。

ステップＳ１００２では、ビューア部１０２は受信したファインダデータの表示処理を実行する。フラグ情報の付加されたテストフレームについても通常のフレームと同様の処理がなされるが、実際に表示部４０１に表示しなくてもよい。

ステップＳ１００３では、ビューア部１０２はフラグ情報の付加されたテストフレームの表示処理が終了すると、ただちにカメラ部１０１に確認応答（ＡＣＫ）を送信する。

ステップＳ１００４では、カメラ部１０１はビューア部１０２からＡＣＫを受信すると、受信したタイムスタンプをＳ１００１で用いたタイマ（不図示）から取得すると共に、Ｓ１１０１でＲＡＭ３１３に記憶されたタイミングデータ（タイムスタンプ）との差分から遅延時間の導出を行う。

なお、Ｓ１００１〜Ｓ１００２の時間は図９のｔ１の時間に相当し、Ｓ１００２〜Ｓ１００３の時間は図９のｔ２の時間に相当し、Ｓ１００３〜Ｓ１００４の時間は図９のｔ３の時間に相当する。

＜バッファ容量の調整動作＞
図１１は、遅延時間に基づいたバッファ領域サイズの調整動作の処理フローを示す。

ステップＳ１１０１では、前述した遅延時間測定を行う。

ステップＳ１１０２では、ＣＰＵ３１１は得られた遅延時間に相当する静止画データのバッファに必要なバッファ領域のサイズを導出する。バッファ領域のサイズは、たとえば、必要なバッファ領域のサイズをＢｓ（ｂｙｔｅ）、静止画データ１フレームのデータサイズをＤｓ（ｂｙｔｅ）、バッファリングのフレームレートをＦｒ（ｆｐｓ）、測定された遅延時間をＤｌ（ｓｅｃ）とすると、以下の（式Ａ）から導出されるＢｓ以上のサイズが必要である。なお、ここで静止画データは圧縮画像である場合もあることから、データサイズは一定とは限らないため、余裕を考慮してデータサイズを決定することが望ましい。たとえば、最大のデータサイズに相当するデータサイズが代表値として用いられる。

Ｂｓ ＝ Ｄｓ×Ｄｌ×Ｆｒ ・・・（式Ａ）
ステップＳ１１０３では、ＣＰＵ３１１はＲＡＭ３１３内に確保されているバッファ領域のサイズ変更が必要か否かを判断する。つまり、Ｓ１１０２で導出したＢｓが、現在のバッファ領域のサイズよりも大きいか否かを判断する。大きい場合はステップＳ１１０４に進み、小さい場合は調整動作処理は不要と判断され処理を終了する。

ステップＳ１１０４では、ＣＰＵ３１１はＲＡＭ３１３内に確保されているバッファ領域のサイズをＢｓ以上となるサイズに変更する。

なお、ここではＳ１１０３において、小さい場合については特に処理を行わなかったが、領域を減少させるよう動作してもよい。

＜バッファする静止画データのフレームレート調整動作＞
上記では、遅延時間に対応してバッファ領域のサイズを変更することにより、バッファする静止画データのフレームレートを維持しバッファ動作を行うよう構成した。しかしながら、バッファ容量は一般的には無制限に増加させることは出来ない。例えば本実施例においてはＲＡＭ３１３の容量を上限とする制限がある。そこで、バッファリングする静止画データのフレームレートを調整することにより、所定のバッファ領域のサイズを変更することなく遅延時間に相当する時間以上の撮影データをバッファリング可能とする動作について述べる。つまり、遅延時間に対してバッファ領域のサイズが不足している場合には、フレームレートを低下させることにより、バッファ可能な時間を増加させる。

図１２は、遅延時間に基づいたバッファリングのフレームレートの調整動作の処理フローを示す。

ステップＳ１２０１では、前述した遅延時間測定を行う。

ステップＳ１２０２では、ＣＰＵ３１１は得られた遅延時間に相当する静止画データのバッファを可能とするフレームレートを導出する。フレームレートは、たとえば、バッファリングのフレームレートをＦｒ（ｆｐｓ）、バッファ領域のサイズをＢｓ（ｂｙｔｅ）、静止画データ１フレームのデータサイズをＤｓ（ｂｙｔｅ）、測定された遅延時間をＤｌ（ｓｅｃ）とすると、以下の（式Ｂ）から導出されるＦｒ以下のフレームレートである必要がある。なお、ここで静止画データは圧縮画像である場合もあることから、データサイズは一定とは限らないため、余裕を考慮してデータサイズを決定することが望ましい。たとえば、最大のデータサイズに相当するデータサイズが代表値として用いられる。

Ｆｒ ＝ Ｂｓ／（Ｄｓ×Ｄｌ） ・・・（式Ｂ）
ステップＳ１２０３では、ＣＰＵ３１１はフレームレートの変更が必要か否かを判断する。つまり、Ｓ１２０２で導出したＦｒが、現在のフレームレートよりも小さい（つまり時間あたりのバッファ枚数が少ない）か否かを判断する。小さい場合はステップＳ１１０４に進み、大きい場合は調整動作処理は不要と判断され処理を終了する。

ステップＳ１２０４では、ＣＰＵ３１１は例えば図７のステップ７０７で行われる間引き処理を調整することにより、バッファリングのフレームレートをＦｒ以下となるよう変更する。

なお、上述した２つの調整動作（バッファ領域およびフレームレート）は独立して行ってもよいし組み合わせて行ってもよい。

以上、カメラ部とビューア部が別体構成である無線通信カメラの遠隔撮影において、カメラ部とビューア部が上述した遅延時間測定を行い、カメラ部がバッファリングに係る調整動作を行うことにより、遅延時間に相当する静止画データを確実にバッファリング可能とさせる技術を提供することができる。

実施形態に係る無線通信カメラ１００の外観図である。 無線通信カメラ１００を用いた遠隔撮影のためのネットワーク構成の図である。 カメラ部１０１に係る例示的な内部構成のブロック図である。 ビューア部１０２に係る例示的な内部構成のブロック図である。 カメラ部１０１とビューア部１０２との例示的な動作を示す図である。 第１実施形態に係るファインダ画像表示状態におけるカメラ部１０１の動作フローチャートである。 第１実施形態に係る撮影準備状態におけるカメラ部１０１の動作フローチャートである。 リングバッファの動作を示す図である。 遠隔撮影における遅延時間を表す模式図である。 第２実施形態に係る遅延時間測定の処理フローである。 第２実施形態に係る遅延時間に基づいたバッファ領域サイズの調整動作の処理フローである。 第２実施形態に係る遅延時間に基づいたバッファリングのフレームレートの調整動作の処理フローである。

Claims (11)

1. 画像を撮像する撮像装置と、
   前記撮像装置とは別体であって、該撮像装置で撮像された画像を表示する表示装置と、
   を用いた撮像方法であって、
   前記撮像装置が、画像を連続的に撮像し、前記表示装置に表示させるための表示用画像データと、記憶保存するための記憶用画像データとを連続的に生成する工程と、
   前記撮像装置が、前記記憶用画像データと、その記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけてバッファに対し連続的に一時記憶する工程と、
   前記撮像装置が、前記表示用画像データと、その表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に前記表示装置に送信する工程と、
   前記表示装置が、前記撮像装置から受信した前記表示用画像データに基づいた画像を表示している状態で撮像指示を受け付ける工程と、
   前記表示装置が、前記撮像指示を受け付けた時点で前記表示装置に表示されていた画像を特定し、該画像を撮像したタイミングを示すタイミングデータを、前記撮像装置に送信する工程と、
   前記撮像装置が、前記表示装置からタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを前記バッファから読出して、画像保管手段に記憶する工程と、
   を有することを特徴とする撮像方法。
2. 前記撮像装置と前記表示装置とは無線通信を用いて相互に通信が可能であることを特徴とする請求項１に記載の撮像方法。
3. 前記タイミングデータは、前記表示用画像データの撮影累積番号であることを特徴とする請求項１または請求項２に記載の撮像方法。
4. 前記タイミングデータは、前記表示用画像データの撮影されたタイムスタンプであることを特徴とする請求項１または請求項２に記載の撮像方法。
5. 前記記憶用画像データを一時記憶する工程は、前記表示装置の有するシャッターボタンの半押し操作をトリガとして開始され、
   前記タイミングデータを撮像装置に送信する工程は、前記表示装置の有するシャッターボタンの全押し操作をトリガとしてなされることを特徴とする請求項１乃至請求項４に記載の撮像方法。
6. 前記バッファは、リングバッファであることを特徴とする請求項１乃至請求項５に記載の撮像方法。
7. 前記画像保管手段に記憶する工程において、受信したタイミングデータに一致する記憶用画像データが前記バッファに存在しない場合、該タイミングデータに最も類似する記憶用画像データを該バッファから読出して保管手段に記憶することを特徴とする請求項１乃至請求項６に記載の撮像方法。
8. 前記撮像指示を受け付けた時点で前記表示装置に表示されていた画像が撮像された時点から、該撮像指示により撮像が行われる時点までの遅延時間を測定する遅延時間測定工程と、
   測定した前記遅延時間の情報を用いて、前記バッファのサイズを設定するバッファサイズ設定工程と、
   をさらに有することを特徴とする請求項１乃至請求項７に記載の撮像方法。
9. 測定した前記遅延時間の情報を用いて、前記バッファに前記記憶用画像データを一時記憶するフレームレートを設定するフレームレート設定工程をさらに有することを特徴とする請求項８に記載の撮像方法。
10. 画像を撮像する撮像装置と、
    前記撮像装置とは別体であって、該撮像装置で撮像された画像を表示する表示装置と、
    を備えた撮像システムであって、
    前記撮像装置は、
    画像を連続的に撮像し、前記表示装置に表示させるための表示用画像データと、記憶保存するための記憶用画像データとを連続的に生成する生成手段と、
    前記記憶用画像データと、その記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に一時記憶する一時記憶手段と、
    前記表示用画像データと、その表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に前記表示装置に送信する第１送信手段と、
    を有し、
    前記表示装置は、
    前記送信手段によって送信された前記表示用画像データを受信し、受信した前記表示用画像データに基づいた画像を表示する表示手段と、
    撮像指示を受け付ける受付手段と、
    前記受付手段が前記撮像指示を受け付けた時点で前記表示手段に表示されていた画像を特定し、該画像の表示用画像データから、その表示用画像データを撮像したタイミングを示すタイミングデータを導き出し、該タイミングデータを、前記撮像装置に送信する第２送信手段と、
    を有し、
    前記撮像装置は、更に、
    前記第２送信手段からタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを前記一時記憶手段から読出す画像読出手段と、
    前記画像読出手段によって読出された記憶用画像データを記憶する画像保管手段と、
    を有することを特徴とする撮像システム。
11. 撮像装置であって、
    該撮像装置とは別体であり前記撮像装置で撮像された画像を表示する表示装置と通信する通信手段と、
    画像を連続的に撮像し、前記表示装置に表示させるための表示用画像データと、記憶保存するための記憶用画像データとを連続的に生成する生成手段と、
    前記記憶用画像データと、その記憶用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に一時記憶する一時記憶手段と、
    前記表示用画像データと、その表示用画像データを撮像したタイミングを示すタイミングデータとを関連づけて連続的に前記表示装置に送信する第１送信手段と、
    前記表示装置における表示用画像データを撮像したタイミングを示すタイミングデータを受信し、受信したタイミングデータに対応する記憶用画像データを前記一時記憶手段から読出す画像読出手段と、
    前記画像読出手段によって読出された記憶用画像データを記憶する画像保管手段と、
    を有することを特徴とする撮像装置。

Images