JP2017118427A - 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法 - Google Patents

Abstract

【課題】 タイムラプス撮影の撮影途中において、パラメータの変更作業を容易にすると共に変更したパラメータを反映させた画像処理を実行させることにより、ユーザが希望する撮影画像を簡単に得る。【解決手段】 情報端末装置は、被写体を所定の時間間隔で撮像して撮像画像を得る撮像装置との間で通信を行う通信部と、上記通信部を介して上記撮像装置から送信された上記撮像画像に対する画像処理によってシミュレーション画像を生成する信号処理部と、上記信号処理部による上記シミュレーション画像の生成結果を上記撮像画像に反映させる画像処理用パラメータを上記通信部を介して上記撮像装置に伝送する制御部とを具備する。【選択図】図１

Description

本発明は、タイムラプス撮影の制御が可能な情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては様々な画像処理を楽しめるようにしたものが多い。

また、撮影機器においては、撮影機能を合わせた画像処理も進化しており、露出を変化させながら複数枚の写真を撮影して合成することで、ダイナミックレンジを拡大し、白飛びや黒つぶれを抑制するハイダイナミックレンジ（ＨＤＲ）撮影が可能な撮影機器も商品化されている。また、複数枚合成では超解像や深度合成の技術も知られている。

また、例えば、特許文献１においては、所定の時間間隔で画像を連続的に撮影し、撮影時間よりも短い再生時間の動画を生成するタイムラプス撮影が可能な装置も開示されている。特許文献１の装置においては、タイムラプス撮影のパラメータと、当該撮影パラメータで撮影されたタイムラプス動画の再生に係る再生パラメータとを、各々独立に設定することができるようになっている。

例えば、タイムラプス撮影は、三脚に固定したカメラで１日の風景を撮影して風景の変化を短時間で観察したり、ウェアラブルカメラを装着した人物が街を歩きながら撮影して街の様子を短時間で観察したりするなど、様々な利用法が考えられる。

特開２０１５−５３６７０号公報

しかしながら、タイムラプス撮影は、長時間に亘って行われることから、撮影開始時点において撮影パラメータ等の各種パラメータを最適な設定値に設定することができるとは限らない。しかし、タイムラプス撮影の撮影途中において、カメラを操作してパラメータの変更を行う作業は比較的困難な場合がある。また、ウェアラブルカメラによりタイムラプス撮影を行っている場合には、撮影途中でパラメータを変更することは極めて困難な場合がある。
そこで、タイムラプス撮影の終了後における画像処理によって、最適な再生画像を得る方法が考えられる。しかしながら、長時間に亘るタイムラプス撮影では、撮影される画像の枚数は膨大であり、画像処理に長時間を要してしまう。特に、ＨＤＲ等の画像処理は、複雑な画像処理を含んでおり、手間がかかる。

本発明は、タイムラプス撮影の撮影途中において、パラメータの変更作業を容易にすると共に変更したパラメータを反映させた画像処理を実行させることにより、ユーザが希望する撮影画像を簡単に得ることができる情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法を提供することを目的とする。

本発明に係る情報端末装置は、被写体を所定の時間間隔で撮像して撮像画像を得る撮像装置との間で通信を行う通信部と、上記通信部を介して上記撮像装置から送信された上記撮像画像に対する画像処理によってシミュレーション画像を生成する信号処理部と、上記信号処理部による上記シミュレーション画像の生成結果を上記撮像画像に反映させる画像処理用パラメータを上記通信部を介して上記撮像装置に伝送する制御部とを具備する。

また、本発明に係る撮像装置は、被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像部と、上記撮像部によって得た画像に対する画像処理によって撮像画像を得る信号処理部と、上記撮像画像を情報端末装置に送信する通信部と、上記通信部によって上記情報端末装置から上記信号処理部の上記撮像画像に対する画像処理に用いるパラメータが受信されると、受信されたパラメータを上記タイムラプス撮影に適用して上記信号処理部に画像処理を実行させる制御部とを具備する。

また、本発明に係る画像情報処理システムは、被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像部と、上記撮像部によって得た画像に対する画像処理によって撮像画像を得る第１の信号処理部と、第１の制御部に制御されて、上記撮像画像を情報端末装置に送信する第１の通信部と、上記第１の通信部との間で通信を行い、上記撮像画像を受信する第２の通信部と、上記第２の通信部を介して受信した上記撮像画像に対する画像処理によってシミュレーション画像を生成する第２の信号処理部と、上記第２の信号処理部が上記シミュレーション画像の生成に用いたパラメータを上記第２の通信部を介して上記第１の通信部に送信する第２の制御部とを具備し、上記第１の制御部は、上記第１の通信部によって受信した上記パラメータを適用して上記第１の信号処理部に画像処理を実行させる。

また、本発明に係る画像情報処理方法は、被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像装置によって得た撮像画像を受信する手順と、受信した上記撮像画像に対する画像処理によってシミュレーション画像を生成する手順と、上記シミュレーション画像の生成結果を上記撮像画像に反映させる画像処理用パラメータを上記撮像装置に伝送する手順とを具備する。

本発明によれば、タイムラプス撮影の撮影途中において、撮影終了までの時間を有効利用してユーザが希望する撮影画像を簡単に得ることができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置及び情報端末装置により構成される画像情報処理システムの回路構成を示すブロック図。 撮像装置の動作を示すフローチャート。 情報端末装置の動作を示すフローチャート。 情報端末装置の表示画面上に表示される画像の一例を示す説明図。 情報端末装置の表示画面上に表示される画像の一例を示す説明図。 情報端末装置の表示画面上に表示される画像の一例を示す説明図。 情報端末装置の表示画面上に表示される画像の一例を示す説明図。 情報端末装置の表示画面上に表示される画像の一例を示す説明図。 ＨＤＲ処理の動作を説明するためのフローチャート。 ＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図。 ＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図。 ＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図。 ＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図。 ＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図。 本実施の形態の処理のタイミングを説明するための説明図。 本発明の第２の実施の形態を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置及び情報端末装置により構成される画像情報処理システムの回路構成を示すブロック図である。

本実施の形態における情報端末装置は、撮像部において取得された画像が転送されてユーザ操作に基づいて当該画像を得るためのパラメータの調整を可能にすると共に、調整後の画像の提示を行うことで、ユーザが簡単に希望する画像を取得することを可能にする。また、本実施の形態は、撮像部において情報端末装置からのパラメータの設定を適宜実施することで、タイムラプス撮影終了時点において、ユーザが希望する画像を取得することができる画像情報処理システムを得るものである。

図１において、本実施の形態における画像情報処理システム１は、撮像装置１０及び情報端末装置２０によって構成される。撮像装置１０は、例えばデジタルカメラ等の撮影機器によって構成することができる。撮像装置１０はＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２を有している。撮像部１２には、図示しないレンズが設けられており、レンズを介して被写体光学像が導かれるようになっている。このレンズとしては、ズームやフォーカシングの機能を備えたものであってもよい。撮像部１２は撮像素子によって被写体光学像を電気信号に変換して撮像信号を得る。

撮像装置１０には制御部１１が設けられており、制御部１１は、撮像装置１０の各部を制御する。制御部１１は、図示しないＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよい。撮像装置１０は、撮像装置１０の筐体に設けられた図示しないシャッターボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部１９を有している。操作部１９はユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１９からの操作信号に基づいて、フォーカス信号及びズーム信号を発生して、撮像部１２のレンズを駆動してズーミング、フォーカシング等を行うことができるようになっている。

また、制御部１１は、撮像部１２に撮像素子の駆動信号を出力してシャッタースピード、露光時間等を制御することができる。このように、制御部１１は、レンズや撮像素子を制御して、撮影時の露出を調整することができるようになっている。

また、制御部１１は、撮像部１２を制御して、所定の時間間隔で撮影を行い、撮影時間よりも短い時間で再生を行うタイムラプス撮影を行うこともできるようになっている。

制御部１１は、撮像部１２からの撮影画像を読み出して、信号処理部１８に供給することができる。信号処理部１８は、読み出された撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

また、制御部１１は、撮像部１２及び信号処理部１８を制御して、露出を変更しながら複数枚の撮影を行い、所定のパラメータに従った撮像画像を選択して合成することで、ダイナミックレンジを拡大するＨＤＲ撮影を行うこともできるようになっている。

撮像装置１０には、通信部１６が設けられている。また、情報端末装置２０にも通信部２２が設けられている。通信部１６は、通信制御部１７に制御されて、所定の伝送路を介して情報端末装置２０の通信部２２との間で情報の送受を行う。制御部１１は、情報端末装置２０から通信部１６を介してコマンドやパラメータが転送されて、転送されたコマンドやパラメータに従って各部を制御することができるようになっている。

通信制御部１７は、制御部１１に制御されて、撮像装置１０によって撮像した画像を通信部１６を介して情報端末装置２０の通信部２２に送信することができるようになっている。

撮像装置１０には記録部１４及び仮記録部１５が設けられている。制御部１１は、信号処理部１８によって信号処理された撮像画像を記録部１４又は仮記録部１５に与えて記録することができる。例えば、制御部１１は、通常撮影モードにおいて取得した撮像画像については記録部１４に与えて記録することができる。また、制御部１１は、タイムラプス撮影モードにおいて、取得した撮像部１２からの撮像画像及びＨＤＲ等の画像処理後の画像（以下、処理画像という）については仮記録部１５に与えて仮記録することができるようになっている。

なお、画像処理は、ＨＤＲに限る必要はなく、各種特殊効果処理にも本願は適応可能であり、撮影後の処理が複雑な、複数枚の撮影結果を使って行う画像処理には３Ｄ化や、画素の位置を変えながら画像の情報量を増やす合成を行う超解像処理、ピント位置を変えながら得られた各部にピントの合った画像を利用し、ピントの合った画像を合成する深度合成処理、比較明合成処理など多岐にわたる処理があり、本願発明を有効に適用できるものである。ＨＤＲは、撮像時に露出条件をリアルタイムで切り換える等の処理が加わるので、効果が顕著であるという特徴はある。もちろん、露出条件を変えずに、合成の仕方だけを変えても良い。これらの一切の画像処理に対して有効な技術である。

なお、撮像装置１０は収音部１３を備えている。収音部１３は、図示しないマイクロフォン等によって構成されて、周囲の音を音声信号に変換して信号処理部１８に出力することができるようになっている。信号処理部１８は収音部１３からの音声信号に対して所定の信号処理を施した後、記録部１４及び仮記録部１５に与えることができる。制御部１１は、収音された音声を、対応するタイミングで取得された撮像画像に対応させて記録することができるようになっている。

情報端末装置２０は、スマートフォンやタブレットＰＣ等によって構成することができる。情報端末装置２０は、制御部２１を有しており、制御部２１は、情報端末装置２０の各部を制御する。制御部２１は、図示しないＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよい。情報端末装置２０には、情報端末装置２０の筐体に設けられた図示しないスイッチ等を含む操作部２３を有している。なお、操作部２３は、制御部２１が実行するプログラムによって得られるソフトウェアキーボード等によって構成することもでき、また、後述する表示部２７に設けられた図示しないタッチパネル等によって構成することもできる。

操作部２３はユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部２１に出力する。制御部２１は、操作部２３からの操作信号に基づいて、各部を制御する。

情報端末装置２０には、記録部２４が設けられており、記録部２４は、制御部２１から与えられた情報を記録することができるようになっている。また、情報端末装置２０には、表示制御部２６が設けられている。表示制御部２６は、表示に関する各種処理を実行する。

本実施の形態においては、情報端末装置２０には信号処理部２５が設けられている。信号処理部２５は制御部２１に制御されて、各種信号処理を実行する。例えば、信号処理部２５は、撮像装置１０の撮影時の撮影パラメータを変更した場合に撮像部１２によって得られる画像及び当該画像に対する撮像装置１０の信号処理部１８の処理と同様の処理を実行することが可能である。即ち、信号処理部２５は撮像装置１０によって撮影パラメータや画像処理のパラメータを適宜設定して得られる画像と同様の画像（以下、シミュレーション画像という）を得ることができるようになっている。

制御部２１は、シミュレーション画像の元となる画像（以下、元画像という）として、撮像装置１０によって取得した画像を用いる。制御部２１は、通信部１６，２２を介して、撮像装置１０の信号処理部１８から出力された撮像画像を受信し、当該撮像画像を元画像として信号処理部２５に与える。信号処理部２５は、元画像に対して各種パラメータを用いた画像処理によって、シミュレーション画像を生成する。制御部２１は、元画像として、撮像装置１０によって得られるスルー画を用いてもよく、また、記録部１４又は仮記録部１５に記録された画像を用いてもよい。

制御部２１は、表示制御部２６を制御して、信号処理部２５の信号処理後の画像を表示部２７に与えることができる。表示部２７は、ＬＣＤ等の表示画面を有しており、表示制御部２６から与えられた画像を表示する。また、表示制御部２６は、各種メニュー表示等をこれらの表示画面に表示させることもできるようになっている。

表示部２７の表示画面上には、操作部２３としてのタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２１に供給される。これにより、制御部２１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

例えば、制御部２１は表示制御部２６を制御して、シミュレーション画像を表示部２７の表示画面上に表示させると共に、当該シミュレーション画像を希望の画像に変更するために、撮像装置１０の撮影及び画像処理に用いる各種パラメータを調整するための調整表示を表示させることができる。

制御部２１は、調整表示に対するユーザ操作によるパラメータの設定値を信号処理部２５に設定する。信号処理部２５は、ユーザ操作に基づくパラメータを用いてシミュレーション画像を生成する。これにより、ユーザはそれを見ながら、シミュレーション画像をユーザが希望する画像に変更することができるようになっている。つまり、目視でユーザの好みに合わせられる。

制御部２１は、ユーザが希望するシミュレーション画像を得るための必要な各種パラメータを通信部２２を介して撮像装置１０に送信することができるようになっている。撮像装置１０の制御部１１は、通信部１６を介して撮影パラメータや信号処理のパラメータが与えられると、当該パラメータを記録部１４に記録すると共に、当該パラメータに従った撮影及び信号処理を実施させる。

制御部１１は、例えばタイムラプス撮影時においては、情報端末装置２０から指定された撮影パラメータで以後撮影を行うと共に、信号処理部１８に対して、当該指定されたパラメータを設定する。更に、制御部１１は、当該パラメータを撮影開始時に遡って適用する。即ち、制御部１１は、情報端末装置２０からパラメータが指定されると、タイムラプス撮影開始以降に仮記録部１５に記録されている撮像画像を読み出して、指定された信号処理パラメータを用いて画像処理を行う。例えば、ＨＤＲ画像処理については、指定されたパラメータに従って撮影の開始時に遡って合成する画像の選択を行って、合成後の画像（以下、ＨＤＲ画像という）を生成する。

制御部１１は、生成した一連のＨＤＲ画像についても、仮記録部１５に記録するようになっている。制御部１１は、タイムラプス撮影が終了するまで情報端末装置２０からのパラメータの変更を受け付け、タイムラプス撮影が終了した段階で、仮記録部１５に記録されている一連のＨＤＲ画像を記録部１４に与えて記録するようになっている。

次に、このように構成された実施の形態の動作について図２乃至図７を参照して説明する。図２及び図３はそれぞれ撮像装置１０又は情報端末装置２０の動作を示すフローチャートである。図４Ａ〜図４Ｅは情報端末装置２０の表示画面上に表示される画像の一例を示す説明図である。また、図５はＨＤＲ処理の動作を説明するためのフローチャートであり、図６Ａ〜図６ＥはＨＤＲ処理によって得られるＨＤＲ画像を説明するための説明図である。図７は本実施の形態の処理のタイミングを説明するための説明図である。

図３のステップＳ３１において、情報端末装置２０の制御部２１は、表示制御部２６を制御して機能選択表示を表示させる。図４Ａは表示部２７の表示画面２７ａに表示される機能選択表示の一例を示している。図４Ａの例では表示画面２７ａ上には、その他の機能を選択するための選択ボタン３１ａ、外部カメラ機能を選択するための選択ボタン３１ｂ、メール機能を選択するための選択ボタン３１ｃ及び電話機能を選択するための選択ボタン３１ｄが表示されている。

ここで、ユーザが選択ボタン３１ｂ上をタッチ操作して、外部カメラ機能を選択するものとする。制御部２１はステップＳ３２において外部カメラ機能が選択されているか否かを判定している。制御部２１は、外部カメラ機能が選択されていない場合には、ステップＳ５１において、外部カメラからの要求の有無を判定し、要求が合った場合には、要求が別モードを起動させるものであるか否かを判定し（ステップＳ５２）、別モードを起動させる要求の場合には別モードを起動する（ステップＳ５３）。また、外部カメラからの要求がない場合には、ステップＳ５４において外部カメラからの画像を受信し、受信画像を表示する（ステップＳ５５）。

制御部２１は、外部カメラ機能が選択されると、処理をステップＳ３２からステップＳ３３に移行して、既に外部カメラが指定されているか否かを判定する。外部カメラが指定されていない場合には、ステップＳＳ３４において、無線接続の設定、ＩＤ、パスワード設定等のカメラの指定操作を受け付け、指定された情報を記録部２４に記録する。

制御部２１は、ステップＳ３３において既に外部カメラが指定されているものと判定した場合には、ステップＳ３５において、通信部２２に撮像装置１０の通信部１６との通信を確立させて外部カメラである撮像装置１０にアクセスする。

一方、撮像装置１０の制御部１１は、ステップＳ１において、通信の待機状態である。制御部１１は、ステップＳ２において、電源オフ通信が発生したか否かを判定する。制御部１１は、電源オフ通信があった場合には、ステップＳ３において電源をオフにしてステップＳ１に処理を戻す。

制御部１１は、ステップＳ４において、スルー画送信の相手先が設定済みであるか否かを判定する。設定済みの場合には、通信の相手先に、スルー画を送信する（ステップＳ１０）。即ち、制御部１１は、撮像部１２によって取得された撮像信号を信号処理部１８に与え、信号処理後の撮像画像をスルー画として通信部１６から情報端末装置２０に送信する。情報端末装置２０の制御部２１は、ステップＳ３６において通信が確立したことを判定すると、ステップＳ３８において、通信部２２によりスルー画を受信する。そして、制御部２１は、通信部２２を介して受信したスルー画を表示制御部２６に与える（ステップＳ３９）。こうして、表示部２７の表示画面２７ａ上に、撮像装置１０によって取得されたスルー画が表示される。制御部２１は、ステップＳ３６において通信が確立していないと判定した場合には、所定時間経過後に警告表示等の警告を行う（ステップＳ３７）。

なお、制御部２１は、このスルー画をシミュレーション画像生成のための元画像として信号処理部２５に与えてもよい。しかし、既にシミュレーション画像の生成処理が行われている場合には、元画像を更新しない方がよい。そこで、制御部２１は、ステップＳ３９においてシミュレーション画像生成のためのパラメータ調整中であるか否かを判定し、パラメータ調整中でない場合には元画像を受信画像によって更新し（ステップＳ４１）、パラメータ調整中の場合には元画像を更新することなく処理をステップＳ４２に移行する。

撮像装置１０において、スルー画送信の相手が設定済みでない場合には、制御部１１は、ステップＳ５において、スルー画送信の相手先の設定操作が行われたか否かを判定する。制御部１１は、スルー画送信相手の設定操作が行われた場合には、ステップＳ６において設定手続きを行った後、設定情報を記録部１４に記録して（ステップＳ７）、処理をステップＳ１に戻す。

なお、撮像装置１０において、既にタイムラプス撮影が行われている場合には、ステップＳ５からステップＳ８を経由してステップＳ１４に処理を移行して、タイムラプス撮影を継続する。

撮像装置１０の制御部１１は、ステップＳ１１において、撮影制御用の通信が行われたか否かを判定する。情報端末装置２０からの撮影パラメータや画像処理のパラメータ等が受信された場合には、制御部１１は、ステップＳ１２において、撮影用モードの変更やパラメータの変更を行う。

ここで、ユーザがタイムラプス撮影の撮影操作を行うものとする。撮影操作は撮像装置１０の操作部１９だけでなく、情報端末装置２０の操作部２３によっても行うことができる。例えば、情報端末装置２０の制御部２１は、表示制御部２６を制御して、図４Ｂに示すモード選択画面を表示させることができる。図４Ｂの例では表示画面２７ａ上には、通信設定モードを選択するための選択ボタン３２ａ、通常撮影モードを選択するための選択ボタン３２ｂ、タイムラプス撮影モードを選択するための選択ボタン３２ｃ、再生モードを選択するための選択ボタン３２ｄ及び機能選択画面に戻るための戻るボタン３２ｅが表示されている。

ここで、ユーザが選択ボタン３２ｃ上をタッチ操作して、タイムラプス撮影モードを選択するものとする。そうすると、制御部２１は、通信部２２，１６を介してタイムラプス撮影の撮影指示を撮像装置１０の制御部１１に送信する。

制御部１１はステップＳ１３においてタイムラプス撮影の撮影指示があったか否かを判定しており、情報端末装置２０からのタイムラプス撮影の撮影指示によって処理をステップＳ１４に移行する。なお、タイムラプス撮影でなく通常撮影の指示があった場合には、通常撮影が行われる（図示省略）。制御部１１はステップＳ１４においてＨＤＲモードが指定されているか否かを判定する。

ここでは、説明しやすく、人気のある画像処理としてＨＤＲモードで説明するが、どのような合成モードや画像処理モードでも良い。目視確認が重要な、マニュアル操作をしたくなる、こだわりモードであれば有効である。

制御部１１は、ＨＤＲモード等が指定されていない場合には、ステップＳ１５において、設定された条件で撮影を行い、ＨＤＲモードが指定されている場合には、ステップＳ１６において、設定された複数条件で撮影を行う。即ち、ステップＳ１６では、設定された複数の露出条件での撮影が行われる。

本実施の形態においては、制御部１１は、タイムラプス撮影時には、撮像部１２によって取得され信号処理部１８によって信号処理された撮像画像は、タイムラプス撮影の撮影終了時までは仮記録部１５に与えて仮記録する。なお、制御部１１は、ＨＤＲモード時には、タイムラプス撮影の撮影終了まで、ＨＤＲ合成前の画像とＨＤＲ合成後の画像の両方を画像を仮記録部１５に記録する（ステップＳ１７）。

なお、本実施の形態においては、上述したように、タイムラプス撮影途中において情報端末装置２０から新たなパラメータが指定されると、この新たなパラメータを用いてＨＤＲ合成処理を行うようになっており、タイムラプス撮影の撮影終了時までは、ＨＤＲ合成前の画像を仮記録する必要がある。しかし、ＨＤＲ合成処理に要する処理時間等によっては、必ずしもＨＤＲ合成後の画像を仮記録しなくてもよい場合がある。

ここで、ユーザがタイムラプス撮影によって得られるＨＤＲ画像の出来映えを確認し、出来映えによってはＨＤＲ合成処理の設定を変更するものとする。本実施の形態においては、タイムラプス撮影の撮影途中における画像の確認及び設定変更は情報端末装置２０において行うことが可能である。情報端末装置２０の制御部２１は、ユーザ操作に基づいて、撮像装置１０によって得られる画像の確認及び設定変更のための設定メニュー画面を表示部２７の表示画面２７ａ上に表示させることができる。

図４Ｃは情報端末装置２０の表示画面２７ａに表示された設定メニュー画面を示している。図４Ｃの例では、表示画面２７ａ上には、設定メニュー画面であることを示す表示３３ａ、ＨＤＲ合成画像の確認及び設定変更を行うＨＤＲ確認モードを指定するための選択ボタン３３ｂ、撮影条件の設定変更を指定するための選択ボタン３３ｃ、撮影設定変更の開始を指定するための選択ボタン３３ｄが表示されている。ユーザが選択ボタン３３ｂに対する操作を行うことで、ＨＤＲ合成の画像の確認及び設定変更モードが指定される。

情報端末装置２０の制御部２１は、ステップＳ４２においてＨＤＲ確認モードが指定されたか否かを判定している。制御部２１は、ユーザがＨＤＲ確認モードを指定すると、処理をステップＳ４３に移行してＨＤＲ確認モードを実行する。ここで、「ＨＤＲ」を例として示したのは、分かりやすく説明しやすく、人気のあるモードであるからで、なおかつ、ユーザの好みを反映したくなる画像処理だからである。しかし、目視確認が重要な、マニュアル操作をしたくなる、画像処理ならば何でも良い。

図５は図３中のＨＤＲ確認モードの具体的な処理の一例を示している。ＨＤＲ確認モードにおいては、制御部２１はステップＳ６１において元画像として撮像画像を取得する。ＨＤＲ撮影時には、撮像装置１０の制御部１１は、露出が異なる複数枚の撮像画像を得ており、情報端末装置２０の制御部２１は、撮像装置１０によって撮像されたこれらの露出が異なる複数の撮像画像を取得する。なお、元画像としては、スルー画を用いてもよく、また、記録部１４又は仮記録部１５に記録されている撮像画像を用いてもよい。

制御部２１は、露出が異なる複数の撮像画像を表示部２７の表示画面２７ａに表示させる。そして、制御部２１は、ＨＤＲ画像を確認するために、ＨＤＲ効果確認ボタンを表示させる。

図４Ｄはこの場合における画面表示の一例を示している。図４Ｄでは、表示画面２７ａ上に、露出が異なる３枚の撮像画像３４ａ〜３４ｃが表示されている。また、図４Ｄでは、ＨＤＲ効果を確認するためのＨＤＲ効果確認ボタン３５ｂ、図４Ｃの表示に戻るための戻るボタン３５ｃ及び収音部１３による録音を行うための録音ボタン３５ａが表示された例を示している。

ここでユーザがＨＤＲ効果確認ボタン３５ｂの操作を行うものとする。そうすると、制御部２１は、表示制御部２６を制御して、ＨＤＲ画像を表示するＨＤＲ効果確認画面を表示させる。

図４ＥはこのＨＤＲ効果確認画面を示しており、表示画面２７ａ上には、ＨＤＲ効果確認表示３６、補正切換ボタン３７ａ及び採用ボタン３７ｂが表示されている。ユーザは、ＨＤＲ効果確認表示３６を参照して、ＨＤＲ画像が気に入らない場合には、ＨＤＲ画像の合成方法を変更するために、補正切換ボタン３７ａを操作する。

制御部２１はユーザによる補正切換ボタン３７ａの操作を検出すると、パラメータの設定変更を受け付ける。例えば、制御部２１は、表示画面２７ａ上に、ＨＤＲ合成に際してより明るい部分を重視するかより暗い部分を重視するかの選択ボタンを表示させる（図示省略）。

図６Ａ乃至図６Ｅは明るい部分を重視するＨＤＲ合成処理と暗い部分を重視するＨＤＲ合成処理を説明するためのものである。図６Ａ〜図６Ｃは同一画角の同一被写体についての露出値が異なる３枚の撮像画像４１ａ〜４１ｃを示している。図６Ａの画像４１ａは露出アンダーの例を示し、図６Ｂの画像４１ｂは露出ノーマルの例を示し、図６Ｃの画像４１ｃは露出オーバーの例を示している。

図６Ａ〜図６Ｃの撮像画像４１ａ〜４１ｃは、中央に山の画像４３と、山の手前の比較的暗い林の画像４４と山の後方の比較的明るい空の画像４２とを含んでいる。図６Ａの画像４１ａは露出アンダーであり、画像４１ａ中の暗い林の画像４４は黒つぶれしていることを示している。逆に、図６Ｃの画像４１ｃは露出オーバーであり、画像４１ｃ中の空の画像４３部分は白飛びしていることを示している。

ＨＤＲ撮影モードでは、露出値が異なる複数の撮像画像を合成する。図６Ｄは、適正露出以下（アンダー）の露出で撮像した図６Ａに示す撮像画像４１ａと、適正露出（ノーマル）で撮像した図６Ｂに示す撮像画像４１ｂとを合成した得たＨＤＲ画像４５ａを示している。即ち、このＨＤＲ画像４５ａは、明るい部分の空の画像４２の色を表現することが可能であり、明るい部分を重視した画像となっている。

一方、図６Ｅは、適正露出以上（オーバー）の露出で撮像した図６Ｃに示す撮像画像４１ｃと、適正露出（ノーマル）で撮像した図６Ｂに示す撮像画像４１ｂとを合成した得たＨＤＲ画像４５ｂを示している。即ち、このＨＤＲ画像４５ｂは、暗い部分の林の画像４４の色を表現することが可能であり、暗い部分を重視した画像となっている。

情報端末装置２０の制御部２１は、ステップＳ６２において、ユーザが明るい部分を重視した設定操作を行ったか否かを判定する。制御部２１は、ユーザが明るい部分を重視した設定操作を行った場合には、信号処理部２５を制御して明るい部分を重視したＨＤＲ合成処理を行って、シミュレーション画像を得る（ステップＳ６２）。例えば、撮像装置１０から図６Ａ〜図６Ｃの画像が転送された場合には、信号処理部２５は、図６Ａの撮像画像４１ａと図６Ｂの撮像画像４１ｂとをＨＤＲ合成処理してシミュレーション画像を得る。制御部２１は、シミュレーション画像を表示画面２７ａ上に表示させる。なお、シミュレーション画像は、図４ＥのＨＤＲ効果確認表示３６として表示画面２７ａ上に表示される。

また、制御部２１は、ステップＳ６４において、ユーザが暗い部分を重視した設定操作を行ったか否かを判定する。制御部２１は、ユーザが暗い部分を重視した設定操作を行った場合には、信号処理部２５を制御して暗い部分を重視したＨＤＲ合成処理を行って、シミュレーション画像を得る（ステップＳ６５）。例えば、撮像装置１０から図６Ａ〜図６Ｃの画像が転送された場合には、信号処理部２５は、図６Ｃの撮像画像４１ｃと図６Ｂの撮像画像４１ｂとをＨＤＲ合成処理してシミュレーション画像を得る。制御部２１は、シミュレーション画像を表示画面２７ａ上に表示させる。なお、シミュレーション画像は、図４ＥのＨＤＲ効果確認表示３６として表示画面２７ａ上に表示される。

制御部２１は、明るい部分を重視したシミュレーション画像と暗い部分を重視したシミュレーション画像とを比較のための表示画面２７ａ上に表示させるようにしてもよい（ステップＳ６６）。ユーザは表示画面２７ａ上の比較表示を参照して、希望するシミュレーション画像を選択することができる。更に、ユーザは、比較表示されているシミュレーション画像のいずれも気に入らない場合には、更に、調整を行うことも可能である。

制御部２１は、ユーザによるシミュレーション画像の選択操作を受け付け、ユーザが選択を希望しない場合には、さらなる合成方法の調整作業があるか否かを判定する（ステップＳ６８）。図６Ａ〜図６Ｅの例は、露出が異なる３枚の撮像画像からＨＤＲ合成画像を生成する例を示したが、ＨＤＲ合成に用いる撮像画像の枚数が多い場合には、ＨＤＲ合成に選択可能な撮像画像が増えて細かい調整が可能である。

ユーザがより明るい部分を重視する合成処理を希望する操作を行った場合には、制御部１１は信号処理部２５を制御して、よりアンダーで撮影した撮像画像をＨＤＲ合成に用いるよう制御し、この制御によるシミュレーション画像をＨＤＲ効果確認表示３６として表示画面２７ａ上に表示する（ステップＳ６９）。逆に、ユーザがより暗い部分を重視する合成処理を希望する操作を行った場合には、制御部１１は信号処理部２５を制御して、よりオーバーで撮影した撮像画像をＨＤＲ合成に用いるよう制御し、この制御によるシミュレーション画像をＨＤＲ効果確認表示３６として表示画面２７ａ上に表示する（ステップＳ６９）。

なお、図５の例では、明るい部分を重視する調整と暗い部分を重視する調整との一方の調整方法を選択する例を示したが、ＨＤＲ合成処理にどの画像を用いるかをユーザが直接指定するようになっていてもよい。

ユーザは、シミュレーション画像に満足すると、自分が設定したパラメータを採用するために採用ボタンを操作する。制御部２１は、ユーザによる採用ボタンの操作をパラメータの反映操作として検出し（ステップＳ７０）、処理をステップＳ７１に移行して、ユーザ操作によるパラメータ、即ちＨＤＲ合成処理の合成方法を記録部２４に記録する。

制御部２１は、ＨＤＲ確認モードにおいて、パラメータを設定する操作があったか否かを判定しており、ユーザによるパラメータ設定が行われた場合には、処理をステップＳ４４からステップＳ４５に移行して、パラメータの捜査結果を撮像装置１０に送信する。

なお、制御部２１は、ユーザによるパラメータ操作がない場合には、ステップＳ４６において撮影操作の有無を判定し、撮影操作があった場合には、撮影操作に応じて、撮影の開始又は終了等のコマンドを発生して、撮像装置１０に送信する（ステップＳ４７）。

撮像装置１０の制御部１１は、ステップＳ１８において録音指示の有無を判定しており、録音の指示が有った場合には、ステップＳ１９において収音部１３及び仮記録部１５を制御して、画像に関連付けた録音を行う。

制御部１１は、ステップＳ２０においてタイムラプス撮影の途中において、情報端末装置２０からパラメータが新たに設定された場合には、処理をステップＳ２１に移行して撮影の開始時に遡って設定を反映させる。即ち、制御部１１は、信号処理部１８を制御して、タイムラプス撮影の最初から指定されたパラメータに従ってＨＤＲ画像の合成処理を行う。

もちろん、これは、最初にこだわる必要はなく、任意の位置から反映させるようにしても良い。従って、本発明によって、被写体を所定の時間間隔で撮像した撮像画像を得る撮像装置との間で通信を行う通信部と、上記通信部を介して上記撮像装置から送信された上記撮像画像に対する画像処理によってシミュレーション画像を生成する信号処理部と、上記信号処理部が上記シミュレーション画像の生成結果を反映させた画像処理用パラメータを、上記通信部を介して上記撮像装置に伝送することを特徴する情報端末装置、またはその制御方法が提供でき、ユーザの好みを反映した絵作りによるタイムラプス撮影が簡単にできる。これは、撮像装置としては、被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像部と、上記撮像部によって得た画像に対する画像処理によって撮像画像を得る信号処理部と、上記撮像画像を情報端末装置に送信する通信部と、上記通信部によって上記情報端末装置から上記信号処理部の上記撮像画像に対する画像処理に用いるパラメータが受信されると、受信されたパラメータを上記タイムラプス撮影に適用して上記信号処理部に画像処理を実行させる制御部とを具備したことを特徴するものともいえる。

この画像処理用パラメータは、ＨＤＲで言えば、合成画像の数や露出差や、合成時の画像部分の選択用の露出量や像データの閾値や、合成時の像データのブレンドの比率など、数値化されたデータであればよく、各数値が、どの計算やプログラムで利用されるかを情報端末と撮像装置の間で取り決めを決めておけば良い。また、数値のみならず、処理の種類やモードなどを数値化して決めておいても良く、これをパラメータと呼んでも良い。また、パラメータとしては、適応する合成処理が深度合成の場合は、ピントの位置や位置差であったり、超解像の場合は、合成する枚数や、画素ずらし調整の量であったりしても良い。複数枚合成でなければ、単純に露出値や色調整値、コントラスト調整値などが、このパラメータに相当する。

なお、上記説明では、制御部１１は、タイムラプス撮影の途中においてパラメータの変更が発生した場合には、変更が生じた時点において、タイムラプス撮影の最初からＨＤＲ合成の合成方法をパラメータに従って変更するものと説明したが、タイムラプス撮影の終了後において、ＨＤＲ合成の合成方法を変更されたパラメータに従って変更して、タイムラプス撮影の最初からのＨＤＲ画像の生成処理を行うようにしてもよい。

パラメータが急に変わるのは不自然な場合は、それを滑らかに変化させることも可能である。つまり、設定パラメータが、初期の値から設定値に向かって少しずつ変わるようにすればそれが実現できる。これは、撮像装置の方で、例えば所定コマ数で、そのように切り替わるようにしても良いし、どのコマがどうなるかを、情報端末側が指示できるようにしても良い。つまり、上記パラメータ変更を、上記タイムラプス撮影の途中で段階的に適用させる制御部とを具備したことを特徴する情報端末装置、方法、または、撮像装置、方法として、本実施例の装置、方法を捉えることも可能である。撮像装置や、その制御方法の特徴の１つとして、上記パラメータを、受信時点より前の撮影結果に適用できる点、或いは上記パラメータを、時間の経過と共に順次変化させる点を挙げることができる。

図７は本実施の形態における、ＨＤＲ合成によるタイムラプス撮影のタイミングを示している。ＨＤＲ撮影においては、露出が異なる複数回の撮影が行われる。図７の例は、ノーマル、アンダー及びオーバーの３つの露出で時分割に撮像が行われる例を示している。これらの３回の撮影が行われると、制御部１１は、これらの３つの露出の撮像画像を用いたＨＤＲ処理によって、ＨＤＲ画像を得る。タイムラプス撮影によって得られた画像を動画化すると、図７に示すように、タイムラプス撮影に要した時間よりも短い時間で再生可能である。

ここで、ユーザはタイムラプス撮影におけるＨＤＲ画像の確認を行うものとする。ユーザはＨＤＲ画像の確認を行った後、パラメータの設定操作を行う。この新たなパラメータは撮像装置１０の制御部１１に与えられて、制御部１１は、新たなパラメータを用いたＨＤＲ合成処理を信号処理部１８に指示する。信号処理部１８は、タイムラプス撮影の開始時に遡ってＨＤＲ再合成処理を行う。図７の期間Ｔ１はこのＨＤＲ再合成処理の処理期間を示しており、通常のＨＤＲ合成処理の処理期間Ｔよりも長い期間となる。しかし、タイムラプス撮影の終了時点において、既にユーザが設定した新たなパラメータに基づくＨＤＲ合成が行われており、タイムラプス撮影の撮影直後において、ユーザが希望するＨＤＲタイムラプス撮影画像を得ることができる。

このように本実施の形態においては、タイムラプス撮影の撮影途中において、パラメータの変更作業を容易にすると共に変更したパラメータを反映させた画像処理を実行させることにより、ユーザが希望する撮影画像を簡単に得ることができる。

撮像装置の撮影状態を変化させることなく、撮像装置に無線等によって接続された情報端末装置によって、タイムラプス撮影の撮影結果であるＨＤＲ画像を確認すると共に、合成画像を得るパラメータの設定変更を行うことができる。これにより、タイムラプス撮影の撮影途中において、タイムラプス撮影に影響を与えることなく、ユーザが希望する画像を得ることができる。また、撮像装置は、新たなパラメータが設定されると、タイムラプス撮影の撮影開始時に遡ってパラメータを反映させた撮像画像を得るようになっており、タイムラプス撮影の撮影修了直後において、ユーザが希望する画像を得ることができる。
（第２の実施の形態）
図８は本発明の第２の実施の形態を示す説明図である。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

タイムラプス撮影においては、記録時間と再生時間とが異なることから、タイムラプス撮影時に収音した音声もリアルタイムで再生されず、再生音声は実際の音声よりも短い時間で再生されて、聞き取れないものとなることがある。本実施の形態は、タイムラプス撮影において収音した音声を、リアルタイムに再生するものである。

撮像装置１０の制御部１１は、収音部１３の音声については、タイムラプス撮影した画像の再生時間に合わせた複数の撮像画像に対応させて記録を行う。図８はこの場合の記録を説明するものである。図８の例は、ノーマル、アンダー及びオーバーの３種類の露出でタイムラプス撮影を行う例を示している。このタイムラプス撮影の途中の期間Ｔ２において収音が行われるものとする。

制御部１１は、タイムラプス撮影した画像の撮影時間に対応する再生時間との関係に基づいて、収音した音声信号を割り当てる撮像画像の数を決定する。例えば、制御部１１は、タイムラプス撮影した画像の再生時間が記録時間の１／１０である場合には、収音期間Ｔ１の１０倍の期間に撮影された撮像画像に収音した音声信号を割り当てるようになっている。

図８の再生時における時間のタイミングに示すように、再生時には、撮像画像は記録時間よりも短い時間で再生されるのに対し、収音された音声は実時間で再生される。なお、音声を収音する時間と当該音声を再生する時間とを必ずしも同一にする必要はなく、再生時に音声が十分に聞き取れれば、記録時間と再生時間とが異なっていてもよい。

このように本実施の形態においては、 第１の実施の形態と同様の効果が得られると共に、タイムラプス撮影においても、収音した音声をリアルタイムに再生することができ、再生時に違和感を感じることなく音声を聞くことができる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

例えば、ユーザの好みの画像を得るためのシステムとして、民生用の撮像システムに限るものではなく、ユーザが観察したり、診断したり、診察したりするための画像を得るためのシステムにも応用が可能である。ユーザの好みの画像を得るための処理は、レポートやエビデンス用の画像に対する調整処理と表現しても良い。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の情報端末装置、撮像装置及び画像情報処理システムを実現することができる。

１…画像情報処理システム、１０…撮像装置、１１，２１…制御部、１２…撮像部、１３…収音部、１４，２４…記録部、１５…仮記録部、１６，２２…通信部、１７…通信制御部、１８，２５…信号処理部、１９，２３…操作部、２６…表示制御部、２７…表示部。

Claims (12)

1. 被写体を所定の時間間隔で撮像して撮像画像を得る撮像装置との間で通信を行う通信部と、
   上記通信部を介して上記撮像装置から送信された上記撮像画像に対する画像処理によってシミュレーション画像を生成する信号処理部と、
   上記信号処理部による上記シミュレーション画像の生成結果を上記撮像画像に反映させる画像処理用パラメータを上記通信部を介して上記撮像装置に伝送する制御部と
   を具備したことを特徴する情報端末装置。
2. 上記制御部は、上記撮像装置に対して、上記撮像装置が上記画像処理用パラメータを受信した以前に上記撮像装置がタイムラプス撮影によって取得した画像に遡って上記画像処理用パラメータを適用させる制御を行う
   ことを特徴とする請求項１に記載の情報端末装置。
3. 上記制御部は、上記撮像装置に対して、上記撮像装置が受信した上記画像処理用パラメータを上記撮像装置によるタイムラプス撮影の途中で段階的に適用させる制御を行う
   ことを特徴とする請求項１に記載の情報端末装置。
4. 上記シミュレーション画像を表示するための表示制御部と、
   上記画像処理用パラメータの設定操作を受け付ける操作部とを具備し、
   上記信号処理部は、上記画像処理用パラメータの設定操作に基づいてシミュレーション画像を更新する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の情報端末装置。
5. 上記撮像装置によって行われる画像処理及び上記信号処理部によって行われる画像処理は、ＨＤＲ合成処理、深度合成処理及び超解像処理の少なくとも１つである
   ことを特徴とする請求項１乃至４のいずれか１つに記載の情報端末装置。
6. 被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像部と、
   上記撮像部によって得た画像に対する画像処理によって撮像画像を得る信号処理部と、
   上記撮像画像を情報端末装置に送信する通信部と、
   上記通信部によって上記情報端末装置から上記信号処理部の上記撮像画像に対する画像処理に用いるパラメータが受信されると、受信されたパラメータを上記タイムラプス撮影に適用して上記信号処理部に画像処理を実行させる制御部と
   を具備したことを特徴する撮像装置。
7. 上記制御部は、上記パラメータを受信した以前に上記撮像部の撮影によって取得した画像に遡って上記パラメータを適用させる制御を行う
   ことを特徴とする請求項６に記載の撮像装置。
8. 上記制御部は、受信した上記パラメータを上記撮像部の撮影によって取得した画像に対して段階的に適用させる制御を行う
   ことを特徴とする請求項６に記載の撮像装置。
9. 上記信号処理部によって行われる画像処理は、ＨＤＲ合成処理、深度合成処理及び超解像処理の少なくとも１つである
   ことを特徴とする請求項６乃至８のいずれか１つに記載の撮像装置。
10. 被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像部と、
    上記撮像部によって得た画像に対する画像処理によって撮像画像を得る第１の信号処理部と、
    第１の制御部に制御されて、上記撮像画像を情報端末装置に送信する第１の通信部と、
    上記第１の通信部との間で通信を行い、上記撮像画像を受信する第２の通信部と、
    上記第２の通信部を介して受信した上記撮像画像に対する画像処理によってシミュレーション画像を生成する第２の信号処理部と、
    上記第２の信号処理部が上記シミュレーション画像の生成に用いたパラメータを上記第２の通信部を介して上記第１の通信部に送信する第２の制御部とを具備し、
    上記第１の制御部は、上記第１の通信部によって受信した上記パラメータを適用して上記第１の信号処理部に画像処理を実行させる
    ことを特徴する画像情報処理システム。
11. 上記第１及び第２の信号処理部における画像処理は、ＨＤＲ合成処理、深度合成処理及び超解像処理の少なくとも１つである
    ことを特徴する請求項１０に記載の画像情報処理システム。
12. 被写体を所定の時間間隔で撮像するタイムラプス撮影が可能な撮像装置によって得た撮像画像を受信する手順と、
    受信した上記撮像画像に対する画像処理によってシミュレーション画像を生成する手順と、
    上記シミュレーション画像の生成結果を上記撮像画像に反映させる画像処理用パラメータを上記撮像装置に伝送する手順と
    を具備したことを特徴する画像情報処理方法。