JP2019110366A - オーバーレイ表示制御可能な撮影装置 - Google Patents

Abstract

【課題】リモートライブビュー表示画面に参照画像をオーバーレイ表示しながら構図合わせを正確に行う場合、構図の追い込み作業においても構図合わせを迅速に行えるための方法を提供する。【解決手段】ライブビュー画像を画面に表示する第１の表示手段と、オーバーレイ画像をライブビュー画像に重ねて、オーバーレイ画像を画面に表示する第２の表示手段と、オーバーレイ画像に対して画像加工処理を施すか否かを検知する検知手段を備え、第２の表示手段は、検知手段にしたがってオーバーレイ画像とライブビュー画像の合成の際にオーバーレイ画像に対して画像加工処理を施す。【選択図】図４

Description

本発明は、リモート制御でのライブビュー表示可能な撮影装置に関し、特にリモートライブビュー撮影時のオーバーレイ表示制御に関するものである。

従来、商品撮影などの静物撮影において、コンピュータとデジタルカメラを接続しデジタルカメラの背面液晶画面に表示されるライブビュー表示をコンピュータのディスプレイに拡大表示し、遠隔制御で撮影するリモートライブビュー撮影手法を用いて撮影を行う場合がある。以前撮影した撮影の状況を再現する場合や、構図の決定をより簡便に行うことを可能とするため、あらかじめ用意した見本とする参照画像をリモートライブビュー表示画面に重ね合わせて表示（オーバーレイ表示）させる機能がある。

リモートライブビュー表示画面にオーバーレイ表示がされている場合、確認しづらくなるといった課題がありライブビュー画像に対して画像処理を施す技術が知られている（特許文献１）。

また、操作のためにオーバーレイ画像が邪魔になる場面では自動的にオーバーレイ表示を非表示にする技術が知られている（特許文献２）。

特開2009-5273号公報 特開2011-155595号公報

被写体の構図が参照画像と大きくずれている場合は問題なくカメラを移動させることで被写体の構図合わせを容易に行えるが、被写体が参照画像の構図と一致してくると参照画像と被写体画像とが見分けする事が困難になってくる。参照画像がイラストなどである場合などではあまり問題にはならないが、多くの場合商品の前作モデルの写真などを参照画像として使用する場合が多いので参照画像と被写体の差が分かりにくく、正確な構図合わせに追い込むためにオーバーレイの透明度を変化させながらもしくは、オーバーレイ表示の入り切りを行いながらカメラを動かし構図の追い込み確認作業を行っている。この最後のひと手間に時間が掛かってしまいワークフローの改善が望まれている。

そこで、本発明の目的は、リモートライブビュー表示画面に参照画像をオーバーレイ表示しながら構図合わせを正確に行う場合、構図の追い込み作業においても構図合わせを迅速に行えるための方法を提供することである。

本願に係る発明の１つは、撮像装置と通信可能な情報処理装置であって、前もってオーバーレイ画像を記憶装置に記憶する記憶手段と、撮影処理に用いられる撮影指示を前記撮像装置へ送信する送信手段と、前記撮影指示に基づき前記撮像装置において前記撮影処理を実行することにより取得されたライブビュー画像を受信する受信手段と、前記受信されたライブビュー画像を画面に表示する第１の表示手段と、オーバーレイ画像を前記ライブビュー画像に重ねて、前記オーバーレイ画像を画面に表示する第２の表示手段と、前記オーバーレイ画像に対して画像加工処理を施すか否かを検知する検知手段を備え、前記第２の表示手段は、前記検知手段にしたがって前記オーバーレイ画像と前記ライブビュー画像の合成の際に前記オーバーレイ画像に対して画像加工処理を施すことを特徴とする。

本発明によれば、リモートライブビュー表示画面に参照画像をオーバーレイ表示しながら構図合わせを正確に行う場合、構図の追い込み作業においても参照画像と被写体表示との差に対して視認性が向上し構図合わせ正確かつ迅速に行えるようになる。

本発明の一実施形態に係るリモート撮影システムの構成を示すブロック図である。 本発明の一実施形態に係るカメラ装置の構成を示すブロック図である。 本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の一実施形態に係るリモート撮影システムの動作を示すフローチャート図である。 本発明の一実施形態に係るディスプレイに表示されるキャプチャ画面を示す図である。 本発明の一実施形態に係るディスプレイに表示されるリモートライブビュー画面を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわるシステム構成図である。

［実施例１］
以下に、本発明の形態を示す実施例１を表す以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜＜システム構成説明＞＞
本実施形態のリモート撮影システムは、情報処理装置がカメラ装置とＵＳＢケーブルまたは無線ＬＡＮ等の通信媒体によって接続され、互いに通信可能である。本実施形態のリモート撮影システムにおいて、カメラ装置を交換レンズ式のデジタルカメラ、情報処理装置をパーソナルコンピュータで実現した例を図１に示す。図１において、カメラ装置１０２はデジタルカメラのボディであり、レンズ１０１と結合している。レンズ１０１は、交換可能であり、焦点距離を可変するためのズームレンズ１１１、明るさを制御するための絞り機構１１２、被写体にピントを合わせるためのフォーカスレンズ１１３を有している。

また、この交換式レンズ１０１は、レンズ側のマウント部１１４がカメラ装置１０２のマウント部１２７と機械的に接合する。カメラ装置１０２は、レンズを通過してきた光を１２１のハーフミラーで反射させ、ピント板１２４の位置で結像させる。ピント板１２４で結像した光は、プリズム１２５で反転され、接眼レンズ１２６を通して正立像として観測できる。また、撮影時には、ハーフミラー１２１が跳ね上がり、シャッター１２２が開き、レンズ１０１を通過してきた光が撮像素子１２３に結像する。レンズ１０１のマウント部１１４には接点群１１５が組み込まれている。

この接点群１１５はカメラ装置１０２から電源の供給を受け、通信を行うために接続する部材であり、電源、グランド、送信、受信、クロックなどの用途にそれぞれ分かれている。レンズ１０１のマウント部１１４は、カメラ装置１０２のマウント部１２７にある接点群１２８の中の接続端子とそれぞれ接合する。

また、カメラ装置１０２は接続部１０３を介してパーソナルコンピュータ１４０と接続
し、各種データを送受信する。そして、カメラ装置１０２が接続部１０３を介してパーソナルコンピュータ１４０へライブビュー画像を送信すると、ディスプレイ１４１に表示される。また、カメラ装置１０２は撮影を制御するための各種情報をパーソナルコンピュータ１４０から受信し、それにしたがって撮影動作を実行する。

＜＜カメラの説明＞＞
次に、カメラ装置１０２の構成を、図２を参照して説明する。撮像素子２２３は、ＣＣＤやＣＭＯＳ等のセンサーであり、撮像素子２２３に結像した光は各画素において、入射光量に応じた量の電荷に変換される。タイミングジェネレータ２３２が発生させる信号は、撮像素子２２３を駆動し、センサーに蓄積した電荷を伝送し、順次電圧信号に変換される。変換された電圧信号は、相関二重サンプリング（ＣＤＳ）２３０でサンプリングされ、Ａ／Ｄ変換器２３１でデジタル信号に変換される。

デジタル信号に変換された画像データはＩＣ２３３に入力され、まず、データに対してホワイトバランスのためのデータを算出するためのＷＢ回路２３３ａに入り、メモリー（１）２３５に一旦、格納される。のメモリー（１）２３５に格納されたデータは、再びＩＣ２３３に入力され、３種類の画像処理を施される。まず、デジタル信号に変換された画像データは、そのままロスレス圧縮（可逆圧縮）をかけるロスレス圧縮回路２３３ｄにおいてロスレス圧縮されたＲＡＷデータに変換され、ＣＰＵバス２３４に送出される。また、デジタル信号に変換された画像データはＲＡＷデータをブロック内平均したりローパスフィルタをかけたりして帯域を落とし、そこから間引くことによってダウンサンプリングされる。

そして、元の画像サイズより小さいサムネイル画像に変換されるためにＲＡＷサムネイル回路２３３ｃで間引き処理され、ＣＰＵバス２３４に送られる。最後に、ＪＰＥＧ圧縮するための画像を作るために、画像処理回路２３３ｂにおいて画像処理を施され、その結果、出力されるＹｃｂＣｒはラスタブロック変換されて、ＪＰＥＧ圧縮回路２３３ｅでＪＰＥＧ圧縮されて、ＣＰＵバス２３４に送られる。Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２３６は、電源が投入された直後、２３７のメモリー（２）内部のプログラムに従い、カメラ装置１０２を初期化し、レンズ１０１との通信を開始する。

また、ＣＰＵ２３６は撮影された画像データでＣＰＵバス２３４に出力された画像データを一度、２３５のメモリー（１）に格納し、インターフェイス回路２３８を介して外部メモリー２３９に最終的に書き込む。ＣＰＵ２３６につながるスイッチ２４０はレリーズスイッチであり、スイッチ２４０の押下を検出することによって上記の撮影の動作が行われ、外部メモリー２３９に画像が書き込まれる。また、ライブビュー時には、ＣＰＵ２３６はハーフミラー２２１を跳ね上げ、シャッター２２２を開き、レンズ１０１を通過してきた光を撮像素子２２３に結像させ、デジタル信号に変換してライブビュー画像を取得する。

そして、ライブビュー画像をメモリー（２）２３７に保存し、カメラ装置１０２に設置される背面ディスプレイに表示する。ＣＰＵ２３６はライブビュー画像を一定間隔で更新する。撮影者は、光学ファインダーを通して被写体を確認するのと同様に、背面ディスプレイのライブビュー画像によって被写体を確認することができる。また、情報処理装置３００からライブビュー機能の実行指示を受けると、ＣＰＵ２３６は一定間隔でライブビュー画像を情報処理装置３００へ送信する。

＜＜ＰＣの説明＞＞
本実施例の情報処理装置を構成するコンピュータ装置の構成について図３を参照して説明する。

情報処理装置は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。図３において、３０１は情報処理装置３００全体を制御する制御部であり、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。３０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。３０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。

３０４は情報処理装置３００に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置３００から着脱可能な光ディスクなどを含む外部記憶装置である。外部記憶装置３０４は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）やリモート撮影プログラムを記憶している。

３０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボード３０９などの入力デバイスとのインターフェイスである。３０６は情報処理装置３００の保持するデータや供給されたデータを表示するためのモニタ３１０とのインターフェイスである。３０７はネットワーク回線に接続するためのネットワークインタフェイスである。３０８は３０１〜３０７の各ユニットを通信可能に接続するシステムバスである。

＜＜動作説明＞＞
本実施形態のリモート撮影システムにおける情報処理装置３００の動作について図４を参照して説明する。本実施形態のリモート撮影システムでは、情報処理装置３００はカメラ装置１０２と通信可能に接続され、両方とも電源が入って動作可能な状態にある。なお、以下のカメラ装置１０２の動作は、ＣＰＵ２３６がメモリー（２）２３７から内部のプログラムを読み出して起動することによって実現される。また、以下の情報処理装置３００の動作は、ＣＰＵ３０１が外部記憶装置３０４からＯＳやリモート撮影プログラムを読み出して起動することによって実現される。

まず、情報処理装置３００のＣＰＵ３０１は、カメラ装置で現在、設定されている撮影パラメータをカメラ装置１０２から受信し（Ｓ４０１）、キャプチャ画面に表示する（Ｓ４０２）。

＜＜リモートキャプチャー説明＞＞
図５に本実施形態のキャプチャ画面を示す。キャプチャ画面５００には、カメラ装置１０２の動作状態や設定値が表示される。例えば、撮影モード５０１やホワイトバランス５０２、測光モード５０３、露出レベル５０４、記録画質５０５、シャッター速度５０６、絞り数値５０７、ＩＳＯ感度５０８などの撮影パラメータの項目が表示される。また、撮影画像の保存場所５０９、タイマー撮影５１０などの撮影機能の項目が表示される。また、撮影ボタン５１１の押下操作があると、ＣＰＵ３０１はカメラ装置１０２に対して撮影指示を行い、撮影画像をカメラ装置１０２から受信してクイックプレビュー画面に表示する。

また、ＣＰＵ３０１はユーザの操作に応答して、キャプチャ画面５００に表示された項目を再設定し、再設定された内容をカメラ装置１０２へ通知する。カメラ装置１０２は通知された内容を適用し、撮影処理を実行する。なお、撮影モードは例えば、撮影時の被写体の状況に応じて自動的に機能設定を行うオート撮影モードや、所定の機能設定を行うシーンモード、ユーザが全て手動で機能設定を行うマニュアル撮影モードがある。

また、ユーザが絞り値の設定を行い、シャッター速度は撮影時の被写体の状況に応じて自動的に設定を行う絞り優先モード、逆にユーザがシャッター速度の設定を行い、絞り値は撮影時の被写体の状況に応じて自動的に設定を行う絞り優先モードがある。また、タイマー撮影では、設定された遅延時間を経過すると撮影が行われたり、設定された時間間隔で設定された撮影枚数の撮影が行われる。

そして、リモートライブビューボタン５１２が押されるとリモートライブビュー機能が起動され、カメラ装置１０２の撮像素子１２３で捉えられた映像をリアルタイムでパーソナルコンピュータ１４０のディスプレイ１４１に表示して遠隔操作で被写体を確認しながらの撮影が出来るようになる。

リモートライブビューボタン５１２が押されるとＳ４０３の判定でライブビュー開始と判定され、ＣＰＵ３０１はカメラ装置１０２に対してライブビュー機能開始の指示を行う（Ｓ４０４）
＜＜リモートライブビュー画面説明＞＞
ＣＰＵ３０１はリモートライブビュー画面６００を表示する（Ｓ４０５）
図６（ａ）に本実施形態のリモートライブビュー画面を示す。リモートライブビュー画面６００はライブビュー領域６０１と第１の操作部６０１、第２の操作部６０２を含む。

第１の操作部６０２は、カメラ操作タブ６２１と構図確認操作タブ６２２とで第１の操作部６０２の操作パネルが切り替えられるようになっている。カメラ操作タブ６２１が選択されている場合は、ホワイトバランスやフォーカスや絞り込みに対応するカメラ装置１０２の設定変更の操作が行える。

一方、構図確認操作タブ６２２が選択されている場合は、オーバーレイ機能操作パネル６３０、グリッド操作パネル６４０、ガイド線操作パネル６５０を含む操作パネルを表示する。

リモートライブビュー画面ではＣＰＵ３０１はカメラ装置１０２から定期的にライブビュー画像を取得する（Ｓ４０６）。取得した画像はＲＡＭ３０３に記憶する。

ユーザがリモートライブビュー画面６００のオーバーレイ機能操作パネル６３０を操作する事でライブビュー領域６０１に表示されるライブビュー画像に見本とする参照画像を合成して表示する事ができる。オーバーレイ画像選択ボタン６３２が押されるとＣＰＵ３０１は図示しない参照画像選択ダイアログを表示し、外部記憶装置３０４に保存されている画像ファイルの中から参照画像を選択させ、選ばれた画像データをＲＡＭ３０３に読み込む。

オーバーレイスイッチ６３１はチェックボックス形式のユーザインターフェイスでオーバーレイ表示をする／しないを指定できるようにしている。オーバーレイ制御操作６３３はスライダー形式のユーザインターフェイスでオーバーレイ画像の大きさ、回転、合成比率を変更できるようにしている。

Ｓ４０６でカメラ装置１０２からライブビュー画像を取得すると、ＣＰＵ３０１はオーバーレイスイッチ６３１の状態を確認してオーバーレイ表示するか否かを判定する（Ｓ４０７）。

オーバーレイスイッチ６３１がＯＮの場合ＣＰＵ３０１は参照画像加工処理スイッチ６３４の状態を確認して参照画像に対して画像加工処理を施すかを判定する。（Ｓ４０８）。
Ｓ４０８の判定でＯＮの場合、ＣＰＵ３０１は参照画像に対して画像加工処理を行った後にライブビュー画像と合成をしてライブビュー画像を差し替える（Ｓ４０９）。この時、画像加工処理選択６３５のコンボボックス形式のユーザインターフェイスでユーザが選択した画像加工処理の方法を選べるようにしている。

選択できる画像加工処理は、輪郭抽出、被写体塗りつぶし、エンボス、ネガ反転、モノクロ、被写体比較などが用意されており、被写体に応じてライブビュー画像と参照画像が見分けやすいものを選べる。

画像加工処理の被写体比較とは、ライブビュー画像と参照画像との差分抽出した差分画像を参照画像として適用する。

または、ライブビュー画像と参照画像の差分を抽出し、画像全体の差分値の合計が閾値以下になった場合に参照画像に対して輪郭抽出させた画像を参照画像としてもよい。このようにすることで、被写体と参照画像が著しくずれている場合は参照画像とライブビュー画像の合成した画像がオーバーレイ画像となるが、構図が一致してくると自動的に参照画像が輪郭抽出された線画に切り替わるので追いこみ作業がし易くなる。

このように、Ｓ４０９においてＣＰＵ３０１は参照画像に対して画像加工を施しオーバーレイ制御操作６３３で指定された画像の大きさ、回転、合成比率を適用してＳ４０６でＲＡＭ３０３に記録したライブビュー画像と合成した後、ＲＡＭ３０３のライブビュー画像データを差し替える。

なお、参照画像に対する画像加工処理は描画の度に処理する必要はなく、画像加工処理選択６３５で画像加工方法が指定された時点で参照画像に予め画像加工処理を施しておきＲＡＭ３０３に記録しておくことでＣＰＵ３０１の演算処理が低い場合でも描画のパフォーマンスを向上する事ができる。

一方、Ｓ４０８の判定でＯＦＦの場合、ＣＰＵ３０１は参照画像に対してオーバーレイ制御操作６３３で指定された画像の大きさ、回転、合成比率を適用しＳ４０６でＲＡＭ３０３に記録したライブビュー画像と合成しＲＡＭ３０３のライブビュー画像データを差し替える（Ｓ４１０）。

そして、ＣＰＵ３０１はＲＡＭ３０３に記録されたライブビュー画像データをライブビュー領域６０１に表示する（Ｓ４１１）。ＣＰＵ３０１はライブビュー撮影が終了するまでこのようにＳ４０６から繰り返す（Ｓ４１２）。ライブビューの終了とは本実施例ではリモートライブビュー画面６００を閉じることする。

このようにＣＰＵ３０１が制御を続けることでライブビュー領域６０１には図６（ｂ）に示すようなオーバーレイ表示が行われる。図６（ｂ）のようにライブビュー画像に写っている被写体と参照画像で構図が大きくずれている場合はカメラ装置１０２をどの方向に移動させ構図を同じようにすることが容易だが、構図が一致してくると図６（ｃ）に示すようにどっちがどの方向にずれているのかが分かりにくくなる。この時参照画像加工処理スイッチ６３４をＯＮにすることで、図６（ｄ）に示すようにどちらがどの方向にずれているかの視認性が向上し正確な位置合わせが可能になる。

ただし、画像加工処理を施してしまうと参照画像の立体感は失われてしまう事が多いので必要に応じて参照画像加工処理スイッチ６３４を切り替えることで迅速かつ正確に構図合わせを行うことができるようになる。白黒のイラストで効果が分かりやすいように図６（ｄ）では参照画像にエンボス処理を施した例を図示した。このように、輪郭抽出、被写体塗りつぶし、ネガ反転、モノクロなどの比較的簡単な画像処理を施すことで同様の効果が得られる。カタログ撮影などのスタジオでの商品撮影の場合には単色の背景を使用する場合が多いので、図６（ｅ）に示すように輪郭抽出処理で囲まれた輪郭線を塗りつぶす処理を加えた被写体塗りつぶし処理を施すことで商品の柄の影響を受けずに構図を合わせる事が可能になる。

先に説明した被写体比較を選んでいる場合には、被写体の構図が参照画像に近づいて来たら自動的に参照画像加工処理に切り替わる事も可能である。

＜＜ライブビュー撮影終了＞＞
ＣＰＵ３０１はライブビュー撮影が終了を検出するとカメラ装置１０２に対してライブビュー機能終了の指示を行う（Ｓ４１３）。そしてリモートライブビュー画面６００を消して終了する（Ｓ４１４）。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体 を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 交換可能なレンズ
１０２ レンズ交換可能なデジタルカメラ本体
１２３ 撮像素子
１３３ 画像処理IC
１３７ 光学補正データを格納するメモリー
１３８ 外部記憶手段や、コンピュータとデジタルカメラを接続するためのインターフェース
１３９ 外部記憶手段
１４０ コンピュータ
１４１ ディスプレイ

Claims (7)

1. 撮像装置と通信可能な情報処理装置であって、
   前もってオーバーレイ画像を記憶装置に記憶する記憶手段と、撮影処理に用いられる撮影指示を前記撮像装置へ送信する送信手段と、前記撮影指示に基づき前記撮像装置において前記撮影処理を実行することにより取得されたライブビュー画像を受信する受信手段と、前記受信されたライブビュー画像を画面に表示する第１の表示手段と、オーバーレイ画像を前記ライブビュー画像に重ねて、前記オーバーレイ画像を画面に表示する第２の表示手段と、前記オーバーレイ画像に対して画像加工処理を施すか否かを検知する検知手段を備え、
   前記第２の表示手段は、前記検知手段にしたがって前記オーバーレイ画像と前記ライブビュー画像の合成の際に前記オーバーレイ画像に対して画像加工処理を施すことを特徴とする情報処理装置。
2. 前記画像加工処理は、輪郭抽出処理であることを特徴とする請求項１に記載の情報処理装置。
3. 前記画像加工処理は、輪郭抽出画像に塗りつぶし処理を施した被写体塗りつぶし処理であることを特徴とする請求項１に記載の情報処理装置。
4. 前記画像加工処理は、エンボス処理であることを特徴とする請求項１に記載の情報処理装置。
5. 前記画像加工処理は、ネガ反転処理であることを特徴とする請求項１に記載の情報処理装置。
6. 前記画像加工処理は、モノクロ処理であることを特徴とする請求項１に記載の情報処理装置。
7. 前記検知手段は、前記オーバーレイ画像と前記ライブビュー画像の画像比較を行い差分データが閾値より小さい事を検出する方法であることを特徴とする請求項１に記載の情報処理装置。