JP2017224913A - 撮像システム、情報処理装置 - Google Patents

Abstract

【課題】頭部装着型装置にて撮像装置を目視する場合、使用者に見えている情報としては、頭部装着装置に表示されているディスプレイと、撮像装置の表示部がある。撮像装置に表示されている情報が、画像とその画像の付帯情報が表示されている場合、見えている画像に付帯情報が重畳されているため、撮像装置の表示部の画像が見にくいという課題がある。本発明はこれを省みて、撮像装置の表示方法を改善する機能を提供すること。【解決手段】頭部装着型装置は、撮像装置から無線通信で情報を送受信することが可能な無線通信部と、撮像装置から受信した情報を表示することが可能な表示部とを備え、前記頭部装着型装置の表示部は、前記撮像装置の表示部と重畳しない位置に前記画像に関する情報を表示することを特徴とする。【選択図】図１

Description

本発明は、撮像装置の表示方法に関し、特に撮像装置と通信可能な頭部装着型装置を装着した際に、撮像装置を頭部装着型装置越しに目視した際の撮像装置の情報表示方法に関する。

従来、表示方法を変える手段として、２画面表示可能なデバイスでは、ある情報を片方の画面に表示し、その他の情報をもう一方の画面に表示するなどといった方法が公になっている。さらに、近年、頭部に装着型表示装置を装着し拡張現実画像を表示するなどさまざまな情報を頭部装着型表示装置に表示させる機器などが発売されてきている。

特許文献１には、所定の機能が実行されているとき、所定の機能の実行に関する情報を表示画面に表示させ、所定の機能の実行が終了した場合において表示を終了させ、ウィジェットが実行されている場合において、第一表示画面とは別の表示画面を表示部に表示させる際には、ウィジェットの実行に基づいて、表示画面中の少なくとも一部の情報を含むウィジェット実行情報を当該別の表示画面の一部の領域に含ませるということが開示されている。

また、特許文献２には、頭部ディスプレイを装着して、実世界場面の部分を選択的に遮断して、拡張現実画像を一層目立って現れるようにするといった内容が開示されている。

特開２０１４−３５７３８号公報 特表２０１３−５４２４６２号公報

しかしながら、上述の特許文献に開示された従来技術では、頭部装着型装置を装着した状態で、撮像装置の表示部を目視した場合についてどのような表示を頭部装着型装置に表示するかがわからない。また、撮像装置の表示部の表示内容も工夫の余地がある。

そこで、本発明の目的は、頭部装着型装置越しに撮像装置の表示部を目視したときに不要な表示を撮像装置の表示部には表示しないことを可能にした頭部装着型装置と撮像装置とのシステムを提供することにある。

上記の目的を達成するために、本発明に係る撮像システムは、
撮像装置と頭部装着型装置を含む撮像システムであって、
撮像装置において、被写体を撮像し撮影した画像を表示部に表示することが可能な表示手段と、撮影画像や情報を頭部装着型装置に転送可能な無線通信部と、表示している画像を頭部装着型装置との通信に応じ表示を切り替えることが可能な表示手段を備える撮像装置であり、撮像装置から無線通信で情報を送受信することが可能な無線通信部と、撮像装置から受信した情報を表示することが可能な表示部と撮像装置から受信した画像と、撮像装置が表示している画像とを比較することが可能な比較部を備え、撮像装置から送られた画像と情報を頭部装着型装置が受信した際、撮像装置に画像と、画像の情報が表示されている場合撮像装置の表示画面を画像情報の含まない画面に推移させる通信手段を持ち画像情報を含まない画像表示へ画面遷移した際、情報を頭部装着型装置へ送信し、頭部装着型装置の表示部に撮像装置の表示部から外れた位置に情報表示を出力する手段を持つことを特徴とする撮像装置および、頭部装着型装置を備えることを特徴とする。

本発明に係る撮像システムによれば、頭部装着型装置を装着した際、撮像装置の表示部を見ることで、煩雑な情報を消し、撮像装置の表示部をより見やすくする機能を提供することができる。

本発明の撮像装置の画像再生時のフローチャート 本発明の撮像装置が画像再生時の頭部装着型装置のフローチャート 本発明の撮像装置の再生時の表示部の図 本発明の撮像装置が画像再生時の頭部装着型装置の表示部の図 本発明の撮像装置のライブビュー時のフローチャート 本発明の撮像装置がライブビュー時の頭部装着型装置のフローチャート 本発明の撮像装置のライブビュー時の表示部の図 本発明の撮像装置がライブビュー時の頭部装着型装置の表示部の図 本発明の撮像装置の無線強度による撮像装置の振る舞いに関するフローチャート 本発明の撮像装置の無線強度による頭部装着型装置の振る舞いに関するフローチャート 本発明の実施形態にかかわる撮像装置と頭部装着型装置の構成図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図９は本発明の実施形態にかかわる撮像装置と頭部装着型装置の構成図である。

２００は撮影レンズである。撮影レンズの種類としては、単焦点レンズやズームレンズが存在する。

２０１は撮像素子である。撮像素子２０１にはＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ２００によって結像された被写体像を電気信号に変換する。

２０２はＡ／Ｄ変換器である。Ａ／Ｄ変換器２０２は撮像素子２０１のアナログ出力信号をデジタル信号に変換する。

２０３はマイクロコンピュータである。マイクロコンピュータ２０３は各構成要素の制御やデータ処理など撮像装置全体を制御する。本実施例で説明する、頭部装着型装置への情報の通信、通信強度の通信等など、すべての処理をマイクロコンピュータ２０３で行う。

２０４は揮発性メモリである。揮発性メモリ２０４にはＡ／Ｄ変換器でデジタル信号に変換された画像データを一時的に保持する。

２０５は不揮発性メモリである。不揮発性メモリ２０５にはマイクロコンピュータ２０３で処理する撮像装置の実行プログラムがある。

２０６は光学ファインダーである。光学ファインダーを覗きながらユーザが撮影することを想定する。

２０７は画像処理部である。画像処理部２０７では、撮影された画像に対する画像処理を行う。また、撮影後の画像に対し、例えば再生メニューからのＲＡＷ現像機能や、フィルタ効果機能を提供する。

２０８は通信部材である。メガネ型ウェアラブル機器との通信制御をおこなう。例えば、ＢｌｕｅＴｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙなどの技術を想定する。通信技術に関しては、特に本実施例では限定しない。

２０９は表示部である。液晶モニタなどを想定しており、撮影された画像を記録媒体から読み込んでの表示や、撮像素子２０１から取り込んだライブビュー画像などを表示する。

２１０は操作部である。操作部２１０にはスイッチ、ボタンなどがあり、表示部２０９で表示されている状態の変更や、ライブビュー撮影の開始、終了などの捜査を行う。

２１１は記録媒体であり、撮影した画像をＳＤカードやＣＦカードに保存するものである。

頭部装着型装置である情報処理装置の構成を説明する。

２２１は透過型表示部であり、使用者は透過型表示部２２１を通して観察している景色（実像）に重畳する形で、文字や画像等の情報を表示することが出来る。表示部２２１には、通信部２０８を通して撮像装置で撮像した画像や、再生画像、メニューなどの表示を行うことが可能である。

２２２は頭部装着型装置での撮像で使用するレンズなどの撮像部である。２２２のレンズにて撮像装置の表示されている状態などの判定にも用いる。

２２３は通信部である。撮像装置の通信部２０８と通信する処理を制御する。撮像装置２０８同様、例えば、ＢｌｕｅＴｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙなどの技術を想定する。通信技術に関しては、特に本実施例では限定しない。

２２４は画像比較部である。通信部２２３から取得した、撮像装置の画像と、自ら撮影部２２２で撮影した画像を比較することが可能である。

２２５はマイクロコンピュータであり、各構成要素の制御やデータ処理など頭部装着型装置全体を制御する。本実施例で説明する、撮像装置への情報の通信、画像比較などすべての処理をマイクロコンピュータ２２５で行う。

以下、図１から図６を参照して、本発明の第１の実施例による、頭部装着型装置と撮像装置が通信している際の頭部装着型装置の制御と、撮像装置の制御について説明する。

図１は本発明の撮像装置の画像再生時のフローである。

Ｓ１００で操作部材２１０にある再生ボタンが押され撮影画像の再生モードへ状態遷移を行う。

Ｓ１０１で頭部装着型装置を装着していない場合はなにもせず、装着している場合はＳ１０２で通信部２０８を使用し頭部装着型装置との通信を開始する。

Ｓ１０３で撮影画像を記録媒体２１１にから読み出す。

Ｓ１０４では再生した画像の画面が画像表示だけなのか、または画像に撮影時の設定値やヒストグラムなどが一緒に表示されているかの判定を行い、情報表示が含まれない場合はＳ１０５で画像を表示部２０９に１枚表示を行う。

Ｓ１０６では再生画面が終了されたかの判定で、再生画面が終了していたらフローを終える。継続して画像再生が続けられていれば、Ｓ１０４に戻る。

Ｓ１０４で画像の情報表示がある場合には、Ｓ１０７で頭部装着型装置と接続中であるかの判定を行い、接続状態でない場合には、Ｓ１０８で情報付き表示の画像再生を表示部２０９に行う。

Ｓ１０７で頭部装着型装置と接続中の場合は、Ｓ１０９で頭部装着型装置に対し、通信部２０８で画像の付帯情報を通信する。Ｓ１１０では画面の状態を画像１枚表示状態にし、Ｓ１０６で再生画面が終了されているかを確認し、終了状態であれば処理を終える。

図２で、先ほど説明した再生画面時の頭部装着型装置側の説明をフローを用い説明する。

Ｓ２００で撮像装置と接続しているかの確認を行い接続していない場合は、頭部装着型装置の表示部２２１には特に表示するものはないのでＳ２０１で頭部装着型装置単体の表示状態にする。

Ｓ２００で接続されている場合は、Ｓ２０２で撮像装置との接続を通信部２２３を用い通信開始処理を行う。

接続が開始が成功すれば、Ｓ２０３で撮像装置が画像再生状態になり、画像が表示部２０９に表示されている場合、頭部装着装置に情報が送信されてくるので情報の受信を行う。

Ｓ２０４で撮影画像の情報、撮影時の設定値やヒストグラムなどがない場合Ｓ２０５で頭部装着型装置の表示部２２１には表示を行わずＳ２０３に戻る。

Ｓ２０４で撮影画像の情報があれば、Ｓ２０６で撮像装置に対し、画像取得要求通信を通信部２０８を用い通信を行う。

Ｓ２０７でＳ２０６で受信した画像と自身が撮影部２２２で撮影している撮像装置の表示部の位置を画像比較部２２４とマイクロコンピュータ２２５を用い表示部の位置を検出する。

Ｓ２０８でＳ２０７で算出した表示部の位置が判明しているため、撮像装置の表示部に情報が重ならないように、情報表示を表示部２２１に表示する。あとは、Ｓ２０３へ戻り処理を繰り返し行う。

図３（ａ）と図３（ｂ）は上記で説明した、画像再生画面時のイメージ図である。図３（ａ）は撮像装置側の表示部に表示されている画像と情報が同時に出力されていることを表す。図１のＳ１０８で説明したステップがこれにあたる。図３（ｂ）は頭部装着型装置を装着し、透過型表示部２２１を通して撮像装置を目視しているときのイメージ図である。図２で説明したＳ２０８がこれにあたる。撮像装置から送られた情報が撮像装置の表示部を避けて頭部装着型装置の表示部２２１に出力を行っている。

図４は本発明の撮像装置のライブビュー撮影時のフローである。

Ｓ４００で操作部２１０にあるライブビュー開始ボタンなどでライブビュー撮影を開始する。

Ｓ４０１で頭部装着型装置を装着しているか判定し、頭部装着型装置がない場合、通常にライブビュー撮影を開始する。頭部装着装置がある場合は、Ｓ４０２で頭部装着装置と通信部２０８を使用し、通信を開始する。

Ｓ４０３ではレンズ２００から取り込んだ光を撮像素子２０１で電気信号に変換し、Ａ／Ｄ変換器２０２でデジタル化されたデータをマイクロコンピュータ２０３と画像処理部２０７を使用しライビューの画を作り、表示部へと出力する。

Ｓ４０４で表示部２０９に表示されているライビュー画に撮影に必要な設定値などが含まれているか否かを判定し、情報が含まれていない場合はＳ４０５で情報を含まないライブビュー画を出力する。

Ｓ４０６でライブビューが終了されているかを判定し、終了されている場合は処理を終了し、終了されていない場合はＳ４０３へ戻り処理を続行する。

Ｓ４０４で情報表示が含まれていると判定された場合はＳ４０７で頭部装着型装置と接続中か判定を行い、接続中でない場合はＳ４０８で情報付きのライブビュー表示を行う。

Ｓ４０７で頭部装着型装置と接続中の場合はＳ４０９で頭部装着型装置へ通信部２０８を用い付帯情報を送信する。

Ｓ４１０で付帯情報を含まないライブビュー画を表示部２０９に表示しＳ４０６でライブビューが継続されているかを判定し、処理を繰り返す。

図５は図４で説明した撮像装置がライブビュー時の頭部装着型装置側のフローである。

Ｓ５００で撮像装置と接続中であるかの判定を行い、接続していない場合は、頭部装着型装置の表示部２２１には特に表示するものはないのでＳ５０１で頭部装着型装置単体の表示状態にする。

Ｓ５００で接続されている場合は、Ｓ５０２で撮像装置との接続を通信部２２３を用い通信開始処理を行う。通信が成功すれば、Ｓ５０３で撮像装置がライブビュー状態になり、ライブビュー画が表示部２０９に表示されている場合、頭部装着装置に情報が送信されてくるので情報の受信を行う。

Ｓ５０４で撮影画像の情報、撮影時の設定値などがない場合Ｓ５０５で頭部装着型装置の表示部２２１には表示を行わずＳ５０３に戻る。

Ｓ５０４で撮影画像の情報があれば、Ｓ５０６で撮像装置に対し、画像取得要求通信を通信部２０８を用い通信を行う。

Ｓ５０７でＳ５０６で受信した画像と自身が撮影部２２２で撮影している撮像装置の表示部の位置を画像比較部２２４とマイクロコンピュータ２２５を用い表示部の位置を検出する。

Ｓ２０８でＳ２０７で算出した表示部の位置が判明しているため、撮像装置の表示部に情報が重ならないように、情報表示を表示部２２１に表示する。あとは、Ｓ５０３へ戻り処理を繰り返し行う。

図６（ａ）と図６（ｂ）は上記で説明した、ライブビュー時のイメージ図である。図３（ａ）は撮像装置側の表示部に表示されているライブビュー画像と情報が同時に出力されていることを表す。図４のＳ４０８で説明したステップがこれにあたる。図６（ｂ）は頭部装着型装置を装着し、撮像装置を目視しているときのイメージ図である。図５で説明したＳ５０８がこれにあたる。撮像装置から送られたヒストグラムや撮影条件などの情報を、撮像装置の表示部には重ならない位置に表示する。この時、頭部装着型装置の表示部２２１は、ヒストグラムや撮影条件などの情報は、撮像装置のとは関係の無い他の実像（景色）に重畳する様に表示されている。

本発明によれば、頭部装着型装置を装着し、撮像装置を使用する場合において、撮像装置側に画像の閲覧表示や、ライブビュー表示画面をしており、さらに撮影情報などの付帯情報が一緒に表示されている場合、撮像装置の画面から付帯情報を取り除き、頭部装着型装置の表示部に付帯情報を移すことで、撮像装置の表示部の全領域を使用して画像を表示させることが可能になる。

以下、図７と図８を参照して、本発明の第２の実施例による、頭部装着型装置と撮像装置の機器間の距離についての制御方法の説明をする。

Ｓ７００で操作部材２１０にある再生ボタンが押され撮影画像の再生モードへ状態遷移を行う。

Ｓ７０１で頭部装着型装置を装着していない場合はなにもせず、装着している場合はＳ７０２で通信部２０８を使用し頭部装着型装置との通信を開始する。

Ｓ７０３で撮影画像を記録媒体２１１にから読み出す。

Ｓ７０４では再生した画像の画面が画像表示だけなのか、または画像に撮影時の設定値やヒストグラムなどが一緒に表示されているかの判定を行い、情報表示が含まれない場合はＳ７０５で画像を表示部２０９に１枚表示を行う。

Ｓ７０６では再生画面が終了されたかの判定で、再生画面が終了していたらフローを終える。継続して画像再生が続けられていれば、Ｓ７０４に戻る。

Ｓ７０４で画像の情報表示がある場合には、Ｓ７０７で頭部装着型装置と接続中であるかの判定を行い、接続状態でない場合には、Ｓ８０８で情報付き表示の画像再生を表示部２０９に行う。

Ｓ７０７で頭部装着型装置と接続中の場合は、Ｓ７０９で頭部装着型装置に対し、通信部２０８で画像の付帯情報を通信する。

Ｓ７１０では後に説明する頭部装着型装置から測定された電波の強度を受信する。

Ｓ７１１で受信強度が強いか判定を行う、受信強度が強い場合、撮像装置と頭部装着型装置との距離感が近いものと判断し、強度が弱い場合はＳ７１２で表示部２０９に画像情報を含まない画像１枚表示を行う。

電波強度が強い場合はＳ７１３で表示部２０９には画像情報を含んだ表示を行う。

図８は上記で説明した電波強度を送受信する際の頭部装着型装置のフローである。

Ｓ８００で撮像装置と接続しているかの確認を行い接続されていない場合は、頭部装着型装置の表示部２２１には特に表示するものはないのでＳ８０１で頭部装着型装置単体の表示状態にする。

Ｓ８００で接続されている場合は、Ｓ８０２で撮像装置との接続を通信部２２３を用い通信開始処理を行う。

通信が成功すれば、Ｓ８０３で撮像装置が画像再生状態になり、画像が表示部２０９に表示されている場合、頭部装着装置に情報が送信されてくるので情報の受信を行う。

Ｓ８０４で撮影画像の情報、撮影時の設定値やヒストグラムなどがない場合Ｓ８０５で頭部装着型装置の表示部２２１には表示を行わずＳ８０３に戻る。

Ｓ８０４で撮影画像の情報があれば、Ｓ８０６で撮像装置との間の電波強度を通信部２２３とマイクロコンピュータ２２５を用い測定を行う。

Ｓ８０７でＳ８０６で測定した電波強度を撮像装置に対し通信部２２３を用い送信する。

Ｓ８０８で電波強度が強いか否かを判定し、強い場合は撮像装置との距離感がきわめて近いものと判断し、表示部２２１には受信した情報を表示しないように制御する。

Ｓ８０８で弱いと判断した場合、一定の距離がとられていると判断し、Ｓ８１０にて撮像装置に対し、通信部２２３を用い画像の取得を行う。

Ｓ８１１でＳ８１０で受信した画像と自身が撮影部２２２で撮影している撮像装置の表示部の位置を画像比較部２２４とマイクロコンピュータ２２５を用い表示部の位置を検出する。

Ｓ８１２でＳ８１１で算出した表示部の位置が判明しているため、撮像装置の表示部に情報が重ならないように、情報表示を表示部２２１に表示する。あとは、Ｓ８０３へ戻り処理を繰り返し行う。

本発明によれば、頭部装着型装置を装着し、撮像装置を使用する場合において、撮像装置の表示部を自身の目に近付け、注視している場合に、頭部装着型装置の表示が邪魔することなく、撮像装置の表示部を注視することが可能となり、適度な位置では、頭部装着型装置に付帯情報を表示させ、撮像装置には画像を全体表示することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２００ 撮影レンズ、２０１ 撮像素子、２０２ Ａ／Ｄ変換器、
２０３ マイクロコンピュータ

Claims (3)

1. 撮像装置と頭部装着型装置を含む撮像システムであって、
   前記撮像装置は、
   被写体を撮像し撮影した画像を表示部に表示することが可能な表示手段と、
   撮影画像や情報を頭部装着型装置に転送可能な無線通信部と、
   表示している画像を頭部装着型装置との通信に応じ表示を切り替えることが可能な表示制御手段を備え、
   前記頭部装着型装置は、
   撮像装置から無線通信で情報を送受信することが可能な無線通信部と、
   撮像装置から受信した情報を表示することが可能な表示部とを備え、
   前記頭部装着型装置の表示部は、前記撮像装置の表示部と重畳しない位置に前記画像に関する情報を表示することを特徴とする撮像システム。
2. 前記記載の撮像装置と頭部装着型装置との距離が所定距離よりも近くになった場合に、前記頭部装着型装置の表示部は、撮像装置から送られた当該画像に関する情報の表示を消すことを特徴とする請求項１に記載の撮像システム。
3. 表示部を撮像装置から無線通信で情報を送受信することが可能な無線通信部と、
   撮像装置から受信した情報を表示することが可能な透過型表示部と、を備え、
   前記透過型表示部を介して前記撮像装置の表示部を観察する場合に、前記透過型表示部は、前記撮像装置の表示部と重畳しない位置に前記画像に関する情報を表示することを特徴とする情報処理装置。