JP6393854B2 - 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム - Google Patents

全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム Download PDF

Info

Publication number
JP6393854B2
JP6393854B2 JP2018511806A JP2018511806A JP6393854B2 JP 6393854 B2 JP6393854 B2 JP 6393854B2 JP 2018511806 A JP2018511806 A JP 2018511806A JP 2018511806 A JP2018511806 A JP 2018511806A JP 6393854 B2 JP6393854 B2 JP 6393854B2
Authority
JP
Japan
Prior art keywords
subject
omnidirectional camera
display
image
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018511806A
Other languages
English (en)
Other versions
JPWO2017179135A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6393854B2 publication Critical patent/JP6393854B2/ja
Publication of JPWO2017179135A1 publication Critical patent/JPWO2017179135A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムに関する。
近年、上下左右全方位の360度パノラマ画像を撮像可能な全天球カメラが提案されている。このような全天球カメラでは、全視野を撮像するために、複数のカメラを一の装置とした撮像装置や、特殊なレンズを複数備えた撮像装置により、全方位を撮像し、360度パノラマ画像を表示画像として表示することを可能としている。このような表示画像において、ユーザは、所望する場所を操作入力することにより、表示位置の変更を行うことが可能となっている。
このような構成として、表示装置に表示する表示画像の表示中心を、タッチパネル操作やマウス操作等のユーザの操作入力に基づいて変更し、変更後の画像を表示する構成が開示されている(特許文献1参照)。
特開2015−230625号公報
しかしながら、特許文献1の構成では、ユーザが所望する場所の表示画像を閲覧するために、操作入力を行う必要があるため、ユーザが所望する場所を表示するには、多くの操作入力を行わなければならないおそれがあった。そのため、利便性が低かった。
本発明の目的は、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示変更方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の視線を検知する視線検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
第1の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の視線を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
ここで、第1の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第2の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の動作を検知する動作検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
第2の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の動作を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
ここで、第2の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第3の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の音声を検知する音声検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
第3の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の音声を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
ここで、第3の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第4の特徴に係る発明は、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる焦点変更手段と、
を備えることを特徴とする第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第4の特徴に係る発明によれば、第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる。
第5の特徴に係る発明は、前記表示画像変更手段が、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
ことを特徴とする第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第5の特徴に係る発明によれば、第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する。
第6の特徴に係る発明は、前記検知手段が、検知する値が閾値を超えた場合に、検知したと判断する、
ことを特徴とする第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第6の特徴に係る発明によれば、第1乃至第3のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、検知する値が閾値を超えた場合に、検知したと判断する。
第7の特徴に係る発明は、前記表示画像変更手段が、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第1の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第7の特徴に係る発明によれば、第1の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
第8の特徴に係る発明は、前記表示画像変更手段が、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第2の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第8の特徴に係る発明によれば、第2の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する。
第9の特徴に係る発明は、前記表示画像変更手段が、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第3の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
第9の特徴に係る発明によれば、第3の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
第10の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の視線を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
第11の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の動作を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
第12の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の音声を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
第13の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の視線を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。
第14の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の動作を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。
第15の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の音声を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。
本発明によれば、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムを提供することが可能となる。
図1は、全天球カメラ表示画像変更システム1の概要を示す図である。 図2は、全天球カメラ表示画像変更システム1の全体構成図である。 図3は、情報端末100の機能ブロック図である。 図4は、情報端末100が実行する表示画像変更処理を示すフローチャートである。 図5は、情報端末100が表示する変更画像である。 図6は、情報端末100が表示する変更画像である。 図7は、情報端末100が表示する変更画像である。
以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
[全天球カメラ表示画像変更システム1の概要]
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態における全天球カメラ表示画像変更システム1の概要を説明するための図である。全天球カメラ表示画像変更システム1は、情報端末100から構成される。
なお、図1において、情報端末100は、1つに限らず複数であってもよい。また、情報端末100は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
情報端末100は、上下左右全方位の360度のパノラマ写真を撮像可能な全天球カメラを備え、パノラマ画像を自身が有するディスプレイに表示可能な端末装置である。情報端末100は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、オペレータが装着するスマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
以下の説明において、情報端末100は、ユーザを被写体として、被写体及び被写体の周辺をパノラマ写真として撮像するものとして説明する。なお、情報端末100は、ユーザ以外の人物を被写体として撮像してもよいし、人物以外の物品等を被写体として撮像してもよい。
情報端末100は、全天球カメラにより、全視野画像を撮像し、この全視野画像の一部を表示画像として、自身に表示する(ステップS01)。なお、情報端末100は、静止画又は動画等の画像を撮像する。
情報端末100は、被写体の視線、音声、動作等の被写体情報を検知したか否かを判断し、検知した場合、被写体の表示画像における表示位置を、ディスプレイの中央付近に変更し、変更した表示画像を変更画像として表示する(ステップS02)。
以上が、全天球カメラ表示画像変更システム1の概要である。
[全天球カメラ表示画像変更システム1のシステム構成]
図2に基づいて、全天球カメラ表示画像変更システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である全天球カメラ表示画像変更システム1のシステム構成を示す図である。全天球カメラ表示画像変更システム1は、情報端末100から構成される。なお、情報端末100は、1つに限らず複数であってもよい。また、情報端末100は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
情報端末100は、後述の機能を備えた上述した端末装置である。なお、情報端末100と全天球カメラとが別体であってもよい。この場合、情報端末100と全天球カメラとは、有線接続、近距離無線通信、赤外線通信、公衆回線網等を介して接続される構成であってもよい。情報端末100は、全天球カメラとデータ通信を実行し、全天球カメラが撮像した画像を表示すればよい。
[各機能の説明]
図3に基づいて、本発明の好適な実施形態である全天球カメラ表示画像変更システム1の機能について説明する。図3は、情報端末100の機能ブロック図である。
情報端末100は、制御部110として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、情報端末100は、入出力部130として、制御部110で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等や、被写体の視線や動作や音声を検知する検知デバイスや、被写体を撮像する全天球カメラ等の撮像デバイス等を備える。
情報端末100は、制御部110が所定のプログラムを読み込むことにより、入出力部130と協働して、撮像モジュール170、表示モジュール171、検知モジュール172を実現する。
[表示画像変更処理]
図4に基づいて、情報端末100が実行する表示画像変更処理について説明する。図4は、情報端末100が実行する表示画像変更処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
はじめに、撮像モジュール170は、ユーザからの撮像指示を受け付けたか否かを判断する(ステップS10)。ステップS10において、撮像モジュール170は、専用のアプリケーションを起動し、撮像指示の入力を受け付けたか否か、撮像用のスイッチの入力を受け付けたか否か等に基づいて、撮像指示を受け付けたか否かを判断する。ステップS10において、撮像モジュール170は、撮像指示を受け付けていないと判断した場合(ステップS10 NO)、本処理を繰り返す。
一方、ステップS10において、撮像モジュール170は、撮像指示を受け付けたと判断した場合(ステップS10 YES)、全視野を撮像し、全視野画像を作成する(ステップS11)。撮像モジュール170は、動画や静止画等の画像を撮像する。なお、ステップS11において、ある一点から全方位の画像を複数撮像し、撮像した画像を合成処理することにより、全視野画像を作成する構成であってもよい。
表示モジュール171は、撮像された全視野画像の特定領域を表示画像として表示する(ステップS12)。ステップS12において、表示モジュール171は、全視野画像の予め設定された領域を、特定領域として表示してもよい。また、表示モジュール171は、全視野画像を画像認識することにより、ユーザである被写体を認識し、このユーザの全体像を、特定領域として表示してもよい。また、表示モジュール171は、その他の方法により表示画像を表示してもよい。
表示モジュール171は、表示画像に被写体が含まれているか否かを判断する(ステップS13)。ステップS13において、表示モジュール171は、表示画像を画像認識し、被写体が表示画像に存在しているか否かを判断する。なお、ユーザ以外の人物や物品等が被写体であってもよい。
ステップS13において、表示モジュール171は、被写体が含まれていないと判断した場合(ステップS13 NO)、全視野画像を画像認識し、被写体の位置を特定する(ステップS14)。
表示モジュール171は、特定した被写体の全体像が、自身の中央付近の位置に表示されるように、現在の表示画像をぐるっと回転させることにより、表示画像を変更する(ステップS15)。ステップS15において、ぐるっと回転させるとは、現在の表示画像を、被写体の全体像が中央付近に位置するように、表示画像を移動させることを意味する。なお、ステップS15において、回転以外の方法、例えば、表示位置の移動により、表示画像を変更してもよい。また、他の方法により変更してもよい。
表示モジュール171は、変更された表示画像において、この被写体に焦点を合わせる(ステップS16)。なお、ステップS16の処理は、省略されてもよい。
一方、ステップS13において、表示モジュール171は、被写体が含まれていると判断した場合(ステップS13 YES)、この被写体に焦点を合わせる(ステップS16)。なお、ステップS16の処理は、省略されてもよい。
検知モジュール172は、被写体の視線、動作、音声等の被写体情報を検知したか否かを判断する(ステップS17)。なお、ステップS17において、検知モジュール172は、この被写体情報の検知において、予め定められた閾値を超えている場合に、検知したと判断し、超えていない場合に、検知していないと判断してもよい。例えば、検知モジュール172は、視線や動作の移動量、音声の音量等に閾値を設定しておき、この閾値を超える移動量や音量である場合に、検知したと判断する構成であってもよい。また、閾値は、上述した種類以外の他の種類のものであってもよく、その種類及び量は、適宜変更可能である。
ステップS17において、被写体の視線を検知する場合について説明する。被写体の視線とは、被写体の視線の移動及びその移動量を示す。検知モジュール172は、画像認識した被写体において、目頭と虹彩との位置を特定する。検知モジュール172は、特定した目頭と虹彩との位置に基づいて、被写体の視線を検知する。また、検知モジュール172は、赤外線カメラと赤外線LEDとにより、角膜反射と瞳孔との位置を特定する。検知モジュール172は、特定した角膜反射と瞳孔との位置に基づいて、被写体の視線を検知する。なお、検知モジュール172は、他の方法により、被写体の視線を検知してもよい。
また、ステップS17において、被写体の動作を検知する場合について説明する。被写体の動作とは、被写体の身体の一部又は全部の特定の動きを意味する。検知モジュール172は、画像認識した被写体において、身体の一部又は全部の動きを特定する。身体の一部又は全部の動きとして、例えば、手を上に動かす、手を下に動かす、指を上に向ける、指を下に向ける、頭を上に向ける、頭を下に向ける、身体全体で後ろに振り向くといったものである。なお、動作は、上述した例に限らず他の動作であってもよいし、複数の動作を組み合わせたものであってもよい。
また、ステップS17において、被写体の音声を検知する場合について説明する。被写体の音声とは、被写体が発した声を示す。検知モジュール172は、マイク等の音声入力デバイスを介して入力された被写体の音声を音声認識し、音声を検知する。
ステップS17において、検知モジュール172は、被写体情報を検知していないと判断した場合(ステップS17 NO)、本処理を繰り返す。
一方、ステップS17において、検知モジュール172は、被写体情報を検知したと判断した場合(ステップS17 YES)、表示モジュール171は、被写体が自身の中央付近に表示されるように、表示画像を変更し、この被写体に焦点を変更して表示する(ステップS18)。ステップS18において、表示モジュール171は、表示画像の変更を、全視野画像の対応箇所を回転、移動等することにより実行する。回転とは、表示していた画像をある点を中心に、一方向に所定の角度移動させることを意味する。また、移動とは、表示していた画像を、所定の方向に動かすことを意味する。ステップS18において、画面中央付近とは、画面の中央又は画面の中央近傍を示し、必ずしも、画面中心の位置である必要はない。なお、表示モジュール171は、変更画像において、被写体に焦点を合わせなくてもよい。
ステップS18において、検知モジュール172が被写体の視線を検知する場合について説明する。検知モジュール172は、ステップS17において、被写体の視線を検知した場合、表示モジュール171は、この被写体の目の位置を、画面中央付近に合わせた変更画像を表示する。
図5は、表示モジュール171が表示する変更画像を示す図である。図5において、表示モジュール171は、自身が表示可能な領域である画像表示領域の中央の位置に、被写体の目200の位置を変更し、この被写体全体に焦点を合わせ、この被写体の目200を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の目200に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
ステップS18において、検知モジュール172が被写体の動作を検知する場合について説明する。検知モジュール172は、ステップS17において、被写体の動作を検知した場合、表示モジュール171は、この被写体の動作箇所の位置を、画面中央付近に合わせた変更画像を表示する。
図6は、表示モジュール171が表示する変更画像を示す図である。図6において、表示モジュール171は、画像表示領域の中央の位置に、被写体の手300の位置を変更し、この被写体全体に焦点を合わせ、この被写体の手300を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の手300に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
ステップS18において、検知モジュール172が被写体の音声を検知する場合について説明する。検知モジュール172は、ステップS17において、被写体の音声を検知した場合、表示モジュール171は、この被写体の口の位置を、画面中央付近に合わせた変更画像を表示する。
図7は、表示モジュール171が表示する変更画像を示す図である。図7において、表示モジュール171は、画像表示領域の中央の位置に、被写体の口400の位置を変更し、この被写体全体に焦点を合わせ、この被写体の口400を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の口400に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
以上が、表示画像変更処理である。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 全天球カメラ表示画像変更システム、100 情報端末

Claims (10)

  1. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知する視線検知手段と、
    前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
    を備えることを特徴とする全天球カメラ表示画像変更システム。
  2. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知する動作検知手段と、
    前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
    を備えることを特徴とする全天球カメラ表示画像変更システム。
  3. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知する音声検知手段と、
    前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
    を備えることを特徴とする全天球カメラ表示画像変更システム。
  4. 前記表示画像変更手段は、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
    ことを特徴とする請求項1乃至3のいずれか一項に記載の全天球カメラ表示画像変更システム。
  5. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップと、
    前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
    を備えることを特徴とする全天球カメラ表示画像変更方法。
  6. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップと、
    前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップと、
    を備えることを特徴とする全天球カメラ表示画像変更方法。
  7. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップと、
    前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップと、
    を備えることを特徴とする全天球カメラ表示画像変更方法。
  8. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップ、
    前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
  9. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップ、
    前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
  10. 全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップ、
    前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
JP2018511806A 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム Active JP6393854B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/061847 WO2017179135A1 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6393854B2 true JP6393854B2 (ja) 2018-09-19
JPWO2017179135A1 JPWO2017179135A1 (ja) 2018-11-22

Family

ID=60041533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511806A Active JP6393854B2 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム

Country Status (3)

Country Link
US (1) US10389947B2 (ja)
JP (1) JP6393854B2 (ja)
WO (1) WO2017179135A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244175B2 (en) * 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
CN111953907B (zh) * 2020-08-28 2021-11-23 维沃移动通信有限公司 构图方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336508A (ja) * 2003-05-09 2004-11-25 Sony Ericsson Mobilecommunications Japan Inc 携帯情報処理装置およびその撮影制御方法、プログラム、並びに記録媒体
JP2010199728A (ja) * 2009-02-23 2010-09-09 Olympus Imaging Corp 撮像装置
JP2013098965A (ja) * 2011-11-07 2013-05-20 Olympus Corp 撮像装置
JP2014220723A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2016048856A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262789B2 (en) * 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window
JP2015230625A (ja) 2014-06-05 2015-12-21 キヤノン株式会社 画像表示装置
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336508A (ja) * 2003-05-09 2004-11-25 Sony Ericsson Mobilecommunications Japan Inc 携帯情報処理装置およびその撮影制御方法、プログラム、並びに記録媒体
JP2010199728A (ja) * 2009-02-23 2010-09-09 Olympus Imaging Corp 撮像装置
JP2013098965A (ja) * 2011-11-07 2013-05-20 Olympus Corp 撮像装置
JP2014220723A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2016048856A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Also Published As

Publication number Publication date
US10389947B2 (en) 2019-08-20
US20180352168A1 (en) 2018-12-06
JPWO2017179135A1 (ja) 2018-11-22
WO2017179135A1 (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US11170580B2 (en) Information processing device, information processing method, and recording medium
JP4384240B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
WO2021147434A1 (zh) 基于人工智能的人脸识别方法、装置、设备及介质
US10126813B2 (en) Omni-directional camera
JP2017208638A (ja) 虹彩認証装置、虹彩認証方法、及びプログラム
US20210004081A1 (en) Information processing apparatus, information processing method, and program
US20230060453A1 (en) Electronic device and operation method thereof
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JP6393854B2 (ja) 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2017083916A (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
WO2019044135A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
JP2016035625A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6079418B2 (ja) 入力装置および入力プログラム
Yeo et al. OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera
JP2020001128A (ja) 接客用ロボット、視線誘導方法および視線誘導プログラム
JP2010277284A (ja) 画像抽出装置、表示装置、画像抽出方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180623

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180623

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180806

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6393854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250