JP2021099542A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021099542A
JP2021099542A JP2019229721A JP2019229721A JP2021099542A JP 2021099542 A JP2021099542 A JP 2021099542A JP 2019229721 A JP2019229721 A JP 2019229721A JP 2019229721 A JP2019229721 A JP 2019229721A JP 2021099542 A JP2021099542 A JP 2021099542A
Authority
JP
Japan
Prior art keywords
aerial image
image
person
dimensions
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019229721A
Other languages
English (en)
Other versions
JP7413758B2 (ja
Inventor
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2019229721A priority Critical patent/JP7413758B2/ja
Priority to US16/875,158 priority patent/US20210191146A1/en
Publication of JP2021099542A publication Critical patent/JP2021099542A/ja
Application granted granted Critical
Publication of JP7413758B2 publication Critical patent/JP7413758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】空気中の像が一定の表現で表示され続ける場合に比して、多様な表現を可能にする。【解決手段】情報処理装置はプロセッサを有し、プロセッサは、空気中に形成される像の周辺における人の状態に応じ、像の次元の変更、又は、像の大きさの変更を指示する。【選択図】図2

Description

本発明は、情報処理装置及びプログラムに関する。
現在、空気中に像を形成する技術として様々な方式が提案されており、一部の技術は広告の分野やゲームの分野で使用されている。
特開2007−044241号公報
広告は人に観察されることが重要である。空気中に形成される広告の像も同様である。
本発明は、空気中の像が一定の表現で表示され続ける場合に比して、多様な表現を可能とする。
請求項1に記載の発明は、プロセッサを有し、前記プロセッサは、空気中に形成される像の周辺における人の状態に応じ、当該像の次元の変更、又は、当該像の大きさの変更を指示する、情報処理装置である。
請求項2に記載の発明は、前記プロセッサは、前記像の周辺における人の存在の有無に応じ、当該像の形成の仕方を切り替える、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記プロセッサは、前記像の周辺に人の存在が検出されない場合、2次元による当該像の形成を指示し、前記像の周辺に人の存在が検出された場合、3次元による当該像の形成を指示する、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、前記プロセッサは、前記像に対する人の視線の有無に応じ、当該像の形成の仕方を切り替える、請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記プロセッサは、前記像に対する人の視線が検出されない場合、2次元による当該像の形成を指示し、前記像に対する人の視線が検出された場合、3次元による当該像の形成を指示する、請求項4に記載の情報処理装置である。
請求項6に記載の発明は、3次元で形成される前記像の位置は、2次元で形成される当該像の位置よりも人に近い、請求項3又は5に記載の情報処理装置である。
請求項7に記載の発明は、前記プロセッサは、3次元で形成される場合における前記像の体積の拡大を制御する、請求項6に記載の情報処理装置である。
請求項8に記載の発明は、3次元で形成される前記像の体積が時間の経過に伴って拡大される、請求項7に記載の情報処理装置である。
請求項9に記載の発明は、3次元で形成される前記像の位置は、時間の経過に伴い、2次元で形成される当該像の位置に近づくように制御される、請求項8に記載の情報処理装置である。
請求項10に記載の発明は、3次元で形成される前記像の体積は、2次元で形成される当該像の位置への人の接近に伴い拡大される、請求項7に記載の情報処理装置である。
請求項11に記載の発明は、3次元で形成される前記像の拡大は、2次元で形成される当該像の位置と人との距離が予め定めた値に達すると停止される、請求項10に記載の情報処理装置である。
請求項12に記載の発明は、3次元で形成される前記像の体積は、中心の位置を固定した状態で拡大される、請求項7に記載の情報処理装置である。
請求項13に記載の発明は、3次元で形成される前記像の体積は、2次元で形成される当該像の位置から人の方向に拡大される、請求項7に記載の情報処理装置である。
請求項14に記載の発明は、3次元で形成される前記像を構成するオブジェクトは、当該像の拡大に応じて変化する、請求項7に記載の情報処理装置である。
請求項15に記載の発明は、3次元で形成される前記像の拡大に伴い、前記オブジェクトの対象が成長する、請求項14に記載の情報処理装置である。
請求項16に記載の発明は、前記プロセッサは、3次元で形成される前記像の体積の縮小を制御する、請求項6に記載の情報処理装置である。
請求項17に記載の発明は、3次元で形成される前記像の体積が時間の経過に伴って縮小される、請求項16に記載の情報処理装置である。
請求項18に記載の発明は、3次元で形成される前記像の位置は、時間の経過に伴い、人の位置に近づくように制御される、請求項17に記載の情報処理装置である。
請求項19に記載の発明は、3次元で形成される前記像の体積は、2次元で形成される当該像の位置への人の接近に伴い縮小される、請求項16に記載の情報処理装置である。
請求項20に記載の発明は、3次元で形成される前記像の縮小は、2次元で形成される当該像の位置と人との距離が予め定めた値に達すると停止される、請求項19に記載の情報処理装置である。
請求項21に記載の発明は、3次元で形成される前記像の体積は、中心の位置を固定した状態で縮小される、請求項16に記載の情報処理装置である。
請求項22に記載の発明は、3次元で形成される前記像の体積は、人の位置から2次元で形成される当該像の位置の方向に縮小される、請求項16に記載の情報処理装置である。
請求項23に記載の発明は、3次元で形成される前記像を構成するオブジェクトは、当該像の縮小に応じて変化する、請求項16に記載の情報処理装置である。
請求項24に記載の発明は、3次元で形成される前記像の縮小に伴い、前記オブジェクトの対象が先祖返りする、請求項23に記載の情報処理装置である。
請求項25に記載の発明は、前記プロセッサは、前記像の周辺における人の表情に応じ、当該像の内容を変更する、請求項1に記載の情報処理装置である。
請求項26に記載の発明は、コンピュータに、空気中に形成される像の周辺における人の状態に応じ、当該像の次元の変更、又は、当該像の大きさの変更を指示する機能
を実現させるプログラムである。
請求項1記載の発明によれば、空気中の像が一定の表現で表示され続ける場合に比して、多様な表現を可能にできる。
請求項2記載の発明によれば、像が観察される可能性を高めることができる。
請求項3記載の発明によれば、像が観察される可能性を高めることができる。
請求項4記載の発明によれば、像が観察される可能性を高めることができる。
請求項5記載の発明によれば、像が観察される可能性を高めることができる。
請求項6記載の発明によれば、像に対する人の関心を高めることができる。
請求項7記載の発明によれば、像が観察される可能性を高めることができる。
請求項8記載の発明によれば、像が観察される可能性を高めることができる。
請求項9記載の発明によれば、人を2次元で形成される像の位置に誘導できる。
請求項10記載の発明によれば、人を2次元で形成される像の位置に誘導できる。
請求項11記載の発明によれば、人による像の確認を容易にできる。
請求項12記載の発明によれば、像が観察される可能性を高めることができる。
請求項13記載の発明によれば、像が観察される可能性を高めることができる。
請求項14記載の発明によれば、像に対する人の関心を高めることができる。
請求項15記載の発明によれば、像に対する人の関心を高めることができる。
請求項16記載の発明によれば、像に対する人の関心を高めることができる。
請求項17記載の発明によれば、像が観察される可能性を高めることができる。
請求項18記載の発明によれば、人を2次元で形成される像の位置に誘導できる。
請求項19記載の発明によれば、人を2次元で形成される像の位置に誘導できる。
請求項20記載の発明によれば、人による像の確認を容易にできる。
請求項21記載の発明によれば、像が観察される可能性を高めることができる。
請求項22記載の発明によれば、像が観察される可能性を高めることができる。
請求項23記載の発明によれば、像に対する人の関心を高めることができる。
請求項24記載の発明によれば、像に対する人の関心を高めることができる。
請求項25記載の発明によれば、像に対する人の関心を高めることができる。
請求項26記載の発明によれば、空気中の像が一定の表現で表示され続ける場合に比して、多様な表現を可能にできる。
実施の形態で使用する情報処理システムの構成例を示す図である。 実施の形態1における空中像の形状の切り替え処理の一例を説明するフローチャートである。 ステップ2の判定に使用する予め定めた範囲の一例を説明する図である。(A)は予め定めた範囲内に人が位置しないと判定される場合を示し、(B)は予め定めた範囲内に人が位置すると判定される場合を示す。 ステップ2の判定に使用する予め定めた範囲の他の一例を説明する図である。(A)は予め定めた範囲内に人が位置しないと判定される場合を示し、(B)は予め定めた範囲内に人が位置すると判定される場合を示す。 空気中に形成される空中像の形状の切り替えを説明する図である。(A)はカメラの撮像範囲に人が位置しない場合を示し、(B)はステップ2の判定に用いる範囲の外側に人が位置する場合を示し、(C)はステップ2の判定に用いる範囲の内側に人が位置する場合を示す。 空気中に形成される空中像の形状の切り替えの他の例を説明する図である。(A)はカメラの撮像範囲に人が位置しない場合を示し、(B)はステップ2の判定に用いる範囲の外側に人が位置する場合を示し、(C)はステップ2の判定に用いる範囲の内側に人が位置する場合を示す。 実施の形態2における空中像の形状の切り替え処理の一例を説明するフローチャートである。 空気中に形成される空中像の形状の切り替えを説明する図である。(A)は人の視線の方向が空中像の方向とは異なる場合を示し、(B)は人の視線の方向が空中像の方向である場合を示し、(C)は人の視線の方向が空中像の方向である場合における空中像の形状の変化を示す。 空気中に形成される空中像の形状の切り替えの他の例を説明する図である。(A)は人の視線の方向が空中像の方向とは異なる場合を示し、(B)は人の視線の方向が空中像の方向である場合を示し、(C)は人の視線の方向が空中像の方向である場合における空中像の形状の変化を示す。 3次元で形成される空中像の体積を時間の経過に伴って拡大する例を説明する図である。(A)は空中像の体積を1方向に拡大する例を示し、(B)は空中像の体積を2方向に拡大する例を示し、(C)は空中像の体積を3方向に拡大する例を示す。 体積の拡大が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と同じ場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。 体積の拡大が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と異なる場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。 2次元の空中像が形成される位置P1に人を誘導する手法の一例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1の手前まで近づいた場合の形状を示す。 2次元の空中像が形成される位置P1に人を誘導する手法の他の例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1により近づいた場合の形状を示し、(E)は人が位置P1の手前まで近づいた場合の形状を示す。 3次元で形成される空中像の中心を固定したまま空中像の体積を拡大する例を説明する図である。 3次元で形成される空中像を構成するオブジェクトを体積の拡大に応じて変化させる例を説明する図である。(A)は体積が最も小さい空中像を構成するオブジェクトの例であり、(B)は体積が2番目に大きい空中像を構成するオブジェクトの例であり、(C)は体積が最も大きい空中像を構成するオブジェクトの例である。 3次元で形成される空中像の体積を時間の経過に伴って縮小する例を説明する図である。(A)は空中像の体積を1方向に縮小する例を示し、(B)は空中像の体積を2方向に縮小する例を示し、(C)は空中像の体積を3方向に縮小する例を示す。 体積の縮小が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と同じ場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。 体積の縮小が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と異なる場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。 2次元の空中像が形成される位置P1に人を誘導する手法の一例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1の手前まで近づいた場合の形状を示す。 2次元の空中像が形成される位置P1に人を誘導する手法の他の例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1により近づいた場合の形状を示し、(E)は人が位置P1の手前まで近づいた場合の形状を示す。 3次元で形成される空中像の中心を固定したまま空中像の体積を縮小する例を説明する図である。 3次元で形成される空中像を構成するオブジェクトを体積の縮小に応じて変化させる例を説明する図である。(A)は体積が最も大きい空中像を構成するオブジェクトの例であり、(B)は体積が2番目に大きい空中像を構成するオブジェクトの例であり、(C)は体積が最も小さい空中像を構成するオブジェクトの例である。 実施の形態4における空中像の内容の切り替え処理の一例を説明するフローチャートである。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<システム構成>
図1は、実施の形態で使用する情報処理システム1の構成例を示す図である。
図1に示す情報処理システム1は、空中に浮かび上がるように像(以下「空中像」ともいう)を形成する空中像形成装置10と、空中像形成装置10等を制御する制御装置20と、空中像の周辺を撮像の範囲とするカメラ30とを有している。
本実施の形態における「人」は、空中像を観察する人と、空中像を観察していない人の両方を含む。
本実施の形態の場合、空中像は、広告等の提示に使用される。本実施の形態における広告は、商品、サービス等への関心の喚起に用いられる内容を含んでいるコンテンツの全てをいう。換言すると、広告は空中像の一部分でもよい。本実施の形態では、広告に用いられる空中像を、広告の像ともいう。もっとも、広告は空中像の内容の一例であり、空中像の内容は広告に限定されない。
空中像の形状は任意であり、立体形状でも平面形状でもよい。立体形状の例には、球形、多面体、円柱その他の曲面体、人の形、動物の形、電化製品の形、果物の形等がある。
平面形状の例には、円形、多角形、人の形、動物の形、電化製品の形、果物の形等がある。ここでの人や動物は、仮想のキャラクタや生物でもよい。
空中に形成される空中像は、立体の表面を規定する像に限らず、立体の表面を規定する像とその内部に対応する像の両方で構成されてもよい。換言すると、例えば空中像は、ボクセルデータといった、3次元の表面のみならず、内部の構造にも画像の属性を与えられるデータにより表現されてもよい。
本実施の形態における空中像は、静止画像でもよいし、動画像でもよい。
本実施の形態における空中像形成装置10は、空中に空中像を直接形成する装置であり、既に様々な方法が提案され、一部は実用化されている。
例えば空中像の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微小なレンズアレイを用いる方法、視差バリアを用いる方法、プラズマ発光、ホログラムを用いる方法等がある。これらの方式によって生成される空中像は、通り抜けることが可能である。
なお、通り抜けができない空中像を形成する空中像形成装置10には、現実の空間に存在するスクリーンに像を投影するプロジェクタがある。この他、空中像形成装置10には、発光素子のアレイを実空間で高速に移動させ、残像現象を用いて空中像を視認させる装置もある。
本実施の形態における空中像形成装置10は、平面形状の空中像と立体形状の空中像の両方を空気中に形成することが可能である。平面形状の空中像は2次元で形成される空中像の一例であり、立体形状の空中像は3次元で形成される空中像の一例である。因みに、2次元で形成される空中像は、3次元で形成される空中像のうち1つの面にのみ像が形成される場合も含む。この意味で、2次元で形成される空中像は、3次元で形成される空中像の一形態である。
もっとも、本実施の形態の場合、平面形状は、平面として人に認識される形状であればよく、数学的な意味での平面である必要はない。同様に、本実施の形態の場合、立体形状とは、立体として人に認識される形状であればよく、数学的な意味での立体である必要はない。例えば矩形形状の平板を湾曲させた曲面を平面として扱ってもよいし、立体として扱ってもよい。
制御装置20は、プログラムの実行を通じて空中像データの生成を制御するプロセッサ21と、プログラムや各種のデータを記憶する記憶装置22と、外部との通信を実現するネットワークIF(=InterFace)23と、これらを接続するバスその他の信号線24とを有している。制御装置20は、情報処理装置の一例である。
プロセッサ21は、例えばCPUで構成される。記憶装置22は、例えばBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)と、ワークエリアとして用いられるRAM(=Random Access Memory)と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
もっとも、ROMやRAMがプロセッサ21の一部に含まれることを妨げない。プロセッサ21と記憶装置22は、コンピュータを構成する。
カメラ30は、空中像の周囲に位置する人の撮像に用いられる。本実施の形態の場合、カメラ30は、例えば空中像と人との位置に関する情報、人の視線の方向に関する情報、人の表情に関する情報の取得に利用される。これらの情報は、空中像の周辺における人の状態の一例である。空中像の周辺には、空中像を含めてもよい。
ここでの空中像と人との位置に関する情報には、例えば空中像と人との間のおおよその距離、人の移動の方向が含まれる。距離の測定には、例えばステレオカメラで撮像された一組の画像から距離を測定する方法の他、単眼のカメラで撮像された1枚のカラー画像からも測定が可能である。単眼カメラを用いる測距技術は既に実用化されている。単眼カメラを用いる場合、2色に分割されたカラーフィルターを通じて撮像されたカラー画像に現れるボケの情報から距離を測定する。
また、距離の測定に関しては、例えば測距用のイメージセンサ、照射されたレーザ光が人で反射されて戻って来るまでの時間を測定するレーザ距離計を用いることも可能である。
空中像と人との位置の関係、人の視線の方向、人の表情の取得等を推定又は計算する処理は、プロセッサ21が実行する。
<空中像の形状の切り替え処理>
図2は、実施の形態1における空中像の形状の切り替え処理の一例を説明するフローチャートである。図2に示す処理は、プロセッサ21(図1参照)によるプログラムの実行を通じて実現される。
まず、プロセッサ21は、空中像を形成する期間(すなわち形成期間)内か否かを判定する(ステップ1)。ステップ1で否定結果が得られた場合、プロセッサ21は、ステップ1の判定を繰り返す。なお、ステップ1で否定結果が得られた時点で空気中に形成されている空中像が存在する場合、プロセッサ21は、空中像の形成を終了させる。
ステップ1で否定結果が得られる場合には、例えば判定の時点が、契約で定めた広告を掲載する期間に含まれない場合がある。
ステップ1で肯定結果が得られた場合、プロセッサ21は、空中像の位置を基準に予め定めた範囲内に人が位置するか否かを判定する(ステップ2)。本実施の形態の場合、人の位置は、カメラ30(図1参照)で撮像された画像を処理することで特定される。勿論、人の位置は、プロセッサ21によるプログラムの実行により特定される。
ステップ2で肯定結果が得られた場合、プロセッサ21は、3次元の空中像の形成を指示する(ステップ3)。具体的には、プロセッサ21は、3次元形状の広告データを形成し、形成された広告データを空中像形成装置10(図1参照)に出力する。
一方、ステップ2で否定結果が得られた場合、プロセッサ21は、2次元の空中像の形成を指示する(ステップ4)。具体的には、プロセッサ21は、2次元形状の広告データを形成し、形成された広告データを空中像形成装置10に出力する。
なお、図2の説明では、ステップ2の判定の前提として人の位置が特定されることを想定しているが、何らかの移動体が予め定めた範囲に位置するか否かを判定してもよい。この場合、カメラ30で撮像された画像内に人が写っているか否かを判定する処理の省略が可能になる。一方で、ベビーカー、ショッピングカート、ペット等が予め定めた範囲内に位置しても、空中像の形状を3次元の像に切り替えることが可能になる。
図2に示す処理は、プロセッサ21により繰り返し実行される。
図3は、ステップ2の判定に使用する予め定めた範囲の一例を説明する図である。(A)は予め定めた範囲内に人が位置しないと判定される場合を示し、(B)は予め定めた範囲内に人が位置すると判定される場合を示す。
図3の空中像は、X軸とZ軸で規定される面内に形成されている。このため、図3では、2次元の空中像を示している。具体的には、矩形状の空中像を想定する。
本実施の形態の場合、ステップ2の判定に使用する範囲は、2次元の空中像が形成される位置を基準に設定されている。本実施の形態の場合、空中像の基本的な形状を2次元とする。なお、2次元の空中像が形成される位置が時間等に応じて移動する場合には、範囲の設定に用いる基準の位置も変更される。
図3に示す範囲は、空中像を上空から表している。図3における範囲は、長軸を空中像の前方方向とする楕円を短軸の位置で半分に切断した形状を有している。換言すると、短軸が、空中像が形成される面内に位置している。
図3では、長軸の長さをL0で表している。もっとも、ステップ2の判定に用いる範囲やその外縁を示す目印等は、実際の空間内に設けられるとは限らない。このため、ステップ2の判定は、厳格な意味での判定ではない。また、厳格な意味での判定でなくても、実用上支障はない。因みに、ステップ2で用いる範囲は、例えばカメラ30(図1参照)が設置されている場所から撮像される画像について事前に定められている。
いずれにしても、図3に一点鎖線で示す範囲の外側に人が位置する場合にはステップ2で否定結果が得られる。反対に、図3に一点鎖線で示す範囲の内側に人が位置する場合にはステップ2で肯定結果が得られる。
なお、図3の説明では、上空から見た範囲の形状が楕円形状を半分に切断した形状の例を示しているが、範囲の形状は任意である。例えば扇型でもよいし、矩形形状でもよいし、半円形状でもよい。
また、図3では、空中像の主な観察側を前方方向と呼び、ステップ2の判定に用いる範囲を設定しているが、空中像の前方側と背面側の両方向にステップ2の判定に用いる範囲を設定してもよい。空中像の一部は、物理的なディスプレイを用いた表示とは異なり、背面側からの観察も可能であるためである。
なお、主な観察側は、空中像に文字が含まれる場合に、正しく読める側である。
図4は、ステップ2の判定に使用する予め定めた範囲の他の一例を説明する図である。(A)は予め定めた範囲内に人が位置しないと判定される場合を示し、(B)は予め定めた範囲内に人が位置すると判定される場合を示す。図4には、図3との対応部分に対応する符号を付して示している。
図4に示す範囲は、空中像の全体を含む楕円形状の場合である。
また、図3及び図4に示す範囲は、空中像を上空から見た場合の形状を表しているが、ステップ2の判定に使用する範囲は、Z軸の方向についても定められていてもよい。すなわち、ステップ2の判定に使用する範囲は平面形状に限らず、立体形状として設定されていてもよい。
図5は、空気中に形成される空中像の形状の切り替えを説明する図である。(A)はカメラ30(図1参照)の撮像範囲に人が位置しない場合を示し、(B)はステップ2の判定に用いる範囲の外側に人が位置する場合を示し、(C)はステップ2の判定に用いる範囲の内側に人が位置する場合を示す。
図5においては、2次元の空中像が形成される位置をP1で表している。図5の場合も、判定に使用する範囲は、空中像の主な観察側と定めた片面側だけである。
(A)の場合、P1の周囲に人はいないが2次元の空中像が形成されている。本実施の形態の場合、空中像の形成期間内であれば、P1の周辺における人の有無に関係なく空中像が形成される。
(B)の場合、P1の周辺に人が位置している。ただし、その人と空中像とのY軸方向の距離L1は、ステップ2(図2参照)の判定に用いる範囲の外縁を与える距離L0より大きい。このため、空気中に形成される空中像は2次元のままである。
(C)の場合、2次元の空中像が形成される位置と人との距離L2は、ステップ2の判定に用いる範囲の外縁を与える距離L0よりも小さい。このため、空中像は3次元の形態に切り替えられている。
すなわち、本実施の形態におけるプロセッサ21(図1参照)は、2次元で形成されている空中像の周辺に定めた範囲の内側に人が侵入すると、空中像の形状を2次元の形状から3次元の形状に変化させる。この形状の変化は、人の注意を引くことになり、空中像が観察される可能性を高める。換言すると、広告が観察される機会を増やすことが可能である。
図6は、空気中に形成される空中像の形状の切り替えの他の例を説明する図である。(A)はカメラ30(図1参照)の撮像範囲に人が位置しない場合を示し、(B)はステップ2の判定に用いる範囲の外側に人が位置する場合を示し、(C)はステップ2の判定に用いる範囲の内側に人が位置する場合を示す。図6には、図5との対応部分に対応する符号を付して示している。
図6の場合、3次元による空中像が形成される位置が図5の例と異なっている。図5の場合、3次元で形成される空中像のうち人に対して奥側の面は、2次元の空中像が形成される面を含んでいるか、その近傍に位置していた。
しかし、図6の場合、3次元の空中像が形成される位置は、図5の位置に比して人の側に近づいている。換言すると、図6で3次元の空中像が形成される場合、人のすぐ近くに3次元の空中像が出現するので、空中像に対する関心を高める効果が期待される。
<実施の形態2>
続いて、図1に示す情報処理システム1(図1参照)を使用した実施の形態2について説明する。
本実施の形態の場合も、図1に示す情報処理システム1を使用する。ただし、本実施の形態の場合、空気中に形成する空中像の形状の切り替えに用いる処理の内容が実施の形態1と異なる。
図7は、実施の形態2における空中像の形状の切り替え処理の一例を説明するフローチャートである。図7に示す処理は、プロセッサ21(図1参照)によるプログラムの実行により実現される。なお、図7には、図2との対応部分に対応する符号を付して示している。
まず、プロセッサ21は、空中像を形成する期間(すなわち形成期間)内か否かを判定する(ステップ1)。この処理は、実施の形態1と同じである。すなわち、ステップ1で否定結果が得られている間、プロセッサ21は、ステップ1の判定を繰り返す。
ただし、ステップ1で肯定結果が得られた場合、プロセッサ21は、カメラ30(図1参照)で撮像された人の視線の方向が空中像の方向か否かを判定する(ステップ11)。本実施の形態の場合、プロセッサ21は、カメラ30で撮像された画像から認識された人の視線の方向を特定する。
なお、本実施の形態における記憶装置22(図1参照)には、カメラ30の取り付け位置と、カメラ30が撮像する方向と、2次元の空中像が形成される位置P1の情報が記憶されている。
プロセッサ21は、これらの情報に基づいて、カメラ30で撮像された画像内で認識された人の視線の方向が2次元で形成された空中像の方向か否かを判定する。
なお、プロセッサ21による視線の方向の判定は、厳格な意味での判定ではない。また、厳格な意味での判定でなくても、実用上支障はない。本実施の形態における制御の目的は、人に対して空中像に気づかせることや空中像への人の興味や関心を高めることだからである。実際、人の視線の方向が厳密には空中像が形成されている位置の方向とは異なっていても、空中像の形状が2次元から3次元に変化することで空中像に気づく可能性もある。また、空中像に気づかない人にも広告の提供者にも不利益はない。
人の視線の向きが空中像の方向である場合、プロセッサ21は、ステップ11で肯定結果を得る。この場合、プロセッサ21は、3次元の空中像の形成を指示する(ステップ3)。
一方、人の視線の向きが空中像とは別の方向である場合、プロセッサ21は、ステップ11で否定結果を得る。この場合、プロセッサ21は、2次元の空中像の形成を指示する(ステップ4)。
図8は、空気中に形成される空中像の形状の切り替えを説明する図である。(A)は人の視線の方向が空中像の方向とは異なる場合を示し、(B)は人の視線の方向が空中像の方向である場合を示し、(C)は人の視線の方向が空中像の方向である場合における空中像の形状の変化を示す。
図8の場合も、2次元の空中像が形成される位置をP1で表している。
(A)の場合、視線の方向は、空中像の方向とは反対側である。このように、人が空中像を見ていない場合、空中像は2次元の形状で形成される。
これに対し、(B)の場合、視線の方向は、空中像の方向に向かっている。この場合、プロセッサ21は、(C)に示すように、空中像の形状を3次元に切り替える。この形状の変化は、人の注意を引くことになり、空中像が観察される可能性を高める。換言すると、広告が観察される機会が増えることを意味する。
図9は、空気中に形成される空中像の形状の切り替えの他の例を説明する図である。(A)は人の視線の方向が空中像の方向とは異なる場合を示し、(B)は人の視線の方向が空中像の方向である場合を示し、(C)は人の視線の方向が空中像の方向である場合における空中像の形状の変化を示す。図9には、図8との対応部分に対応する符号を付して示している。
図9の場合、3次元による空中像が形成される位置が図8の例と異なっている。図8の場合、3次元で形成される空中像のうち人に対して奥側の面は、2次元の空中像が形成される面を含んでいるか、その近傍に位置していた。
しかし、図9の場合、3次元の空中像が形成される位置は、図8の位置に比して人の側に近づいている。換言すると、図9で3次元の空中像が形成される場合、人のすぐ近くに3次元の空中像が出現するので、空中像に対する関心を高める効果が期待される。
本実施の形態の場合、人の位置は、実施の形態1でステップ2の判定に使用した範囲とは無関係である。このため、ステップ2の判定に使用した範囲の外側に人が位置する場合でも、人の視線の方向が空中像の方向に向かっていれば、空中像の形状は、2次元の形状から3次元の形状に切り替えられることになる。
本実施の形態の場合、2次元の形状の空中像が形成される位置P1と人との距離が遠くても空中像の形状を3次元の形状に切り替えることで、人に空中像を気づかせる効果が期待される。その結果として、空中像に気づいた人が、空中像の内容を確認するために空中像に近づく機会も増える可能性がある。
一方で、人と空中像の距離が遠すぎると、空中像の存在には気づいても、人の位置からは空中像の内容が分からない。このため、空中像の形状の変化が広告の効果の向上につながらない可能性もある。
このため、実施の形態2の場合にも、実施の形態1のように、人と空中像との距離をステップ11の判定の条件に追加してもよい。
具体的には、人の視線の方向が空中像の方向を向いていても、人と空中像との距離が予め定めた距離以上離れている場合やステップ2(図2参照)の判定で用いた範囲の内側に人が位置しない場合には、ステップ11で肯定結果が得られないように制御してもよい。
この制御を用いれば、人による空中像の内容の確認が可能であって、人の視線の方向が空中像の方向である場合に、空中像を2次元から3次元に変化させ、空中像に対する人の関心を高めることが可能になる。
また、この場合には、人と空中像との距離が近くても、人の視線が空中像とは異なる方向を向いている場合には、空中像の形状を2次元の状態に維持することも可能になる。空中像の形状を2次元から3次元に変化させても、人が空中像の方向を見ていなければ空中像に対する人の関心や興味に変化が生じないためである。
<実施の形態3>
以下では、3次元による空中像の形成に使用することが可能な処理の例を説明する。
<例1>
図10は、3次元で形成される空中像の体積を時間の経過に伴って拡大する例を説明する図である。(A)は空中像の体積を1方向に拡大する例を示し、(B)は空中像の体積を2方向に拡大する例を示し、(C)は空中像の体積を3方向に拡大する例を示す。
図10の例では、空中像の体積にのみ着目するが、色調を変更したり、輝度を変更したり、空中像の内容を時間の経過や形状の拡大に連動させることも可能である。
なお、(A)、(B)及び(C)の横軸はいずれも時間であり、時点T1における空中像の形状が、時点T2、T3にどのように変化するかを示している。図10の場合、時点T1における空中像の形状は立方体である。
(A)に示す例は、X軸の方向への拡大である。この例の場合、人から見た3次元の空中像は、時間の経過に伴って、水平方向に拡大するように視認される。
(B)に示す例は、X軸の方向とY軸の方向のそれぞれの方向への同じ倍率での拡大である。もっとも、拡大の倍率は、X軸の方向とY軸の方向と異なってもよい。また、拡大の倍率は固定に限らず、時間の経過に伴って変化してもよい。Y軸の方向は人から見て奥行きの方向であるので、(B)の例の場合、3次元で形成された空中像は、時間の経過に伴って奥行き方向の厚みが増加するように視認される。
(C)に示す例は、X軸、Y軸及びZ軸の全ての方向への等倍の拡大である。このため、(C)に示す例では、空中像は立方体の形状のまま拡大している。もっとも、拡大の倍率は、各軸の方向で異なってもよい。また、拡大の倍率は固定に限らず、時間の経過に伴って変化してもよい。(C)の例の場合、3次元で形成された空中像は、時間の経過に伴って一様に拡大するように視認される。
<例2>
例1では、時間の経過に伴い空中像の体積を拡大させる場合の形状の変化の例について説明した。
以下では、時間の経過に伴って体積が変化する3次元の空中像の拡大の方向の違いについて説明する。
図11は、体積の拡大が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と同じ場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。
図11の時点T1における空中像の配置は、図5(C)や図8(C)に対応する。図11の場合、3次元で形成された空中像は時間の経過に伴って人に近づく方向に拡大されている。具体的にはY軸方向への拡大である。
図12は、体積の拡大が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と異なる場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。
図12の時点T1における空中像の配置は、図6(C)や図9(C)に対応する。図12の場合、3次元で形成された空中像は時間の経過に伴って人から遠ざかる方向に拡大され、最終的には、2次元で形成されていた空中像の位置P1に近づいている。なお、図12の場合、空中像はY軸方向に拡大されるだけでなく、時間の経過に伴ってY軸方向に移動している。具体的には、空中像は、人から遠ざかる方向に移動されている。換言すると、3次元で形成された空中像は、空中像が2次元で形成される位置P1に近づく方向に移動されている。
3次元で形成される空中像の各時点における形状は同じでも、拡大が開始する位置や拡大の方向が異なることで、空中像を観察する人に異なる印象を与えることが可能である。
<例3>
例2の場合、時間の経過に伴って3次元で形成される空中像の体積が拡大されているが、以下では、人の位置との関係に応じて空中像の体積の拡大を制御する例について説明する。
図13は、2次元の空中像が形成される位置P1に人を誘導する手法の一例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1の手前まで近づいた場合の形状を示す。ここでの位置P1は、空中像が2次元で形成される位置である。
図13の場合も、空中像は体積が拡大するように変形されているが、体積の制御には、時間ではなく人と位置P1との距離が用いられている。
例えば人と位置P1との距離がL11である(A)の場合、3次元で形成される空中像は、位置P1と人の中間に形成されている。この配置は、図6(C)や図9(C)に対応する。
空中像に気づいた人が空中像に近づくように移動すると、空中像の体積は、人と位置P1との距離に応じて拡大される。図13の場合、距離L12(<L11)の場合の空中像の体積は、距離L11の場合の空中像の体積よりも大きく、距離L13(<L12)の場合の空中像の体積は、距離L12の場合の空中像の体積よりも大きい。
この空中像の体積の変化は、前述した例に示すように、1方向への拡大でもよいし、2方向への拡大でもよい。図13に示す例は、3方向への拡大の場合である。また、拡大の倍率は固定でもよいし、人と位置P1との距離に応じて可変してもよい。
なお、人と位置P1との距離L14(<L13)が予め定めた距離より近くなると、空中像の形状は(D)に示すように2次元の形状に制御される。
図13に示す例のように、空中像の体積を変化させることで、空中像に関心や興味を持った人を特定の位置に誘導することが可能である。図13では、2次元で空中像が形成される位置P1に人を誘導し、広告の効果を高めている。
なお、空中像の体積の拡大は、人と位置P1との距離が予め定めた距離より近くなると停止してもよい。
図14は、2次元の空中像が形成される位置P1に人を誘導する手法の他の例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1により近づいた場合の形状を示し、(E)は人が位置P1の手前まで近づいた場合の形状を示す。図14には、図13との対応部分に対応する符号を付して示している。
図14の場合、人と位置P1との距離L13Aが予め定めた距離L10より小さくなったことを条件として、空中像の拡大を停止している。従って、(C)の空中像の体積と(D)の空中像の体積は同じである。
空中像の体積が大きいほど人の関心や興味が高まるわけでもなく、物理的に形成が可能な空中像の大きさにも限度がある。このため、図14に示す制御も用意する。
<例4>
前述の例1〜3の場合、3次元で形成された空中像の拡大に応じて空中像の中心も移動しているが、中心の位置は固定した状態で空中像を拡大することも可能である。
図15は、3次元で形成される空中像の中心を固定したまま空中像の体積を拡大する例を説明する図である。
図15に示す空中像は、立方体形状である。図15には、体積が異なる3つの空中像が示されている。因みに、最も小さい立方体は、図10〜図12の時点T1又は図13〜図14の距離L11における空中像に対応する。また、2番目に大きい立方体は、図10〜図12の時点T2又は図13〜図14の距離L12における空中像に対応する。そして、最も大きい立方体は、図10〜図12の時点T3又は図13〜図14の距離L13における空中像に対応する。
空中像の中心を固定したまま、時間の経過や人の接近に伴って空中像の体積が拡大することでも、空中像として表現される広告への関心や興味を高めることが可能である。
<例5>
前述の例1〜4の場合、3次元で形成される空中像を構成するオブジェクトは、体積の拡大によらず同じであったが、体積の拡大に伴って空中像を構成するオブジェクトの対象を成長させるように制御することも可能である。
図16は、3次元で形成される空中像を構成するオブジェクトを体積の拡大に応じて変化させる例を説明する図である。(A)は体積が最も小さい空中像を構成するオブジェクトの例であり、(B)は体積が2番目に大きい空中像を構成するオブジェクトの例であり、(C)は体積が最も大きい空中像を構成するオブジェクトの例である。
図16に示すオブジェクトは、卵、ひよこ、にわとりへと成長している。オブジェクトが成長する他の例には、卵、おたまじゃくし、カエルに成長する例もある。勿論、これらは一例である。
また、体積の拡大に伴うオブジェクトの変化は、必ずしも成長に限らない。例えばオブジェクトが生物である場合、同じオブジェクトの姿勢や表情が変化してもよい。もっとも、これらは動画像の一形態でもある。
<例6>
図17は、3次元で形成される空中像の体積を時間の経過に伴って縮小する例を説明する図である。(A)は空中像の体積を1方向に縮小する例を示し、(B)は空中像の体積を2方向に縮小する例を示し、(C)は空中像の体積を3方向に縮小する例を示す。
図17の例では、空中像の体積にのみ着目するが、色調を変更したり、輝度を変更したり、空中像の内容を時間の経過や形状の縮小に連動させることも可能である。
なお、(A)、(B)及び(C)の横軸はいずれも時間であり、時点T1における空中像の形状が、時点T2、T3にどのように変化するかを示している。図17の場合、時点T1における空中像の形状は立方体である。
(A)に示す例は、X軸の方向への縮小である。この例の場合、人から見た3次元の空中像は、時間の経過に伴って、水平方向に縮小するように視認される。
(B)に示す例は、X軸の方向とY軸の方向のそれぞれの方向への同じ倍率での縮小である。もっとも、縮小の倍率は、X軸の方向とY軸の方向で異なってもよい。また、縮小の倍率は固定に限らず、時間の経過に伴って変化してもよい。Y軸の方向は人から見て奥行きの方向であるので、(B)の例の場合、3次元で形成された空中像は、時間の経過に伴って奥行き方向の厚みが薄くなるように視認される。
(C)に示す例は、X軸、Y軸及びZ軸の全ての方向への等倍の縮小である。このため、(C)に示す例では、空中像は立方体の形状のまま縮小している。もっとも、縮小の倍率は、各軸の方向で異なってもよい。また、縮小の倍率は固定に限らず、時間の経過に伴って変化してもよい。(C)の例の場合、3次元で形成された空中像は、時間の経過に伴って一様に縮小するように視認される。
<例7>
例6では、時間の経過に伴い空中像の体積を縮小させる場合の形状の変化の例について説明した。
以下では、時間の経過に伴って体積が変化する3次元の空中像の縮小の方向の違いについて説明する。
図18は、体積の縮小が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と同じ場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。
図18の時点T1における空中像の配置は、図5(C)や図8(C)に対応する。図18の場合、3次元で形成された空中像は時間の経過に伴って人から遠ざかる方向に縮小されている。具体的にはY軸方向への縮小である。
図19は、体積の縮小が開始する時点における空中像の位置が2次元で形成されていた空中像の位置P1と異なる場合を示す図である。(A)は時点T1における空中像の位置と形状を示し、(B)は時点T2における空中像の位置と形状を示し、(C)は時点T3における空中像の位置と形状を示す。
図19の時点T1における空中像の配置は、図6(C)や図9(C)に対応する。図19の場合、3次元で形成された空中像は時間の経過に伴って人に近づく方向に縮小される。なお、図19の場合、空中像はY軸方向に縮小されるだけでなく、時間の経過に伴ってY軸方向に移動している。具体的には、空中像は、人に近づく方向に移動されている。換言すると、3次元で形成された空中像は、空中像が2次元で形成される位置P1から遠ざかる方向に移動されている。
3次元で形成される空中像の各時点における形状は同じでも、縮小が開始する位置や縮小の方向が異なることで、空中像を観察する人に異なる印象を与えることが可能である。
<例8>
例7の場合、時間の経過に伴って3次元で形成される空中像の体積が縮小されているが、以下では、人の位置との関係に応じて空中像の体積の縮小を制御する例について説明する。
図20は、2次元の空中像が形成される位置P1に人を誘導する手法の一例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1の手前まで近づいた場合の形状を示す。ここでの位置P1は、空中像が2次元で形成される位置である。
図20の場合も、空中像は体積が縮小するように変形されているが、体積の制御には、時間ではなく人と位置P1との距離が用いられている。
例えば人と位置P1との距離がL11である(A)の場合、3次元で形成される空中像は、位置P1と人の中間に形成されている。この配置は、図6(C)や図9(C)に対応する。
空中像に気づいた人が空中像に近づくように移動すると、空中像の体積は、人と位置P1との距離に応じて縮小される。図20の場合、距離L12(<L11)の場合の空中像の体積は、距離L11の場合の空中像の体積よりも小さく、距離L13(<L12)の場合の空中像の体積は、距離L12の場合の空中像の体積よりも小さい。
この空中像の体積の変化は、前述した例に示すように、1方向への縮小でもよいし、2方向への縮小でもよい。図20に示す例は、3方向への縮小の場合である。また、縮小の倍率は固定でもよいし、人と位置P1との距離に応じて可変してもよい。
なお、人と位置P1との距離L14(<L13)が予め定めた距離より近くなると、空中像の形状は(D)に示すように2次元の形状に制御される。
図20に示す例のように、空中像の体積を変化させることで、空中像に関心や興味を持った人を特定の位置に誘導することが可能である。図20では、2次元で空中像が形成される位置P1に人を誘導し、広告の効果を高めている。
なお、空中像の体積の縮小は、人と位置P1との距離が予め定めた距離より近くなると停止してもよい。
図21は、2次元の空中像が形成される位置P1に人を誘導する手法の他の例を説明する図である。(A)は空中像が3次元で形成された直後の形状を示し、(B)は人が位置P1に近づいた場合の形状を示し、(C)は人が位置P1により近づいた場合の形状を示し、(D)は人が位置P1により近づいた場合の形状を示し、(E)は人が位置P1の手前まで近づいた場合の形状を示す。図21には、図20との対応部分に対応する符号を付して示している。
図21の場合、人と位置P1との距離L13Aが予め定めた距離L10より小さくなったことを条件として、空中像の縮小を停止している。従って、(C)の空中像の体積と(D)の空中像の体積は同じである。
空中像の体積が小さくなりすぎると、空中像の視認自体が難しくなる。このため、図21に示す制御も用意する。
<例9>
前述の例6〜8の場合、3次元で形成された空中像の縮小に応じて空中像の中心も移動しているが、中心の位置は固定した状態で空中像を縮小することも可能である。
図22は、3次元で形成される空中像の中心を固定したまま空中像の体積を縮小する例を説明する図である。
図22に示す空中像は、立方体形状である。図22には、体積が異なる3つの空中像が示されている。因みに、最も大きい立方体は、図17〜図19の時点T1又は図20〜図21の距離L11における空中像に対応する。また、2番目に大きい立方体は、図17〜図19の時点T2又は図20〜図21の距離L12における空中像に対応する。そして、最も小さい立方体は、図17〜図19の時点T3又は図20〜図21の距離L13における空中像に対応する。
空中像の中心を固定したまま、時間の経過や人の接近に伴って空中像の体積が縮小することでも、空中像として表現される広告への関心や興味を高めることが可能である。
<例10>
前述の例6〜9の場合、3次元で形成される空中像を構成するオブジェクトは、体積の縮小によらず同じであったが、体積の縮小に伴って空中像を構成するオブジェクトの対象を先祖返りさせるように制御することも可能である。
図23は、3次元で形成される空中像を構成するオブジェクトを体積の縮小に応じて変化させる例を説明する図である。(A)は体積が最も大きい空中像を構成するオブジェクトの例であり、(B)は体積が2番目に大きい空中像を構成するオブジェクトの例であり、(C)は体積が最も小さい空中像を構成するオブジェクトの例である。
図23に示すオブジェクトは、にわとり、ひよこ、卵へと先祖返りしている。オブジェクトが先祖返りする他の例には、カエル、おたまじゃくし、卵に先祖返りする例もある。勿論、これらは一例である。
また、体積の縮小に伴うオブジェクトの変化は、必ずしも先祖返りに限らない。例えばオブジェクトが生物である場合、同じオブジェクトの姿勢や表情が変化してもよい。もっとも、これらは動画像の一形態でもある。
<実施の形態4>
本実施の形態では、空中像を視認する又は観察する人の感情を表情から推測し、空中像の内容を変化させる場合について説明する。
なお、本実施の形態の場合も、図1に示す情報処理システム1(図1参照)を使用する。
図24は、実施の形態4における空中像の内容の切り替え処理の一例を説明するフローチャートである。図24に示す処理は、プロセッサ21(図1参照)によるプログラムの実行により実現される。
まず、プロセッサ21は、カメラ30(図1参照)で撮像された画像から空中像の周辺に位置する人の表情を認識する(ステップ21)。本実施の形態の場合、認識される表情には、落胆している、怒っている、喜んでいる、の3種類を想定する。勿論、認識される表情の種類の内容や数は一例である。
次に、プロセッサ21は、認識された表情を判定する。図24の場合、プロセッサ21は、人が落胆していると認識されたか否かを判定する(ステップ22)。
ステップ22で肯定結果が得られた場合、プロセッサ21は、人を元気づけるため、リクリエーションに関する広告の出力を指示する(ステップ23)。
一方、ステップ22で否定結果が得られた場合、プロセッサ21は、人が怒っていると認識されたか否かを判定する(ステップ24)。
ステップ24で肯定結果が得られた場合、プロセッサ21は、冷静さを取り戻させるため、静かな場所に誘導する広告の出力を指示する(ステップ25)。
一方、ステップ24で否定結果が得られた場合、プロセッサ21は、予定されている広告の出力を指示する(ステップ26)。因みに、ステップ24で否定結果が得られる場合とは、図24の場合、表情から人が喜んでいると認識される場合である。
本実施の形態に示すように、人の表情から識別される情報を用いて広告の内容を変更する制御を前述した実施の形態の処理と組み合わせることにより、空中像を視認する又は観察する人に対する情報の提供の手法が多様化される。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、空中像形成装置10(図1参照)と制御装置20(図1参照)を互いに独立した装置として説明したが、空中像形成装置10と制御装置20は一体型の装置でもよい。
また例えば前述の実施の形態における制御装置20は、いわゆるコンピュータでもよいし、スマートフォンその他の情報端末でもよいし、インターネット上に設置されるサーバでもよい。
また、前述の実施の形態では、空中像を広告に用いているが、空中像の内容は、広告に限らない。
また、前述の実施の形態では、2次元の形状が基本的な形状である場合を説明したが、3次元の形状が基本的な形状でもよい。
また、前述の実施の形態においては、2次元の画像を空中像として形成しているが、2次元の画像は、液晶ディスプレイや有機EL(=Electro-Luminescence)ディスプレイのように物理的な表示面を有する平面型のディスプレイに表示してもよい。その場合、プロセッサ21は、空中像を形成する空中像形成装置10による空中像の形成と平面型のディスプレイによる画像の表示との切り替えを制御してもよい。
なお、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ(例えばCPU(=Central Processing Unit)等)の他、専用的なプロセッサ(例えばGPU(=Graphical Processing Unit)、ASIC(=Application Specific Integrated Circuit)、FPGA(=Field Programmable Gate Array)、プログラム論理デバイス等)を含む。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
1…情報処理システム、10…空中像形成装置、20…制御装置、21…プロセッサ、22…記憶装置、30…カメラ

Claims (26)

  1. プロセッサを有し、
    前記プロセッサは、空気中に形成される像の周辺における人の状態に応じ、当該像の次元の変更、又は、当該像の大きさの変更を指示する、情報処理装置。
  2. 前記プロセッサは、
    前記像の周辺における人の存在の有無に応じ、当該像の形成の仕方を切り替える、
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記像の周辺に人の存在が検出されない場合、2次元による当該像の形成を指示し、
    前記像の周辺に人の存在が検出された場合、3次元による当該像の形成を指示する、
    請求項2に記載の情報処理装置。
  4. 前記プロセッサは、
    前記像に対する人の視線の有無に応じ、当該像の形成の仕方を切り替える、
    請求項1に記載の情報処理装置。
  5. 前記プロセッサは、
    前記像に対する人の視線が検出されない場合、2次元による当該像の形成を指示し、
    前記像に対する人の視線が検出された場合、3次元による当該像の形成を指示する、
    請求項4に記載の情報処理装置。
  6. 3次元で形成される前記像の位置は、2次元で形成される当該像の位置よりも人に近い、請求項3又は5に記載の情報処理装置。
  7. 前記プロセッサは、
    3次元で形成される場合における前記像の体積の拡大を制御する、請求項6に記載の情報処理装置。
  8. 3次元で形成される前記像の体積が時間の経過に伴って拡大される、請求項7に記載の情報処理装置。
  9. 3次元で形成される前記像の位置は、時間の経過に伴い、2次元で形成される当該像の位置に近づくように制御される、請求項8に記載の情報処理装置。
  10. 3次元で形成される前記像の体積は、2次元で形成される当該像の位置への人の接近に伴い拡大される、請求項7に記載の情報処理装置。
  11. 3次元で形成される前記像の拡大は、2次元で形成される当該像の位置と人との距離が予め定めた値に達すると停止される、請求項10に記載の情報処理装置。
  12. 3次元で形成される前記像の体積は、中心の位置を固定した状態で拡大される、請求項7に記載の情報処理装置。
  13. 3次元で形成される前記像の体積は、2次元で形成される当該像の位置から人の方向に拡大される、請求項7に記載の情報処理装置。
  14. 3次元で形成される前記像を構成するオブジェクトは、当該像の拡大に応じて変化する、請求項7に記載の情報処理装置。
  15. 3次元で形成される前記像の拡大に伴い、前記オブジェクトの対象が成長する、請求項14に記載の情報処理装置。
  16. 前記プロセッサは、
    3次元で形成される前記像の体積の縮小を制御する、請求項6に記載の情報処理装置。
  17. 3次元で形成される前記像の体積が時間の経過に伴って縮小される、請求項16に記載の情報処理装置。
  18. 3次元で形成される前記像の位置は、時間の経過に伴い、人の位置に近づくように制御される、請求項17に記載の情報処理装置。
  19. 3次元で形成される前記像の体積は、2次元で形成される当該像の位置への人の接近に伴い縮小される、請求項16に記載の情報処理装置。
  20. 3次元で形成される前記像の縮小は、2次元で形成される当該像の位置と人との距離が予め定めた値に達すると停止される、請求項19に記載の情報処理装置。
  21. 3次元で形成される前記像の体積は、中心の位置を固定した状態で縮小される、請求項16に記載の情報処理装置。
  22. 3次元で形成される前記像の体積は、人の位置から2次元で形成される当該像の位置の方向に縮小される、請求項16に記載の情報処理装置。
  23. 3次元で形成される前記像を構成するオブジェクトは、当該像の縮小に応じて変化する、請求項16に記載の情報処理装置。
  24. 3次元で形成される前記像の縮小に伴い、前記オブジェクトの対象が先祖返りする、請求項23に記載の情報処理装置。
  25. 前記プロセッサは、前記像の周辺における人の表情に応じ、当該像の内容を変更する、請求項1に記載の情報処理装置。
  26. コンピュータに、
    空気中に形成される像の周辺における人の状態に応じ、当該像の次元の変更、又は、当該像の大きさの変更を指示する機能
    を実現させるプログラム。
JP2019229721A 2019-12-19 2019-12-19 情報処理装置及びプログラム Active JP7413758B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019229721A JP7413758B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム
US16/875,158 US20210191146A1 (en) 2019-12-19 2020-05-15 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229721A JP7413758B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021099542A true JP2021099542A (ja) 2021-07-01
JP7413758B2 JP7413758B2 (ja) 2024-01-16

Family

ID=76437218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229721A Active JP7413758B2 (ja) 2019-12-19 2019-12-19 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20210191146A1 (ja)
JP (1) JP7413758B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026754A (ja) * 2008-07-18 2010-02-04 Sony Ericsson Mobilecommunications Japan Inc 端末装置、表示制御方法および表示制御プログラム
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2014164755A (ja) * 2013-02-22 2014-09-08 Samsung Electronics Co Ltd センサを用いる近接動作認識装置及びその装置を用いた方法
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
JP2018022503A (ja) * 2013-09-17 2018-02-08 アマゾン テクノロジーズ インコーポレイテッド 三次元オブジェクト表示のためのアプローチ
JP2019146035A (ja) * 2018-02-21 2019-08-29 富士ゼロックス株式会社 情報処理装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150295923A1 (en) * 2007-03-28 2015-10-15 Autodesk, Inc. Environment based switching between two dimensions and three dimensions
TWI527429B (zh) * 2008-10-28 2016-03-21 皇家飛利浦電子股份有限公司 三維顯示系統
KR101309705B1 (ko) * 2010-10-21 2013-09-17 도시바삼성스토리지테크놀러지코리아 주식회사 안경 및 이를 채용한 3d 영상표시 시스템
JP5025823B2 (ja) * 2011-01-07 2012-09-12 シャープ株式会社 立体画像表示装置及び立体視用眼鏡
US9443455B2 (en) * 2011-02-25 2016-09-13 Semiconductor Energy Laboratory Co., Ltd. Display device having a plurality of pixels
JP5228074B2 (ja) * 2011-03-31 2013-07-03 株式会社東芝 情報処理装置、表示制御方法
JP6032436B2 (ja) * 2011-11-28 2016-11-30 パナソニックIpマネジメント株式会社 表示装置
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images
KR20150057064A (ko) * 2013-11-18 2015-05-28 엘지전자 주식회사 전자 다바이스 및 그 제어방법
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10390008B2 (en) * 2017-01-10 2019-08-20 Sharp Kabushiki Kaisha Dual-pitch parallax barrier
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026754A (ja) * 2008-07-18 2010-02-04 Sony Ericsson Mobilecommunications Japan Inc 端末装置、表示制御方法および表示制御プログラム
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2014164755A (ja) * 2013-02-22 2014-09-08 Samsung Electronics Co Ltd センサを用いる近接動作認識装置及びその装置を用いた方法
JP2018022503A (ja) * 2013-09-17 2018-02-08 アマゾン テクノロジーズ インコーポレイテッド 三次元オブジェクト表示のためのアプローチ
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
JP2019146035A (ja) * 2018-02-21 2019-08-29 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US20210191146A1 (en) 2021-06-24
JP7413758B2 (ja) 2024-01-16

Similar Documents

Publication Publication Date Title
JP7348261B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US20230068042A1 (en) Systems and methods for augmented reality
US11335008B2 (en) Training multi-object tracking models using simulation
US20200410753A1 (en) Fast hand meshing for dynamic occlusion
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR102390797B1 (ko) 3d 의미론적 메시로부터의 객체 관계 추정
JP7413758B2 (ja) 情報処理装置及びプログラム
O'Sullivan et al. Metropolis: multisensory simulation of a populated city
EP3185103A1 (en) A gazed virtual object identification determination module, a system for implementing gaze translucency, and a related method
Seele et al. Integration of multi-modal cues in synthetic attention processes to drive virtual agent behavior

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7413758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150