JP2015531130A - イベントに関連付けられる情報を人に供給するための方法 - Google Patents

イベントに関連付けられる情報を人に供給するための方法 Download PDF

Info

Publication number
JP2015531130A
JP2015531130A JP2015526938A JP2015526938A JP2015531130A JP 2015531130 A JP2015531130 A JP 2015531130A JP 2015526938 A JP2015526938 A JP 2015526938A JP 2015526938 A JP2015526938 A JP 2015526938A JP 2015531130 A JP2015531130 A JP 2015531130A
Authority
JP
Japan
Prior art keywords
event
person
information
camera
geographical location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2015526938A
Other languages
English (en)
Inventor
ロウ,ツェ
ウー,ティンヤオ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2015531130A publication Critical patent/JP2015531130A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/007Monitoring arrangements; Testing arrangements for public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明は、イベントに関連付けられる情報を人に供給するための方法に関する。本方法は、イベントに関連している人を検出して、続いて前記イベントに関連している前記人の地理的位置を決定して、イベントに関連している人の地理的位置で指向性情報の供給を制御するステップを備える。

Description

本発明は、請求項1のプリアンブルに記載されるような、イベントに関連付けられる情報を人に供給するための方法、請求項3のプリアンブルに記載されるような、イベントに関連付けられる情報を人に供給するための関連システム、および請求項8のプリアンブルに記載されるような、関連デバイスに関する。
たとえば人々の注目を集めるために街頭の至る所に置かれる広告ボードから人に、イベントに関連付けられる情報を供給するためのそのような方法および関連システムは、当分野ではよく知られている。TVのマルチメディア広告とは異なり、そのような1枚のポスターに基づく広告は通常は屋外にあり、見る人に静的で単調な情報を与える。これらの非常に高価な広告配信に何人の人が実際に注意を払っているかを知ることは、興味深いだろう。さらに、広告ポスターまたはマルチメディアアセットに本当に興味がある人々に、1ページのポスター、または再生されたマルチメディアアセットのテーマについてのより多くのさらなる情報を提供することができる。
無線周波数識別対応の広告ボードの場合、人は、自分の近距離通信対応の携帯電話(さらにNFC対応携帯電話と呼ばれる)で広告ボードにタッチして、より詳細な情報をこの携帯電話にダウンロードすることができる。そのようなソリューションは、巨大市場ではない特別なデバイス(NFC対応の携帯電話)を必要とし、また人が自分の電話でボードにタッチする必要があるという点で不都合である。
http://www.popularmechanics.com/technology/gadgets/home−theater/next−up−in−kinect−style−motion−sensing−ultrasound−9118795?click=pm_latest
本発明の目的は、人が関連しているイベントに関連付けられる情報を、そのイベントに関連している人だけに情報が提供される自動的な方法で、人に供給するための方法、システム、または関連デバイスを提供することである。
本発明によれば、この目的は、請求項1に記載の方法、請求項3に記載のシステム、および請求項8に記載の関連デバイスによって達成される。
実際に、本発明によれば、この目的は、まず人のイベントへの関連が検出され、関連は場合によっては、少なくとも1台のカメラによってイベントが記録される場面の画像の分析に基づいて検出され、続いて、やはり場合によっては少なくとも1台のカメラによって記録された3次元場面に基づいて、イベントに関連している人の地理的位置が決定され、さらに人の決定された地理的位置に基づいて、イベントに関連している人の決定された地理的位置だけで、イベントに関連している人への、指向性音声などの指向性情報の供給を制御するという事実によって達成される。
したがって、まずイベントに関連している人を検出することによって、イベントに関連している検出された人の地理的位置が決定され、続いて、これに基づいて、人の地理的位置で、イベントに関連している人への指向性音声の供給が制御される。
そのような興味を引くイベントは、映画、情報マルチメディアアセット、広告、または他の任意の種類のマルチメディアアセットなどのマルチメディアアセットでもよく、または、プレゼンテーションボードに提示されたマルチメディアアセットではない、あるオブジェクトでもよい。
さらなる代替のイベントは、関連している人にさらなる情報が提供されるべき任意の状況でもよく、そのようなイベントは、そうした行動を見せている人に警告または懲戒などの情報が提供されるべき、深刻な、またはあまり深刻ではない、法律違反または予期される行動でもよい。
人がイベントに関連しているか否か、たとえば、人がプレゼンテーションボードに提示されたマルチメディアアセットなどのオブジェクトに興味があるか否かを判定するために、人のこの関連は以下に基づいて判定することができる:
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とプレゼンテーションボードまたはオブジェクトとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人(applicant)によってカスタマイズされたしきい値でよい。
さらに、人の地理的位置を決定するために、そのような地理的位置の計算は以下に基づき得る。
図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人Aとカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラ(time−of−flight camera)が使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角を決定することができる。配向角とともに、人とカメラとの間の距離が、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
指向性情報の供給は、検出されるイベントに基づく情報を運ぶ音声でよい。検出されるべきイベントは、あるあらかじめ定義された情報に関連付けられる。イベントに関連している人のプロフィール情報が現在利用可能である場合、関連付けられる情報もこの関連している人にパーソナライズすることができる。
本発明の別の特徴的な実施形態は、請求項2、請求項4、および請求項9に開示されている。
関連システムおよび関連デバイスは、指向性情報供給制御手段の制御下で、このイベントに関連している人の地理的位置で、イベントに関連付けられる情報を事実上提供するためのステップを実行するための情報供給手段をさらに備える。そのような内部または外部情報供給手段IPMは指向性スピーカでもよく、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたはラジオに送信された指向性メッセージでもよい。この方法で、イベントに関連付けられる情報だけを、イベントに関連している人に提供することができる。
本発明の別の特徴的な実施形態は、請求項5および請求項10に開示されている。
イベント検出手段は、少なくともイベントに関連している人を含む場面をカバーする画像に基づいて、イベントに関連している人を検出するように構成され、場面をカバーする画像は少なくとも1台のカメラによってキャプチャされる。
本発明の別の特徴的な実施形態は、請求項6および請求項11に開示されている。
イベント検出手段は、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された、複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、イベントに関連している人を検出するようにさらに構成される。あるあらかじめ定義されたイベントへの興味を見せていると解釈され得るそのような人の他の任意の動きまたはジェスチャも、人がこのイベントに関連しているか否かを判定するために適用することができる。
本発明の別の特徴的な実施形態は、請求項7および請求項12に開示されている。
位置決定手段は、1台または複数のカメラによってキャプチャされた場面をカバーする画像に基づいて、イベントに関連している人の地理的位置を決定することができる。
1台または複数のカメラによってキャプチャされた写真またはビデオ画像は、プレゼンテーションボードまたはオブジェクトの前の場面の3次元モデルを再構築するために使用される。再構築された3次元場面に基づいて、システムは、対象者、すなわちイベントに興味がある人の位置を決定することができる。対象者、すなわちイベントに興味がある人の地理的位置は、以下に基づき得る。
図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人とカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラが使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角、および人とカメラとの間の距離を決定することができ、それがカメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
前記場面の画像をキャプチャするために1台のカメラが使用される場合、イベントに関連している人の地理的位置を決定するために、タイムオブフライトカメラなどの深度カメラが適用されるべきである。
特許請求の範囲で使用される「備える(comprising)」という用語は、その後に列挙される手段に限定されると解釈されるべきではない点に留意されたい。したがって、「手段AおよびBを備えるデバイス(a device comprising means A and B)」という表現の範囲は、構成要素AおよびBだけで構成されるデバイスに限定されるべきではない。それは、本発明に関して、デバイスの唯一の関連構成要素がAおよびBであることを意味する。
同様に、やはり特許請求の範囲で使用される「結合された(coupled)」という用語は、直接接続のみに限定されると解釈されるべきではない点に留意されたい。したがって、「デバイスBに結合されたデバイスA(a device A coupled to a device B)」という表現の範囲は、デバイスAの出力がデバイスBの入力に直接接続されているデバイスまたはシステムに限定されるべきではない。それは、Aの出力とBの入力との間に、他のデバイスまたは手段を含むパスであってよいパスが存在することを意味する。
以下の実施形態の説明を添付の図面と併せて参照することによって、本発明の上記および他の目的ならびに特徴がより明らかになり、本発明自体が最もよく理解されるだろう。
本発明による、情報を人に供給するための方法がローカルに実行される環境の概要を示す図である。 本発明による、情報を人に供給するための方法がローカルに実行され、場面をキャプチャするために1台のカメラが適用される環境の別の概要を示す図である。 図1に提示される環境で使用するための、情報供給システムIPSの機能的な表現を示す図である。
以下の段落では、図面を参照して、本発明による、イベントに関連付けられるさらなる情報を人に供給するための方法の実装形態を説明する。
この説明の第1の段落では、図3に提示される情報供給システムIPSの主要な機能部分を説明する。第2の段落では、前述した手段間のすべての接続を定義する。後続の段落では、情報供給システムIPSの実際の実行を説明する。
情報供給システムは、イベントに関連している人を検出するように構成されたイベント検出手段EDMと、検出された、イベントに関連している人の地理的位置を決定することができる位置決定手段LDMと、検出されたイベントに関連している人の地理的位置で、イベントに関連付けられる情報(たとえば、指向性音声)の供給を制御するように構成された指向性情報供給制御手段IPCMとを備える。さらに、情報供給システムIPSは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられる情報を提供するように構成された外部情報供給手段IPMを備えるか、それに結合される。そのような外部情報供給手段IPMは指向性スピーカでもよく、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたは無線デバイスに送信された指向性メッセージでもよい。
さらに、情報供給システムIPSは、少なくとも1人の人が存在する場面を監視することができる、場面監視手段SMMを備える。
そのような場面は、マルチメディアアセットをレンダリングするためのプレゼンテーションボードPBの周囲でもよく、あるオブジェクトの周囲でもよい。そのような場面は、プレゼンテーションボードにレンダリングされたマルチメディアアセットに興味があるかもしれず、ないかもしれない、あるいは前述のオブジェクトに興味があるかもしれず、ないかもしれない、1人または複数の人々を含み得る。この場面のこの監視は、その場面で画像および/または音を記録するカメラを用いて実行することができる。あるいは、この場面の監視は、以下を用いて実行することができる:
1.周囲の動きを検出するために使用される超音波技術(http://www.popularmechanics.com/technology/gadgets/home−theater/next−up−in−kinect−style−motion−sensing−ultrasound−9118795?click=pm_latest)、
2.赤外線カメラ、タイムオブフライトカメラなどの深度カメラ、
3.近接性に基づいて周囲を検出/監視するためのRFID技術。
あるいは、そのような場面監視手段SMMは、前記情報供給システムの外部に配置され得る。
場面監視手段SMMは、イベント検出手段EDMの入力への出力にも結合されている。場面監視手段SMMとイベント検出手段EDMとの間の結合は、場面監視手段SMMが組み込まれている場合は内部結合でもよく、場面監視手段SMMが外部に配置されている場合は外部通信リンクを介して結合されてもよい。
イベント検出手段EDMは、位置決定手段LDMの入力端末に結合された出力端末をさらに有し、位置決定手段LDMは、指向性情報供給制御手段IPCMの入力端末に結合された出力端末を有する。指向性情報供給制御手段IPCMは、情報供給手段IPMが組み込まれている場合は、内部結合を介して情報供給手段IPMに結合され、情報供給手段IPMが外部に配置されている場合は外部通信リンクを介して結合される。
本発明のある特定の具体化(incarnation)、および本発明の実行を説明するために、プレゼンテーションボードPBがある位置に配置されていると仮定する。このボードの前で、1人または複数の人がいる場面があると仮定する。さらに、1人または複数の人々からの1人の人Aが、プレゼンテーションボードPBに提示されているマルチメディアアセット、または前述のオブジェクトに注意を払うと仮定する。
さらに、この場合はプレゼンテーションボードPBの上部に搭載されたカメラのセットである場面監視手段SMMが、プレゼンテーションボードPBの前の場面を監視すると仮定する。場面には、人Aを含む人々の小グループが存在する。場面監視手段SMMの各カメラが、場面の画像および任意選択で音を記録し、その場面は人々の小グループを含む。
次いで、人Aが、提示されたマルチメディアアセットをしばらくの間見ており、したがって彼の顔がスクリーンの方向を向いていて、彼の目がスクリーンに集中しているので、イベント検出手段EDMが、イベントに関連している、すなわち、プレゼンテーションボードPBにレンダリングされているマルチメディアアセットに興味がある1人の人Aを検出する。
イベント検出手段EDMは、たとえば、プレゼンテーションボードPBの前でキャプチャされた場面の画像(カメラのセットによってキャプチャされた)に基づいて、興味がある人Aを検出する。イベント検出手段EDMは、たとえば、場面にいる人の視線を検出するために、決定された複数の人のうちのある人の頭部を追跡するために、顔検出を用いて広告ボードの方向を見ている顔を探すことによって、興味のある誰かを検出するために、キャプチャされた画像を分析する。
人がイベントに関連しているか否か、たとえば、人がプレゼンテーションボードに提示されたマルチメディアアセットなどのオブジェクトに興味があるか否かを判定するために、人のこの関連は以下に基づいて判定することができる:
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とボードとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人によってカスタマイズされたしきい値でよい。
あるいは、人Aは、プレゼンテーションボードに向かって指差しジェスチャをすることによって、提示されたマルチメディアアセットへの彼の興味を表す場合がある。
この場合、1人または複数の人が、検出されたイベントに関連していると検出されると、彼らはプレゼンテーションに興味があることが分かるので、そのような興味のある人の位置、すなわち地理的位置が決定されるべきである。検出された、イベントに関連しているそのような人、すなわち、その場所でレンダリングされたマルチメディアアセットに興味がある人の地理的位置を決定するために、位置決定手段LDMは、やはりプレゼンテーションボードPBの近くのキャプチャされた場面の画像(たとえば、カメラのセットによってキャプチャされた)に基づいて、検出された、イベントに関連している人の地理的位置を決定する。イベント検出手段EDMは、プレゼンテーションボードPBの前の場面の3次元モデルを再構築するために、キャプチャされた画像を分析する。この再構築された3次元場面に基づいて、システムは、対象者の位置を決定することができる。
人の地理的位置を決定するために、そのような地理的位置の計算は、以下に基づき得る:図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人とカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラが使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、場面をキャプチャするために1台のカメラが使用される場合、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角、および人とカメラとの間の距離を決定することができ、それがカメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
続いて、位置決定手段LDMを用いて、イベントに関連している人の地理的位置を決定した後、位置決定手段は、決定された地理的位置を指向性情報供給制御手段IPCMに転送し、指向性情報供給制御手段IPCMが、決定された人の地理的位置を受信して、続いて検出されたイベントに関連している人の地理的位置でのイベントに関連付けられるさらなる情報の供給を制御する。この方法で、イベントに関連付けられる情報を、イベントに関連している人だけに提供することができる。
さらなる情報は、実際には、ボードPB上で示される情報に関連する。さらなる情報は、チップメモリなどのメモリを用いてプレゼンテーションボードPBに格納することもでき、ネットワークのどこかに格納することもできる。さらなる情報をネットワークに格納する場合、ボード上にもネットワーク接続が提供されなければならない。さらなる情報の内容は、すべての人にとって同じでもよく、使用される検出技術の種類に基づいて、個人にとって異なっておりカスタマイズされていてもよい。検出技術が人のプロフィールを識別することができる場合、興味がある人に、その人に最も適したカスタマイズされたさらなる情報を提供することができる。検出技術が人のプロフィールを識別することができない場合、一般的なさらなる情報だけを提供することができる。
さらなる情報をパーソナライズできるようにするために、人のプロフィール情報の取得を容易にする適用することができる技術は以下のものがある。
1.その人が誰かを識別するためにキャプチャされた画像に基づく顔認識。
2.やはりいくらかは一意である、人のモバイルID(SIM id)を識別するためのWi−Fiまたはブルートゥースリンクに基づくもの。
3.人を識別するための指紋に基づくもの。この場合、ユーザはボードにタッチしなければならない。
4.RFID、または同様の技術。
さらに、指向性情報供給制御手段IPCMに結合されている外部情報供給手段IPMは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を提供する。
したがって、外部情報供給手段IPMは、指向性音声を用いて、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を人Aだけに送信する。
あるいは、情報供給手段IPMは、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたは無線デバイスに送信された指向性メッセージを用いて、さらなる情報を提供することができる。
人Aは、プレゼンテーションボードPBに提示されているマルチメディアアセットを見ており、見ていることが、キャプチャされた画像に対して行われる分析に基づいてイベント検出手段EDMによって検出され、続いて、位置決定手段LDMが、やはりキャプチャされた画像に基づいて人の地理的位置を決定して、そこからプレゼンテーションボードの前の場面の3次元モデルが生成される。決定された地理的位置に基づいて、外部情報供給手段IPMは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を提供し、さらなる情報は、マルチメディアアセットの背景情報を人に伝える指向性音声である。したがって、音声メッセージは、周囲の他の人々を邪魔することなしに、人Aである適切な人だけに送信される。
マルチメディアアセットが広告である場合、興味がある人が何らかのより多くの詳細を読んでいる、または広告内部の図表(figure)を見ている間、エリア内の販売業者に関する情報などの広告の追加情報を備えた音声メッセージが人に送信される。
あるいは、そのような興味を引くイベントは、映画、情報マルチメディアアセット、広告、または他の任意の種類のマルチメディアアセットなどのマルチメディアアセットでもよく、または、プレゼンテーションボードに提示されたマルチメディアアセットではない、あるオブジェクトでもよい。
さらなる代替のイベントは、関連している人にさらなる情報が提供されるべき任意の状況でもよく、そのようなイベントは、そうした行動を見せている人に警告または懲戒などの情報が提供されるべき、深刻な、またはあまり深刻ではない、法律違反または予期される行動でもよい。
最後に、本発明の実施形態は機能ブロックに関して上述されている。上記で与えられるこれらのブロックの機能説明から、電子デバイス設計分野の当業者には、これらのブロックの実施形態をよく知られている電子部品で製造することができる方法が明らかであろう。したがって、機能ブロックの内容の詳細なアーキテクチャは与えられていない。
上記で本発明の原理を特定の装置に関連して説明してきたが、この説明は例として行われるにすぎず、本発明の範囲を限定するものとして行われるものではないことが明確に理解されるべきである。本発明の範囲は添付の特許請求の範囲で定義される。

Claims (12)

  1. イベントに関連付けられる情報を人に供給するための方法であって、
    a.前記イベントに関連している人を検出するステップと、
    b.前記イベントに関連している前記人の地理的位置を決定するステップと、
    c.前記イベントに関連している前記人の前記地理的位置だけで、指向性情報の供給を制御するステップとを備えることを特徴とする、方法。
  2. 前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報だけを供給するステップをさらに備えることを特徴とする、請求項2に記載の方法。
  3. イベントに関連付けられる情報を人に供給するためのシステムであって、
    a.前記イベントに関連している人を検出するように構成されたイベント検出手段(EDM)と、
    b.前記イベントに関連している前記人の地理的位置を決定するように構成された位置決定手段(LDM)と、
    c.前記イベントに関連している前記人の前記地理的位置だけで、前記イベントに関連付けられる前記情報の供給を制御するように構成された指向性情報供給制御手段(IPCM)とを備えることを特徴とする、システム。
  4. 前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報だけを提供するように構成された情報供給手段(IPM)をさらに備えることを特徴とする、請求項3に記載のシステム。
  5. 前記イベント検出手段(EDM)が、前記イベントに関連している人を、少なくとも前記イベントに関連している前記人を含む場面の画像に基づいて検出するように構成され、前記画像が少なくとも1台のカメラによってキャプチャされることを特徴とする、請求項3または4に記載のシステム。
  6. 前記イベント検出手段(EDM)が、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、前記イベントに関連している人を検出するように構成されていることを特徴とする、請求項5に記載のシステム。
  7. 前記位置決定手段(LDM)が、前記少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像に基づいて、前記イベントに関連している前記人の地理的位置を決定することができることを特徴とする、請求項3に記載のシステム。
  8. イベントに関連付けられる情報を人に供給するためのデバイスであって、
    a.前記イベントに関連している人を検出するように構成されたイベント検出手段(EDM)と、
    b.前記イベントに関連している前記人の地理的位置を決定するように構成された位置決定手段(LDM)と、
    c.前記イベントに関連している前記人の前記地理的位置だけで、前記イベントに関連付けられる前記情報の供給を制御するように構成された情報供給制御手段(IPCM)とを備えることを特徴とする、デバイス。
  9. 前記デバイスが、
    d.前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報を提供するように構成された情報供給手段(IPM)をさらに備えることを特徴とする、請求項8に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
  10. 前記イベント検出手段(EDM)が、前記イベントに関連している人を、少なくとも前記イベントに関連している前記人を含む場面の画像に基づいて検出するように構成され、前記画像が少なくとも1台のカメラによってキャプチャされることを特徴とする、請求項8または9に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
  11. 前記イベント検出手段(EDM)が、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、前記イベントに関連している人を検出するように構成されていることを特徴とする、請求項10に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
  12. 前記位置決定手段(LDM)が、前記少なくとも1台のカメラによってキャプチャされる前記場面をカバーする前記画像に基づいて、前記イベントに関連している前記人の地理的位置を決定することができることを特徴とする、請求項8に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
JP2015526938A 2012-08-16 2013-08-08 イベントに関連付けられる情報を人に供給するための方法 Ceased JP2015531130A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20120306005 EP2699022A1 (en) 2012-08-16 2012-08-16 Method for provisioning a person with information associated with an event
EP12306005.5 2012-08-16
PCT/EP2013/066599 WO2014026901A1 (en) 2012-08-16 2013-08-08 Method for provisioning a person with information associated with an event

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017036102A Division JP6359704B2 (ja) 2012-08-16 2017-02-28 イベントに関連付けられる情報を人に供給するための方法

Publications (1)

Publication Number Publication Date
JP2015531130A true JP2015531130A (ja) 2015-10-29

Family

ID=46796492

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015526938A Ceased JP2015531130A (ja) 2012-08-16 2013-08-08 イベントに関連付けられる情報を人に供給するための方法
JP2017036102A Expired - Fee Related JP6359704B2 (ja) 2012-08-16 2017-02-28 イベントに関連付けられる情報を人に供給するための方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017036102A Expired - Fee Related JP6359704B2 (ja) 2012-08-16 2017-02-28 イベントに関連付けられる情報を人に供給するための方法

Country Status (6)

Country Link
US (1) US20150223017A1 (ja)
EP (1) EP2699022A1 (ja)
JP (2) JP2015531130A (ja)
KR (1) KR20150045465A (ja)
CN (1) CN104541523A (ja)
WO (1) WO2014026901A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016035614A (ja) * 2014-08-01 2016-03-17 シャープ株式会社 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器
JP2019510296A (ja) * 2016-02-04 2019-04-11 アップル インコーポレイテッドApple Inc. 無線測距に基づいた電子デバイスの制御及び情報の表示

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150346814A1 (en) * 2014-05-30 2015-12-03 Vaibhav Thukral Gaze tracking for one or more users
WO2016070918A1 (en) * 2014-11-05 2016-05-12 Quividi Process for rewarding the audience of a signage device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1199899A1 (en) * 2000-10-16 2002-04-24 Alcatel Method and apparatus for providing a user of a mobile communication terminal or a group of users with an information message with an adaptive content
JP2005525597A (ja) * 2002-05-14 2005-08-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電気機器の対話制御
JP2008289088A (ja) * 2007-05-21 2008-11-27 Canon Inc データ表示制御装置、データ表示制御方法及びプログラム
JP2009111833A (ja) * 2007-10-31 2009-05-21 Mitsubishi Electric Corp 情報提示装置
JP2009531926A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データ処理装置及び方法
JP2010015076A (ja) * 2008-07-07 2010-01-21 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2010039333A (ja) * 2008-08-07 2010-02-18 Seiko Epson Corp 広告装置、広告装置の制御方法及び制御プログラム
JP2010041167A (ja) * 2008-08-01 2010-02-18 Seiko Epson Corp 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP2011033993A (ja) * 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
JP2011187054A (ja) * 2010-03-05 2011-09-22 Palo Alto Research Center Inc アクション実行システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2465223C (en) * 2001-10-29 2011-05-03 Nokia Corporation Method and equipment for controlling information provided to a user in a network
US20050053062A1 (en) * 2001-10-29 2005-03-10 Jan Kall Adapting the data rate and/or the amount of data of content to be transmitted separately for at least two radio access networks e.g. umts, geran
JP2003242059A (ja) * 2002-02-18 2003-08-29 Sharp Corp 情報配信装置、情報端末装置、情報配信システム、情報配信方法およびプログラムを記録した機械読取り可能な記録媒体
US20120306907A1 (en) * 2011-06-03 2012-12-06 Huston Charles D System and Method for Inserting and Enhancing Messages Displayed to a User When Viewing a Venue
WO2007015200A2 (en) * 2005-08-04 2007-02-08 Koninklijke Philips Electronics N.V. Apparatus for monitoring a person having an interest to an object, and method thereof
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
TWI420440B (zh) * 2010-08-16 2013-12-21 Hon Hai Prec Ind Co Ltd 物品展示系統及方法
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1199899A1 (en) * 2000-10-16 2002-04-24 Alcatel Method and apparatus for providing a user of a mobile communication terminal or a group of users with an information message with an adaptive content
JP2005525597A (ja) * 2002-05-14 2005-08-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電気機器の対話制御
JP2009531926A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データ処理装置及び方法
JP2008289088A (ja) * 2007-05-21 2008-11-27 Canon Inc データ表示制御装置、データ表示制御方法及びプログラム
JP2009111833A (ja) * 2007-10-31 2009-05-21 Mitsubishi Electric Corp 情報提示装置
JP2010015076A (ja) * 2008-07-07 2010-01-21 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2010041167A (ja) * 2008-08-01 2010-02-18 Seiko Epson Corp 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP2010039333A (ja) * 2008-08-07 2010-02-18 Seiko Epson Corp 広告装置、広告装置の制御方法及び制御プログラム
JP2011033993A (ja) * 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
JP2011187054A (ja) * 2010-03-05 2011-09-22 Palo Alto Research Center Inc アクション実行システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016035614A (ja) * 2014-08-01 2016-03-17 シャープ株式会社 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器
JP2019510296A (ja) * 2016-02-04 2019-04-11 アップル インコーポレイテッドApple Inc. 無線測距に基づいた電子デバイスの制御及び情報の表示
US10602556B2 (en) 2016-02-04 2020-03-24 Apple Inc. Displaying information based on wireless ranging
US10912136B2 (en) 2016-02-04 2021-02-02 Apple Inc. Controlling electronic devices based on wireless ranging
US11425767B2 (en) 2016-02-04 2022-08-23 Apple Inc. Controlling electronic devices based on wireless ranging
US11601993B2 (en) 2016-02-04 2023-03-07 Apple Inc. Displaying information based on wireless ranging

Also Published As

Publication number Publication date
KR20150045465A (ko) 2015-04-28
WO2014026901A1 (en) 2014-02-20
JP2017126355A (ja) 2017-07-20
US20150223017A1 (en) 2015-08-06
EP2699022A1 (en) 2014-02-19
JP6359704B2 (ja) 2018-07-18
CN104541523A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
US10679676B2 (en) Automatic generation of video and directional audio from spherical content
US10691202B2 (en) Virtual reality system including social graph
US10445941B2 (en) Interactive mixed reality system for a real-world event
CN109600678B (zh) 信息展示方法、装置及系统、服务器、终端、存储介质
US8963956B2 (en) Location based skins for mixed reality displays
KR101894021B1 (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
US20150256746A1 (en) Automatic generation of video from spherical content using audio/visual analysis
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
US10701426B1 (en) Virtual reality system including social graph
JP6359704B2 (ja) イベントに関連付けられる情報を人に供給するための方法
US9536161B1 (en) Visual and audio recognition for scene change events
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
CN110971925B (zh) 直播界面的显示方法、装置及系统
CN110210045B (zh) 目标区域的人数估算方法、装置及存储介质
CN110572711A (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN113490010B (zh) 基于直播视频的互动方法、装置、设备及存储介质
KR20170086203A (ko) 스포츠 중계 서비스 제공 방법
JP2020520576A5 (ja)
CN108346179B (zh) Ar设备显示方法和装置
CN114302160B (zh) 信息显示方法、装置、计算机设备及介质
KR101397096B1 (ko) Qr 코드를 이용한 광고 콘텐츠 제공 기능을 구비한 단말 및 서버
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
CN105894581B (zh) 一种呈现多媒体信息的方法及装置
CN114117087A (zh) 资源推荐方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180418

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20180731