JP2017126355A - イベントに関連付けられる情報を人に供給するための方法 - Google Patents
イベントに関連付けられる情報を人に供給するための方法 Download PDFInfo
- Publication number
- JP2017126355A JP2017126355A JP2017036102A JP2017036102A JP2017126355A JP 2017126355 A JP2017126355 A JP 2017126355A JP 2017036102 A JP2017036102 A JP 2017036102A JP 2017036102 A JP2017036102 A JP 2017036102A JP 2017126355 A JP2017126355 A JP 2017126355A
- Authority
- JP
- Japan
- Prior art keywords
- event
- person
- information
- camera
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/007—Monitoring arrangements; Testing arrangements for public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Otolaryngology (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】イベントに関連付けられる情報を人に供給するための方法を提供する。【解決手段】情報供給システムIPSは、少なくとも1人の人の存在を監視する場面監視手段SMMと、イベントに関連している人を検出するイベント検出手段EDMと、イベントに関連している人の地理的位置を決定する位置決定手段LDMと、イベントに関連している人の地理的位置だけで指向性情報の供給を制御する指向性情報供給手段IPCMと、IPCMの制御下で、イベントに関連する情報を提供する外部情報供給手段IPMと、を備える。【選択図】図3
Description
本発明は、請求項1のプリアンブルに記載されるような、イベントに関連付けられる情報を人に供給するための方法、請求項3のプリアンブルに記載されるような、イベントに関連付けられる情報を人に供給するための関連システム、および請求項8のプリアンブルに記載されるような、関連デバイスに関する。
たとえば人々の注目を集めるために街頭の至る所に置かれる広告ボードから人に、イベントに関連付けられる情報を供給するためのそのような方法および関連システムは、当分野ではよく知られている。TVのマルチメディア広告とは異なり、そのような1枚のポスターに基づく広告は通常は屋外にあり、見る人に静的で単調な情報を与える。これらの非常に高価な広告配信に何人の人が実際に注意を払っているかを知ることは、興味深いだろう。さらに、広告ポスターまたはマルチメディアアセットに本当に興味がある人々に、1ページのポスター、または再生されたマルチメディアアセットのテーマについてのより多くのさらなる情報を提供することができる。
無線周波数識別対応の広告ボードの場合、人は、自分の近距離通信対応の携帯電話(さらにNFC対応携帯電話と呼ばれる)で広告ボードにタッチして、より詳細な情報をこの携帯電話にダウンロードすることができる。そのようなソリューションは、巨大市場ではない特別なデバイス(NFC対応の携帯電話)を必要とし、また人が自分の電話でボードにタッチする必要があるという点で不都合である。
http://www.popularmechanics.com/technology/gadgets/home−theater/next−up−in−kinect−style−motion−sensing−ultrasound−9118795?click=pm_latest
本発明の目的は、人が関連しているイベントに関連付けられる情報を、そのイベントに関連している人だけに情報が提供される自動的な方法で、人に供給するための方法、システム、または関連デバイスを提供することである。
本発明によれば、この目的は、請求項1に記載の方法、請求項3に記載のシステム、および請求項8に記載の関連デバイスによって達成される。
実際に、本発明によれば、この目的は、まず人のイベントへの関連が検出され、関連は場合によっては、少なくとも1台のカメラによってイベントが記録される場面の画像の分析に基づいて検出され、続いて、やはり場合によっては少なくとも1台のカメラによって記録された3次元場面に基づいて、イベントに関連している人の地理的位置が決定され、さらに人の決定された地理的位置に基づいて、イベントに関連している人の決定された地理的位置だけで、イベントに関連している人への、指向性音声などの指向性情報の供給を制御するという事実によって達成される。
したがって、まずイベントに関連している人を検出することによって、イベントに関連している検出された人の地理的位置が決定され、続いて、これに基づいて、人の地理的位置で、イベントに関連している人への指向性音声の供給が制御される。
そのような興味を引くイベントは、映画、情報マルチメディアアセット、広告、または他の任意の種類のマルチメディアアセットなどのマルチメディアアセットでもよく、または、プレゼンテーションボードに提示されたマルチメディアアセットではない、あるオブジェクトでもよい。
さらなる代替のイベントは、関連している人にさらなる情報が提供されるべき任意の状況でもよく、そのようなイベントは、そうした行動を見せている人に警告または懲戒などの情報が提供されるべき、深刻な、またはあまり深刻ではない、法律違反または予期される行動でもよい。
人がイベントに関連しているか否か、たとえば、人がプレゼンテーションボードに提示されたマルチメディアアセットなどのオブジェクトに興味があるか否かを判定するために、人のこの関連は以下に基づいて判定することができる:
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とプレゼンテーションボードまたはオブジェクトとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人(applicant)によってカスタマイズされたしきい値でよい。
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とプレゼンテーションボードまたはオブジェクトとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人(applicant)によってカスタマイズされたしきい値でよい。
さらに、人の地理的位置を決定するために、そのような地理的位置の計算は以下に基づき得る。
図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人Aとカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラ(time−of−flight camera)が使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角を決定することができる。配向角とともに、人とカメラとの間の距離が、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
指向性情報の供給は、検出されるイベントに基づく情報を運ぶ音声でよい。検出されるべきイベントは、あるあらかじめ定義された情報に関連付けられる。イベントに関連している人のプロフィール情報が現在利用可能である場合、関連付けられる情報もこの関連している人にパーソナライズすることができる。
本発明の別の特徴的な実施形態は、請求項2、請求項4、および請求項9に開示されている。
関連システムおよび関連デバイスは、指向性情報供給制御手段の制御下で、このイベントに関連している人の地理的位置で、イベントに関連付けられる情報を事実上提供するためのステップを実行するための情報供給手段をさらに備える。そのような内部または外部情報供給手段IPMは指向性スピーカでもよく、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたはラジオに送信された指向性メッセージでもよい。この方法で、イベントに関連付けられる情報だけを、イベントに関連している人に提供することができる。
本発明の別の特徴的な実施形態は、請求項5および請求項10に開示されている。
イベント検出手段は、少なくともイベントに関連している人を含む場面をカバーする画像に基づいて、イベントに関連している人を検出するように構成され、場面をカバーする画像は少なくとも1台のカメラによってキャプチャされる。
本発明の別の特徴的な実施形態は、請求項6および請求項11に開示されている。
イベント検出手段は、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された、複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、イベントに関連している人を検出するようにさらに構成される。あるあらかじめ定義されたイベントへの興味を見せていると解釈され得るそのような人の他の任意の動きまたはジェスチャも、人がこのイベントに関連しているか否かを判定するために適用することができる。
本発明の別の特徴的な実施形態は、請求項7および請求項12に開示されている。
位置決定手段は、1台または複数のカメラによってキャプチャされた場面をカバーする画像に基づいて、イベントに関連している人の地理的位置を決定することができる。
1台または複数のカメラによってキャプチャされた写真またはビデオ画像は、プレゼンテーションボードまたはオブジェクトの前の場面の3次元モデルを再構築するために使用される。再構築された3次元場面に基づいて、システムは、対象者、すなわちイベントに興味がある人の位置を決定することができる。対象者、すなわちイベントに興味がある人の地理的位置は、以下に基づき得る。
図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人とカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラが使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角、および人とカメラとの間の距離を決定することができ、それがカメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
前記場面の画像をキャプチャするために1台のカメラが使用される場合、イベントに関連している人の地理的位置を決定するために、タイムオブフライトカメラなどの深度カメラが適用されるべきである。
特許請求の範囲で使用される「備える(comprising)」という用語は、その後に列挙される手段に限定されると解釈されるべきではない点に留意されたい。したがって、「手段AおよびBを備えるデバイス(a device comprising means A and B)」という表現の範囲は、構成要素AおよびBだけで構成されるデバイスに限定されるべきではない。それは、本発明に関して、デバイスの唯一の関連構成要素がAおよびBであることを意味する。
同様に、やはり特許請求の範囲で使用される「結合された(coupled)」という用語は、直接接続のみに限定されると解釈されるべきではない点に留意されたい。したがって、「デバイスBに結合されたデバイスA(a device A coupled to a device B)」という表現の範囲は、デバイスAの出力がデバイスBの入力に直接接続されているデバイスまたはシステムに限定されるべきではない。それは、Aの出力とBの入力との間に、他のデバイスまたは手段を含むパスであってよいパスが存在することを意味する。
以下の実施形態の説明を添付の図面と併せて参照することによって、本発明の上記および他の目的ならびに特徴がより明らかになり、本発明自体が最もよく理解されるだろう。
以下の段落では、図面を参照して、本発明による、イベントに関連付けられるさらなる情報を人に供給するための方法の実装形態を説明する。
この説明の第1の段落では、図3に提示される情報供給システムIPSの主要な機能部分を説明する。第2の段落では、前述した手段間のすべての接続を定義する。後続の段落では、情報供給システムIPSの実際の実行を説明する。
情報供給システムは、イベントに関連している人を検出するように構成されたイベント検出手段EDMと、検出された、イベントに関連している人の地理的位置を決定することができる位置決定手段LDMと、検出されたイベントに関連している人の地理的位置で、イベントに関連付けられる情報(たとえば、指向性音声)の供給を制御するように構成された指向性情報供給制御手段IPCMとを備える。さらに、情報供給システムIPSは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられる情報を提供するように構成された外部情報供給手段IPMを備えるか、それに結合される。そのような外部情報供給手段IPMは指向性スピーカでもよく、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたは無線デバイスに送信された指向性メッセージでもよい。
さらに、情報供給システムIPSは、少なくとも1人の人が存在する場面を監視することができる、場面監視手段SMMを備える。
そのような場面は、マルチメディアアセットをレンダリングするためのプレゼンテーションボードPBの周囲でもよく、あるオブジェクトの周囲でもよい。そのような場面は、プレゼンテーションボードにレンダリングされたマルチメディアアセットに興味があるかもしれず、ないかもしれない、あるいは前述のオブジェクトに興味があるかもしれず、ないかもしれない、1人または複数の人々を含み得る。この場面のこの監視は、その場面で画像および/または音を記録するカメラを用いて実行することができる。あるいは、この場面の監視は、以下を用いて実行することができる:
1.周囲の動きを検出するために使用される超音波技術(http://www.popularmechanics.com/technology/gadgets/home−theater/next−up−in−kinect−style−motion−sensing−ultrasound−9118795?click=pm_latest)、
2.赤外線カメラ、タイムオブフライトカメラなどの深度カメラ、
3.近接性に基づいて周囲を検出/監視するためのRFID技術。
1.周囲の動きを検出するために使用される超音波技術(http://www.popularmechanics.com/technology/gadgets/home−theater/next−up−in−kinect−style−motion−sensing−ultrasound−9118795?click=pm_latest)、
2.赤外線カメラ、タイムオブフライトカメラなどの深度カメラ、
3.近接性に基づいて周囲を検出/監視するためのRFID技術。
あるいは、そのような場面監視手段SMMは、前記情報供給システムの外部に配置され得る。
場面監視手段SMMは、イベント検出手段EDMの入力への出力にも結合されている。場面監視手段SMMとイベント検出手段EDMとの間の結合は、場面監視手段SMMが組み込まれている場合は内部結合でもよく、場面監視手段SMMが外部に配置されている場合は外部通信リンクを介して結合されてもよい。
イベント検出手段EDMは、位置決定手段LDMの入力端末に結合された出力端末をさらに有し、位置決定手段LDMは、指向性情報供給制御手段IPCMの入力端末に結合された出力端末を有する。指向性情報供給制御手段IPCMは、情報供給手段IPMが組み込まれている場合は、内部結合を介して情報供給手段IPMに結合され、情報供給手段IPMが外部に配置されている場合は外部通信リンクを介して結合される。
本発明のある特定の具体化(incarnation)、および本発明の実行を説明するために、プレゼンテーションボードPBがある位置に配置されていると仮定する。このボードの前で、1人または複数の人がいる場面があると仮定する。さらに、1人または複数の人々からの1人の人Aが、プレゼンテーションボードPBに提示されているマルチメディアアセット、または前述のオブジェクトに注意を払うと仮定する。
さらに、この場合はプレゼンテーションボードPBの上部に搭載されたカメラのセットである場面監視手段SMMが、プレゼンテーションボードPBの前の場面を監視すると仮定する。場面には、人Aを含む人々の小グループが存在する。場面監視手段SMMの各カメラが、場面の画像および任意選択で音を記録し、その場面は人々の小グループを含む。
次いで、人Aが、提示されたマルチメディアアセットをしばらくの間見ており、したがって彼の顔がスクリーンの方向を向いていて、彼の目がスクリーンに集中しているので、イベント検出手段EDMが、イベントに関連している、すなわち、プレゼンテーションボードPBにレンダリングされているマルチメディアアセットに興味がある1人の人Aを検出する。
イベント検出手段EDMは、たとえば、プレゼンテーションボードPBの前でキャプチャされた場面の画像(カメラのセットによってキャプチャされた)に基づいて、興味がある人Aを検出する。イベント検出手段EDMは、たとえば、場面にいる人の視線を検出するために、決定された複数の人のうちのある人の頭部を追跡するために、顔検出を用いて広告ボードの方向を見ている顔を探すことによって、興味のある誰かを検出するために、キャプチャされた画像を分析する。
人がイベントに関連しているか否か、たとえば、人がプレゼンテーションボードに提示されたマルチメディアアセットなどのオブジェクトに興味があるか否かを判定するために、人のこの関連は以下に基づいて判定することができる:
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とボードとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人によってカスタマイズされたしきい値でよい。
− 人とボードとの間の距離が関連し得る。少なくとも1台のカメラによってキャプチャされた場面の画像を使用する場面の分析(深度計算)に基づいて、人とボードとの間の距離を決定することができる。
− 顔/頭の向き。やはりキャプチャされた場面の画像の画像処理に基づいて、人がボードの方を向いているかどうかを判定することができる。
− 人がプレゼンテーションボードまたはオブジェクトを「見ている」時間。
このパラメータは、ユーザおよび依頼人によってカスタマイズされたしきい値でよい。
あるいは、人Aは、プレゼンテーションボードに向かって指差しジェスチャをすることによって、提示されたマルチメディアアセットへの彼の興味を表す場合がある。
この場合、1人または複数の人が、検出されたイベントに関連していると検出されると、彼らはプレゼンテーションに興味があることが分かるので、そのような興味のある人の位置、すなわち地理的位置が決定されるべきである。検出された、イベントに関連しているそのような人、すなわち、その場所でレンダリングされたマルチメディアアセットに興味がある人の地理的位置を決定するために、位置決定手段LDMは、やはりプレゼンテーションボードPBの近くのキャプチャされた場面の画像(たとえば、カメラのセットによってキャプチャされた)に基づいて、検出された、イベントに関連している人の地理的位置を決定する。イベント検出手段EDMは、プレゼンテーションボードPBの前の場面の3次元モデルを再構築するために、キャプチャされた画像を分析する。この再構築された3次元場面に基づいて、システムは、対象者の位置を決定することができる。
人の地理的位置を決定するために、そのような地理的位置の計算は、以下に基づき得る:図1に示されるように、キャプチャされた場面からの深度計算に基づいて、人とカメラとの間の距離を取り出すことができる。図面では、この距離はbとして印をつけられている。タイムオブフライトカメラが使用される場合、距離bは、赤外線が人Aに飛んで、戻ってくる時間によって決定される。ステレオペアカメラが使用される場合、距離bは、カメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する2台のカメラの間の差に基づいて計算される。
あるいは、図2に示されるように、場面をキャプチャするために1台のカメラが使用される場合、配向角は以下の式:a=x/y*Cによって計算することができ、xは人Aと中間点との間の距離であり、yは最大範囲の距離であり、Cは最大視野角である。x、yは容易に測定することができ、Cはカメラの知られているパラメータである。そのように配向角、および人とカメラとの間の距離を決定することができ、それがカメラおよび/またはプレゼンテーションボードに対する人の地理的位置を決定する。
深度および配向角の計算の提示されるアルゴリズムは、アルゴリズムの一実施形態である点に留意されたい。視野角、ならびに人(人A)とカメラおよび/またはプレゼンテーションボード(広告ボード)との間の距離を決定するための、さらなる代替アルゴリズムまたは方法があってよい。
続いて、位置決定手段LDMを用いて、イベントに関連している人の地理的位置を決定した後、位置決定手段は、決定された地理的位置を指向性情報供給制御手段IPCMに転送し、指向性情報供給制御手段IPCMが、決定された人の地理的位置を受信して、続いて検出されたイベントに関連している人の地理的位置でのイベントに関連付けられるさらなる情報の供給を制御する。この方法で、イベントに関連付けられる情報を、イベントに関連している人だけに提供することができる。
さらなる情報は、実際には、ボードPB上で示される情報に関連する。さらなる情報は、チップメモリなどのメモリを用いてプレゼンテーションボードPBに格納することもでき、ネットワークのどこかに格納することもできる。さらなる情報をネットワークに格納する場合、ボード上にもネットワーク接続が提供されなければならない。さらなる情報の内容は、すべての人にとって同じでもよく、使用される検出技術の種類に基づいて、個人にとって異なっておりカスタマイズされていてもよい。検出技術が人のプロフィールを識別することができる場合、興味がある人に、その人に最も適したカスタマイズされたさらなる情報を提供することができる。検出技術が人のプロフィールを識別することができない場合、一般的なさらなる情報だけを提供することができる。
さらなる情報をパーソナライズできるようにするために、人のプロフィール情報の取得を容易にする適用することができる技術は以下のものがある。
1.その人が誰かを識別するためにキャプチャされた画像に基づく顔認識。
2.やはりいくらかは一意である、人のモバイルID(SIM id)を識別するためのWi−Fiまたはブルートゥースリンクに基づくもの。
3.人を識別するための指紋に基づくもの。この場合、ユーザはボードにタッチしなければならない。
4.RFID、または同様の技術。
さらに、指向性情報供給制御手段IPCMに結合されている外部情報供給手段IPMは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を提供する。
したがって、外部情報供給手段IPMは、指向性音声を用いて、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を人Aだけに送信する。
あるいは、情報供給手段IPMは、人にWi−Fiまたはブルートゥース、あるいは他の任意のワイヤレス技術を介して人のモバイル通信デバイスまたは無線デバイスに送信された指向性メッセージを用いて、さらなる情報を提供することができる。
人Aは、プレゼンテーションボードPBに提示されているマルチメディアアセットを見ており、見ていることが、キャプチャされた画像に対して行われる分析に基づいてイベント検出手段EDMによって検出され、続いて、位置決定手段LDMが、やはりキャプチャされた画像に基づいて人の地理的位置を決定して、そこからプレゼンテーションボードの前の場面の3次元モデルが生成される。決定された地理的位置に基づいて、外部情報供給手段IPMは、指向性情報供給制御手段IPCMの制御下で、イベントに関連している人の地理的位置で、イベントに関連付けられるさらなる情報を提供し、さらなる情報は、マルチメディアアセットの背景情報を人に伝える指向性音声である。したがって、音声メッセージは、周囲の他の人々を邪魔することなしに、人Aである適切な人だけに送信される。
マルチメディアアセットが広告である場合、興味がある人が何らかのより多くの詳細を読んでいる、または広告内部の図表(figure)を見ている間、エリア内の販売業者に関する情報などの広告の追加情報を備えた音声メッセージが人に送信される。
あるいは、そのような興味を引くイベントは、映画、情報マルチメディアアセット、広告、または他の任意の種類のマルチメディアアセットなどのマルチメディアアセットでもよく、または、プレゼンテーションボードに提示されたマルチメディアアセットではない、あるオブジェクトでもよい。
さらなる代替のイベントは、関連している人にさらなる情報が提供されるべき任意の状況でもよく、そのようなイベントは、そうした行動を見せている人に警告または懲戒などの情報が提供されるべき、深刻な、またはあまり深刻ではない、法律違反または予期される行動でもよい。
最後に、本発明の実施形態は機能ブロックに関して上述されている。上記で与えられるこれらのブロックの機能説明から、電子デバイス設計分野の当業者には、これらのブロックの実施形態をよく知られている電子部品で製造することができる方法が明らかであろう。したがって、機能ブロックの内容の詳細なアーキテクチャは与えられていない。
上記で本発明の原理を特定の装置に関連して説明してきたが、この説明は例として行われるにすぎず、本発明の範囲を限定するものとして行われるものではないことが明確に理解されるべきである。本発明の範囲は添付の特許請求の範囲で定義される。
Claims (12)
- イベントに関連付けられる情報を人に供給するための方法であって、
a.前記イベントに関連している人を検出するステップと、
b.前記イベントに関連している前記人の地理的位置を決定するステップと、
c.前記イベントに関連している前記人の前記地理的位置だけで、指向性情報の供給を制御するステップとを備えることを特徴とする、方法。 - 前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報だけを供給するステップをさらに備えることを特徴とする、請求項2に記載の方法。
- イベントに関連付けられる情報を人に供給するためのシステムであって、
a.前記イベントに関連している人を検出するように構成されたイベント検出手段(EDM)と、
b.前記イベントに関連している前記人の地理的位置を決定するように構成された位置決定手段(LDM)と、
c.前記イベントに関連している前記人の前記地理的位置だけで、前記イベントに関連付けられる前記情報の供給を制御するように構成された指向性情報供給制御手段(IPCM)とを備えることを特徴とする、システム。 - 前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報だけを提供するように構成された情報供給手段(IPM)をさらに備えることを特徴とする、請求項3に記載のシステム。
- 前記イベント検出手段(EDM)が、前記イベントに関連している人を、少なくとも前記イベントに関連している前記人を含む場面の画像に基づいて検出するように構成され、前記画像が少なくとも1台のカメラによってキャプチャされることを特徴とする、請求項3または4に記載のシステム。
- 前記イベント検出手段(EDM)が、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、前記イベントに関連している人を検出するように構成されていることを特徴とする、請求項5に記載のシステム。
- 前記位置決定手段(LDM)が、前記少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像に基づいて、前記イベントに関連している前記人の地理的位置を決定することができることを特徴とする、請求項3に記載のシステム。
- イベントに関連付けられる情報を人に供給するためのデバイスであって、
a.前記イベントに関連している人を検出するように構成されたイベント検出手段(EDM)と、
b.前記イベントに関連している前記人の地理的位置を決定するように構成された位置決定手段(LDM)と、
c.前記イベントに関連している前記人の前記地理的位置だけで、前記イベントに関連付けられる前記情報の供給を制御するように構成された情報供給制御手段(IPCM)とを備えることを特徴とする、デバイス。 - 前記デバイスが、
d.前記指向性情報供給制御手段(IPCM)の制御下で、前記イベントに関連している前記人の前記地理的位置で、前記イベントに関連付けられる前記情報を提供するように構成された情報供給手段(IPM)をさらに備えることを特徴とする、請求項8に記載のイベントに関連付けられる情報を人に供給するためのデバイス。 - 前記イベント検出手段(EDM)が、前記イベントに関連している人を、少なくとも前記イベントに関連している前記人を含む場面の画像に基づいて検出するように構成され、前記画像が少なくとも1台のカメラによってキャプチャされることを特徴とする、請求項8または9に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
- 前記イベント検出手段(EDM)が、少なくとも1台のカメラによってキャプチャされた前記場面をカバーする前記画像から決定された複数の人のうちのある人の顔検出、視線検出、頭部追跡のうちの少なくとも1つに基づいて、前記イベントに関連している人を検出するように構成されていることを特徴とする、請求項10に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
- 前記位置決定手段(LDM)が、前記少なくとも1台のカメラによってキャプチャされる前記場面をカバーする前記画像に基づいて、前記イベントに関連している前記人の地理的位置を決定することができることを特徴とする、請求項8に記載のイベントに関連付けられる情報を人に供給するためのデバイス。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20120306005 EP2699022A1 (en) | 2012-08-16 | 2012-08-16 | Method for provisioning a person with information associated with an event |
EP12306005.5 | 2012-08-16 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015526938A Division JP2015531130A (ja) | 2012-08-16 | 2013-08-08 | イベントに関連付けられる情報を人に供給するための方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017126355A true JP2017126355A (ja) | 2017-07-20 |
JP6359704B2 JP6359704B2 (ja) | 2018-07-18 |
Family
ID=46796492
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015526938A Ceased JP2015531130A (ja) | 2012-08-16 | 2013-08-08 | イベントに関連付けられる情報を人に供給するための方法 |
JP2017036102A Expired - Fee Related JP6359704B2 (ja) | 2012-08-16 | 2017-02-28 | イベントに関連付けられる情報を人に供給するための方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015526938A Ceased JP2015531130A (ja) | 2012-08-16 | 2013-08-08 | イベントに関連付けられる情報を人に供給するための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150223017A1 (ja) |
EP (1) | EP2699022A1 (ja) |
JP (2) | JP2015531130A (ja) |
KR (1) | KR20150045465A (ja) |
CN (1) | CN104541523A (ja) |
WO (1) | WO2014026901A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150346814A1 (en) * | 2014-05-30 | 2015-12-03 | Vaibhav Thukral | Gaze tracking for one or more users |
JP6555858B2 (ja) * | 2014-08-01 | 2019-08-07 | シャープ株式会社 | 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器 |
WO2016070918A1 (en) * | 2014-11-05 | 2016-05-12 | Quividi | Process for rewarding the audience of a signage device |
KR102515013B1 (ko) | 2016-02-04 | 2023-03-30 | 애플 인크. | 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1199899A1 (en) * | 2000-10-16 | 2002-04-24 | Alcatel | Method and apparatus for providing a user of a mobile communication terminal or a group of users with an information message with an adaptive content |
JP2005525597A (ja) * | 2002-05-14 | 2005-08-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 電気機器の対話制御 |
JP2008289088A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | データ表示制御装置、データ表示制御方法及びプログラム |
JP2009531926A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | データ処理装置及び方法 |
JP2010015076A (ja) * | 2008-07-07 | 2010-01-21 | Seiko Epson Corp | 表示システム、表示制御装置、および、表示制御方法 |
JP2010039333A (ja) * | 2008-08-07 | 2010-02-18 | Seiko Epson Corp | 広告装置、広告装置の制御方法及び制御プログラム |
JP2010041167A (ja) * | 2008-08-01 | 2010-02-18 | Seiko Epson Corp | 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム |
JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
JP2011187054A (ja) * | 2010-03-05 | 2011-09-22 | Palo Alto Research Center Inc | アクション実行システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2465223C (en) * | 2001-10-29 | 2011-05-03 | Nokia Corporation | Method and equipment for controlling information provided to a user in a network |
US20050053062A1 (en) * | 2001-10-29 | 2005-03-10 | Jan Kall | Adapting the data rate and/or the amount of data of content to be transmitted separately for at least two radio access networks e.g. umts, geran |
JP2003242059A (ja) * | 2002-02-18 | 2003-08-29 | Sharp Corp | 情報配信装置、情報端末装置、情報配信システム、情報配信方法およびプログラムを記録した機械読取り可能な記録媒体 |
US20120306907A1 (en) * | 2011-06-03 | 2012-12-06 | Huston Charles D | System and Method for Inserting and Enhancing Messages Displayed to a User When Viewing a Venue |
WO2007015200A2 (en) * | 2005-08-04 | 2007-02-08 | Koninklijke Philips Electronics N.V. | Apparatus for monitoring a person having an interest to an object, and method thereof |
JP2009111833A (ja) * | 2007-10-31 | 2009-05-21 | Mitsubishi Electric Corp | 情報提示装置 |
US9277021B2 (en) * | 2009-08-21 | 2016-03-01 | Avaya Inc. | Sending a user associated telecommunication address |
TWI420440B (zh) * | 2010-08-16 | 2013-12-21 | Hon Hai Prec Ind Co Ltd | 物品展示系統及方法 |
US20120200667A1 (en) * | 2011-02-08 | 2012-08-09 | Gay Michael F | Systems and methods to facilitate interactions with virtual content |
-
2012
- 2012-08-16 EP EP20120306005 patent/EP2699022A1/en not_active Withdrawn
-
2013
- 2013-08-08 KR KR1020157006483A patent/KR20150045465A/ko not_active Application Discontinuation
- 2013-08-08 WO PCT/EP2013/066599 patent/WO2014026901A1/en active Application Filing
- 2013-08-08 JP JP2015526938A patent/JP2015531130A/ja not_active Ceased
- 2013-08-08 US US14/421,370 patent/US20150223017A1/en not_active Abandoned
- 2013-08-08 CN CN201380042827.2A patent/CN104541523A/zh active Pending
-
2017
- 2017-02-28 JP JP2017036102A patent/JP6359704B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1199899A1 (en) * | 2000-10-16 | 2002-04-24 | Alcatel | Method and apparatus for providing a user of a mobile communication terminal or a group of users with an information message with an adaptive content |
JP2005525597A (ja) * | 2002-05-14 | 2005-08-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 電気機器の対話制御 |
JP2009531926A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | データ処理装置及び方法 |
JP2008289088A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | データ表示制御装置、データ表示制御方法及びプログラム |
JP2010015076A (ja) * | 2008-07-07 | 2010-01-21 | Seiko Epson Corp | 表示システム、表示制御装置、および、表示制御方法 |
JP2010041167A (ja) * | 2008-08-01 | 2010-02-18 | Seiko Epson Corp | 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム |
JP2010039333A (ja) * | 2008-08-07 | 2010-02-18 | Seiko Epson Corp | 広告装置、広告装置の制御方法及び制御プログラム |
JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
JP2011187054A (ja) * | 2010-03-05 | 2011-09-22 | Palo Alto Research Center Inc | アクション実行システム |
Also Published As
Publication number | Publication date |
---|---|
KR20150045465A (ko) | 2015-04-28 |
WO2014026901A1 (en) | 2014-02-20 |
US20150223017A1 (en) | 2015-08-06 |
EP2699022A1 (en) | 2014-02-19 |
JP2015531130A (ja) | 2015-10-29 |
JP6359704B2 (ja) | 2018-07-18 |
CN104541523A (zh) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679676B2 (en) | Automatic generation of video and directional audio from spherical content | |
US10445941B2 (en) | Interactive mixed reality system for a real-world event | |
US10691202B2 (en) | Virtual reality system including social graph | |
US10084961B2 (en) | Automatic generation of video from spherical content using audio/visual analysis | |
CN109600678B (zh) | 信息展示方法、装置及系统、服务器、终端、存储介质 | |
US8963956B2 (en) | Location based skins for mixed reality displays | |
JP6359704B2 (ja) | イベントに関連付けられる情報を人に供給するための方法 | |
US10701426B1 (en) | Virtual reality system including social graph | |
CN110163066B (zh) | 多媒体数据推荐方法、装置及存储介质 | |
US9536161B1 (en) | Visual and audio recognition for scene change events | |
CN110971925B (zh) | 直播界面的显示方法、装置及系统 | |
CN110210045B (zh) | 目标区域的人数估算方法、装置及存储介质 | |
CN110572711A (zh) | 视频封面生成方法、装置、计算机设备及存储介质 | |
CN113490010B (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
KR20170086203A (ko) | 스포츠 중계 서비스 제공 방법 | |
CN108346179B (zh) | Ar设备显示方法和装置 | |
CN114302160B (zh) | 信息显示方法、装置、计算机设备及介质 | |
CN113556481B (zh) | 视频特效的生成方法、装置、电子设备及存储介质 | |
KR101397096B1 (ko) | Qr 코드를 이용한 광고 콘텐츠 제공 기능을 구비한 단말 및 서버 | |
CN105894581B (zh) | 一种呈现多媒体信息的方法及装置 | |
CN114117087A (zh) | 资源推荐方法、装置、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6359704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |