JP2018185527A - 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 - Google Patents
運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 Download PDFInfo
- Publication number
- JP2018185527A JP2018185527A JP2018126747A JP2018126747A JP2018185527A JP 2018185527 A JP2018185527 A JP 2018185527A JP 2018126747 A JP2018126747 A JP 2018126747A JP 2018126747 A JP2018126747 A JP 2018126747A JP 2018185527 A JP2018185527 A JP 2018185527A
- Authority
- JP
- Japan
- Prior art keywords
- advertisement
- driver
- user
- vehicle
- eye gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0244—Optimization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Headphones And Earphones (AREA)
Abstract
【課題】視覚広告への運転者の関心を検出するための装置および方法を提供すること。【解決手段】広告を車両またはウェアラブルな筐体に提供するためのコントローラ、およびコンピュータ可読媒体は、1つ以上のプロセッサにより実行されると、音声広告を車両または装着筐体に提供するための動作を実行する。第1の信号入力が第1のカメラ信号を受け取り、第2の信号入力が第2のカメラ信号を受け取り、少なくとも1つの信号出力は、ユーザに音声広告を提供する少なくとも1つの音響トランスデューサに送信する。コントローラ内に配置されたコンピュータロジックは、広告のキャプチャ画像の方向とユーザの眼球注視の方向とが互いに対して対応するかどうかを判定し、対応すると判定した場合には、コンピュータロジックは音声広告を音声トランスデューサに出力する。【選択図】図2
Description
関連出願
本出願は、2013年6月28日に出願された米国特許仮出願第61/840,965号の利益を主張し、その全体が参照によって本明細書に組み込まれる。
本出願は、2013年6月28日に出願された米国特許仮出願第61/840,965号の利益を主張し、その全体が参照によって本明細書に組み込まれる。
本明細書に開示の態様は、一般に、視覚広告に概して関連付けられた音声広告が運転者に提供されるように、運転者の眼球注視方向を追跡することにより、視覚広告への運転者の関心を検出するための装置および方法に関する。
関心を引こうとして、車載の運転者に表示するために、多くの異なるタイプの広告が提供される。運転時に、運転者は、視覚街頭広告(例えば、広告板)を見て、その広告に提供された情報を憶えようとすることがある。場合によっては、運転者は、その広告の情報を理解するために道路から自身の目を離す必要があり、車両の運転任務から気を散らすことがある。街頭広告はほとんどの場合、事実上固定されているので、多くの街頭広告は、視聴者にカスタマイズされない。このような固定の街頭広告は、視聴者の好みに気付く能力を備えておらず、概して読みやすさを維持するためにあまり多くの情報を含むことができない。さらに、ラジオ広告は、個人向けではなく、またカスタマイズもされないので、ラジオ広告は、ほとんどの場合、運転者に意味がない。
本発明は、例えば、以下を提供する。
(項目1)
ユーザが見ている方向を示す第1のカメラ信号を受け取るよう構成された第1の信号入力と、
1つ以上の視覚情報のキャプチャ画像を含む第2のカメラ信号を受け取るよう構成された第2の信号入力と、
少なくとも1つの音響トランスデューサを駆動するよう構成された信号出力と、
前記1つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記ユーザが見ている前記示された方向が、前記1つ以上の視覚情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記ユーザが見ている前記示された方向が前記1つ以上の視覚情報のうちの1つに対応すると判定したとき、
前記1つ以上の視覚情報のうちの前記1つのコンテキストを決定すること、ならびに、
前記1つ以上の視覚情報のうちの前記1つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含む、音声情報を提供するためのコントローラ。
(項目2)
第1のカメラが前記第1の信号入力に接続され、少なくとも1つの第2のカメラが前記第2の信号入力に接続され、少なくとも1つの音響トランスデューサが前記信号出力に接続され、前記第1のカメラ、前記少なくとも1つの第2のカメラ、前記少なくとも1つの音響トランスデューサ、および前記コンピュータロジックは乗用車内に配置され、前記第1のカメラモジュールは前記ユーザが見ている方向を決定するために前記乗用車の乗員区画に配置され、前記少なくとも1つの第2のカメラは外部に面する構成で前記車両上に配置されている、上記項目に記載のコントローラ。
(項目3)
データトランシーバをさらに含み、前記ユーザが前記1つ以上の視覚情報のうちの1つに見ていることを判定すると、前記コンピュータロジックは前記データトランシーバを通してリモートデータベースから前記音声情報を取得する、上記項目のいずれかに記載のコントローラ。
(項目4)
前記第1のカメラは前記ユーザの眼球注視方向を検出し、前記ユーザが見ている前記示された方向は前記眼球注視方向である、上記項目のいずれかに記載のコントローラ。
(項目5)
前記第1のカメラは前記ユーザの頭部が面する方向を含む前記ユーザの頭部指向を検出し、前記ユーザが見ている前記示された方向は前記ユーザの前記頭部が面する前記検出された方向である、上記項目のいずれかに記載のコントローラ。
(項目6)
前記コンピュータロジックは、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を少なくとも所定量の時間にわたり注目したと判定することと、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を少なくとも事前決定回数を越えて注目したと判定することと、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を所定量を越える総累積時間にわたり注目したと判定することと、
ユーザインターフェイス(例えば物理的ボタン、デジタルインターフェイス上のアイコン、その他)から入力信号を受け取ることと、
のうちの少なくとも1つにより、前記ユーザが前記1つ以上の視覚情報のうちの1つに興味を有するかどうかをさらに判断し、
前記コンピュータロジックは、前記ユーザが前記1つ以上の視覚情報のうちの前記1つに興味を有すると判断することに基づいて前記音声情報を出力する、
上記項目のいずれかに記載のコントローラ。
(項目7)
前記少なくとも1つの音響トランスデューサは車両において配置されたスピーカを含む、上記項目のいずれかに記載のコントローラ。
(項目8)
眼球注視方向を示す第1のカメラ信号を受け取るよう構成された第1の信号入力と、 1つ以上の視覚情報のキャプチャ画像を含む第2のカメラ信号を受け取るよう構成された第2の信号入力と、
少なくとも1つの音響トランスデューサを駆動するよう構成された信号出力と、
前記1つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記示された眼球注視方向が、前記1つ以上の視覚情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記示された眼球注視方向が前記1つ以上の視覚情報のうちの1つに対応することが判定されたときに、
前記1つ以上の視覚情報のうちの前記1つのコンテキストを決定すること、ならびに、
前記1つ以上の視覚情報のうちの前記1つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含み、
前記第1のカメラ信号を提供する第1のカメラ、前記第2のカメラ信号を提供する前記少なくとも1つの第2のカメラ、および前記少なくとも1つの音響トランスデューサは少なくとも1つのウェアラブルな筐体に配置されている、
音声情報を提供するためのウェアラブルコントローラ。
(項目9)
前記第1のカメラはウェアラブルなヘッドマウント装置上に配置されている、上記項目のいずれかに記載のコントローラ。
(項目10)
前記少なくとも1つの音響トランスデューサはヘッドフォンに配置され、前記少なくとも1つの第2のカメラは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
(項目11)
前記コンピュータロジックは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
(項目12)
前記コンピュータロジックはスマートフォンに配置されている、上記項目のいずれかに記載のコントローラ。
(項目13)
データトランシーバをさらに含み、前記示された眼球注視方向が前記1つ以上の情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応すると判定すると、前記データトランシーバは前記1つ以上の視覚情報のうちの前記1つの前記キャプチャ画像をリモートコンピュータシステムに転送し、前記リモートコンピュータシステムから前記音声情報を受け取る、上記項目のいずれかに記載のコントローラ。
(項目14)
1つ以上のプロセッサにより実行されると、
ユーザが見ている方向を決定することと、
前記ユーザに対する複数の視覚情報に関する位置を決定することと、
前記ユーザが前記複数の視覚情報のうちの1つに対応する方向を見ているかどうかを判定することと、
前記複数の視覚情報のうちの前記1つのコンテキストを決定することと、
前記複数の視覚情報のうちの前記1つの前記コンテキストに関する音声情報を前記ユーザに出力することと、
を含む動作を実行するプログラムを含むコンピュータ可読媒体。
(項目15)
前記ユーザが見ている方向を決定することは基準方向に対する前記ユーザの眼球注視の方向を決定することを含み、前記ユーザに対する前記複数の視覚情報に関する位置を決定することは前記基準方向に対する前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することを含み、前記ユーザが前記複数の視覚情報のうちの1つに対応する方向を見ているかどうかを判定することは前記眼球注視の方向が、前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目16)
前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第1の境界線に対応する第1の方向を決定することと、前記基準方向に対する前記複数の視覚情報のそれぞれの第2の境界線に対応する第2の方向を決定することと、を含み、前記第2の境界線は前記第1の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することは前記決定された眼球注視方向が前記複数の視覚情報の前記1つの前記第1の方向と前記第2の方向との間であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目17)
前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第3の境界線に対応する第3の方向と、前記基準方向に対する前記複数の視覚情報のそれぞれの第4の境界線に対応する第4の方向とを決定することをさらに含み、前記第3の境界線は前記第1の境界線に対して垂直であり、前記第4の境界線は前記第3の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することは、前記決定された眼球注視方向が前記複数の視覚情報のうちの前記1つの前記第3の方向と前記第4の方向との間であるかどうか判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目18)
前記複数の視覚情報のうちの前記1つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記1つの画像を受け取ることと、
前記受け取られた画像とデータベース内の複数の画像とを比較することであって、前記データベース内の各画像はコンテキストと関連付けられていることと、
前記データベースからの画像を前記受け取られた画像にマッチングさせるとき、前記データベースからの前記一致した画像の前記コンテキストを前記複数の視覚情報のうちの前記1つに関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目19)
前記複数の視覚情報のうちの前記1つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記1つの地上位置を決定することと、
複数の地理参照された視覚情報を含むデータベースを照会することであって、各地理参照された視覚情報はコンテキストに関連付けられていることと、
前記決定された地上位置を地理参照された視覚情報にマッチングさせるとき、前記一致した地理参照された広告の前記コンテキストと前記複数の視覚情報のうちの前記1つとを関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(摘要)
広告を車両またはウェアラブルな筐体に提供するためのコントローラ、およびコンピュータ可読媒体は、1つ以上のプロセッサにより実行されると、音声広告を車両または装着筐体に提供するための動作を実行する。第1の信号入力が第1のカメラ信号を受け取り、第2の信号入力が第2のカメラ信号を受け取り、少なくとも1つの信号出力は、ユーザに音声広告を提供する少なくとも1つの音響トランスデューサに送信する。コントローラ内に配置されたコンピュータロジックは、広告のキャプチャ画像の方向とユーザの眼球注視の方向とが互いに対して対応するかどうかを判定し、対応すると判定した場合には、コンピュータロジックは音声広告を音声トランスデューサに出力する。
(項目1)
ユーザが見ている方向を示す第1のカメラ信号を受け取るよう構成された第1の信号入力と、
1つ以上の視覚情報のキャプチャ画像を含む第2のカメラ信号を受け取るよう構成された第2の信号入力と、
少なくとも1つの音響トランスデューサを駆動するよう構成された信号出力と、
前記1つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記ユーザが見ている前記示された方向が、前記1つ以上の視覚情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記ユーザが見ている前記示された方向が前記1つ以上の視覚情報のうちの1つに対応すると判定したとき、
前記1つ以上の視覚情報のうちの前記1つのコンテキストを決定すること、ならびに、
前記1つ以上の視覚情報のうちの前記1つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含む、音声情報を提供するためのコントローラ。
(項目2)
第1のカメラが前記第1の信号入力に接続され、少なくとも1つの第2のカメラが前記第2の信号入力に接続され、少なくとも1つの音響トランスデューサが前記信号出力に接続され、前記第1のカメラ、前記少なくとも1つの第2のカメラ、前記少なくとも1つの音響トランスデューサ、および前記コンピュータロジックは乗用車内に配置され、前記第1のカメラモジュールは前記ユーザが見ている方向を決定するために前記乗用車の乗員区画に配置され、前記少なくとも1つの第2のカメラは外部に面する構成で前記車両上に配置されている、上記項目に記載のコントローラ。
(項目3)
データトランシーバをさらに含み、前記ユーザが前記1つ以上の視覚情報のうちの1つに見ていることを判定すると、前記コンピュータロジックは前記データトランシーバを通してリモートデータベースから前記音声情報を取得する、上記項目のいずれかに記載のコントローラ。
(項目4)
前記第1のカメラは前記ユーザの眼球注視方向を検出し、前記ユーザが見ている前記示された方向は前記眼球注視方向である、上記項目のいずれかに記載のコントローラ。
(項目5)
前記第1のカメラは前記ユーザの頭部が面する方向を含む前記ユーザの頭部指向を検出し、前記ユーザが見ている前記示された方向は前記ユーザの前記頭部が面する前記検出された方向である、上記項目のいずれかに記載のコントローラ。
(項目6)
前記コンピュータロジックは、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を少なくとも所定量の時間にわたり注目したと判定することと、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を少なくとも事前決定回数を越えて注目したと判定することと、
前記ユーザが前記1つ以上の視覚情報のうちの前記1つの前記方向を所定量を越える総累積時間にわたり注目したと判定することと、
ユーザインターフェイス(例えば物理的ボタン、デジタルインターフェイス上のアイコン、その他)から入力信号を受け取ることと、
のうちの少なくとも1つにより、前記ユーザが前記1つ以上の視覚情報のうちの1つに興味を有するかどうかをさらに判断し、
前記コンピュータロジックは、前記ユーザが前記1つ以上の視覚情報のうちの前記1つに興味を有すると判断することに基づいて前記音声情報を出力する、
上記項目のいずれかに記載のコントローラ。
(項目7)
前記少なくとも1つの音響トランスデューサは車両において配置されたスピーカを含む、上記項目のいずれかに記載のコントローラ。
(項目8)
眼球注視方向を示す第1のカメラ信号を受け取るよう構成された第1の信号入力と、 1つ以上の視覚情報のキャプチャ画像を含む第2のカメラ信号を受け取るよう構成された第2の信号入力と、
少なくとも1つの音響トランスデューサを駆動するよう構成された信号出力と、
前記1つ以上の視覚情報の前記キャプチャ画像のそれぞれに対する方向を決定すること、
前記示された眼球注視方向が、前記1つ以上の視覚情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応するかどうかを判定すること、および
前記示された眼球注視方向が前記1つ以上の視覚情報のうちの1つに対応することが判定されたときに、
前記1つ以上の視覚情報のうちの前記1つのコンテキストを決定すること、ならびに、
前記1つ以上の視覚情報のうちの前記1つの前記コンテキストに関連する音声情報を前記信号出力に出力すること、を実行すること、
を実行するようプログラムされたコンピュータロジックと、
を含み、
前記第1のカメラ信号を提供する第1のカメラ、前記第2のカメラ信号を提供する前記少なくとも1つの第2のカメラ、および前記少なくとも1つの音響トランスデューサは少なくとも1つのウェアラブルな筐体に配置されている、
音声情報を提供するためのウェアラブルコントローラ。
(項目9)
前記第1のカメラはウェアラブルなヘッドマウント装置上に配置されている、上記項目のいずれかに記載のコントローラ。
(項目10)
前記少なくとも1つの音響トランスデューサはヘッドフォンに配置され、前記少なくとも1つの第2のカメラは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
(項目11)
前記コンピュータロジックは前記ヘッドフォン用の筐体に配置されている、上記項目のいずれかに記載のコントローラ。
(項目12)
前記コンピュータロジックはスマートフォンに配置されている、上記項目のいずれかに記載のコントローラ。
(項目13)
データトランシーバをさらに含み、前記示された眼球注視方向が前記1つ以上の情報のうちの1つの前記キャプチャ画像の前記決定された方向に対応すると判定すると、前記データトランシーバは前記1つ以上の視覚情報のうちの前記1つの前記キャプチャ画像をリモートコンピュータシステムに転送し、前記リモートコンピュータシステムから前記音声情報を受け取る、上記項目のいずれかに記載のコントローラ。
(項目14)
1つ以上のプロセッサにより実行されると、
ユーザが見ている方向を決定することと、
前記ユーザに対する複数の視覚情報に関する位置を決定することと、
前記ユーザが前記複数の視覚情報のうちの1つに対応する方向を見ているかどうかを判定することと、
前記複数の視覚情報のうちの前記1つのコンテキストを決定することと、
前記複数の視覚情報のうちの前記1つの前記コンテキストに関する音声情報を前記ユーザに出力することと、
を含む動作を実行するプログラムを含むコンピュータ可読媒体。
(項目15)
前記ユーザが見ている方向を決定することは基準方向に対する前記ユーザの眼球注視の方向を決定することを含み、前記ユーザに対する前記複数の視覚情報に関する位置を決定することは前記基準方向に対する前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することを含み、前記ユーザが前記複数の視覚情報のうちの1つに対応する方向を見ているかどうかを判定することは前記眼球注視の方向が、前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目16)
前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第1の境界線に対応する第1の方向を決定することと、前記基準方向に対する前記複数の視覚情報のそれぞれの第2の境界線に対応する第2の方向を決定することと、を含み、前記第2の境界線は前記第1の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することは前記決定された眼球注視方向が前記複数の視覚情報の前記1つの前記第1の方向と前記第2の方向との間であるかどうかを判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目17)
前記複数の視覚情報のそれぞれに対する少なくとも1つの方向を決定することは、前記基準方向に対する前記複数の視覚情報のそれぞれの第3の境界線に対応する第3の方向と、前記基準方向に対する前記複数の視覚情報のそれぞれの第4の境界線に対応する第4の方向とを決定することをさらに含み、前記第3の境界線は前記第1の境界線に対して垂直であり、前記第4の境界線は前記第3の境界線の反対側にあり、前記眼球注視の方向が前記複数の視覚情報のうちの前記1つの前記少なくとも1つの方向の事前定義された閾値の範囲内であるかどうかを判定することは、前記決定された眼球注視方向が前記複数の視覚情報のうちの前記1つの前記第3の方向と前記第4の方向との間であるかどうか判定することを含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目18)
前記複数の視覚情報のうちの前記1つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記1つの画像を受け取ることと、
前記受け取られた画像とデータベース内の複数の画像とを比較することであって、前記データベース内の各画像はコンテキストと関連付けられていることと、
前記データベースからの画像を前記受け取られた画像にマッチングさせるとき、前記データベースからの前記一致した画像の前記コンテキストを前記複数の視覚情報のうちの前記1つに関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(項目19)
前記複数の視覚情報のうちの前記1つのコンテキストを決定することは、
前記複数の視覚情報のうちの前記1つの地上位置を決定することと、
複数の地理参照された視覚情報を含むデータベースを照会することであって、各地理参照された視覚情報はコンテキストに関連付けられていることと、
前記決定された地上位置を地理参照された視覚情報にマッチングさせるとき、前記一致した地理参照された広告の前記コンテキストと前記複数の視覚情報のうちの前記1つとを関連付けることと、
を含む、上記項目のいずれかに記載のコンピュータ可読媒体。
(摘要)
広告を車両またはウェアラブルな筐体に提供するためのコントローラ、およびコンピュータ可読媒体は、1つ以上のプロセッサにより実行されると、音声広告を車両または装着筐体に提供するための動作を実行する。第1の信号入力が第1のカメラ信号を受け取り、第2の信号入力が第2のカメラ信号を受け取り、少なくとも1つの信号出力は、ユーザに音声広告を提供する少なくとも1つの音響トランスデューサに送信する。コントローラ内に配置されたコンピュータロジックは、広告のキャプチャ画像の方向とユーザの眼球注視の方向とが互いに対して対応するかどうかを判定し、対応すると判定した場合には、コンピュータロジックは音声広告を音声トランスデューサに出力する。
コントローラの実施形態は、ユーザに広告を提供できる。コントローラは、ユーザが見ている方向を示す第1のカメラ信号を受け取る第1の信号入力を含むことができる。またコントローラは、周辺環境から1つ以上の広告のキャプチャ画像を含む第2のカメラ信号を受け取る第2の信号入力も含むことができる。またコントローラは、少なくとも1つの音響トランスデューサを駆動する信号出力も含むことができる。またコントローラは、広告のキャプチャされた画像のそれぞれに対する方向を決定し、ユーザが見ている示された方向が、広告のキャプチャされた画像の方向に対応しているかどうかを判定するようにプログラムされたコンピュータロジックも含むことができる。対応した2つの方向を決定すると、コンピュータロジックは、該1つ以上の広告のコンテキストを決定し、信号出力を介して決定したコンテキストに対応する音声広告を出力してもよい。
様々な実施形態において、広告を提供するためのコントローラを、ウェアラブルなデバイスに提供してもよい。コントローラは、眼球注視方向を示す第1のカメラ信号を受け取ることができる、第1の信号入力を含むことができる。またコントローラは、周辺環境から1つ以上の広告のキャプチャされた画像を含む、第2のカメラ信号を受け取ることができる、第2の信号入力も含むことができる。コントローラは、少なくとも1つの音響トランスデューサを駆動する信号出力も含むことができる。またコントローラは、広告のキャプチャされた画像のそれぞれに対する方向を決定し、示された眼球注視方向が、広告のキャプチャされた画像の1つの決定された方向に対応するかどうかを判定するようにプログラムされたコンピュータロジックも含むことができる。対応する2つの方向を検証すると、コンピュータロジックは、該1つ以上の広告の1つのコンテキストを決定し、該1つ以上の広告の1つのコンテキストと一致するコンテキストを含む広告に対する音声信号を出力する信号に出力してもよい。第1のカメラ信号を提供する第1のカメラ、第2のカメラ信号を提供する少なくとも1つの第2のカメラ、および少なくとも1つの音響トランスデューサを、少なくとも1つのウェアラブルな筐体内に配置してもよい。
プログラムを含むコンピュータ可読媒体は、プログラムが1つ以上のプロセッサによって実行されると、視覚広告を入力し、対応する音声ユーザに広告を出力する実行してもよい。プログラムは、ユーザが見ている方向を決定してもよい。したがって、プログラムは、ユーザの周りの複数の広告に対する場所を決定し、ユーザが複数の広告の1つに対応する方向を見ているかどうかを判定できる。プログラムは、見られている広告のコンテキストを決定してもよい。プログラムは、見られている広告のコンテキストに対応するコンテキストを含む音声広告を出力してもよい。
上記の利点および様々な他の利点ならびに特徴は、添付図面に関連させると、1つ以上の代表的な実施形態の以下の詳述から明白になり得る。
本開示の実施形態は、添付の特許請求の範囲における特殊性とともに指摘される。しかし、様々な実施形態の他の特徴は、添付図面とともに以下の詳述を参照することにより、より明白になり、最もよく理解されよう。
必要に応じて、本発明の詳細な実施形態が本明細書に開示されているが、開示された実施形態は、様々な代替の形で具現化され得る、本発明の例示に過ぎないことを理解されたい。図は必ずしも一定の縮尺ではなく、一部の特徴は、特定の構成要素の詳細を示すために、誇張または最小化されていることがある。したがって、本明細書に開示された特定の構造的および機能的な詳細は、限定するものと解釈されるべきではなく、本発明を様々に利用するために、当業者に教示するための代表的な根拠のみとして解釈されるべきである。
本開示の実施形態は、一般に、複数の回路または他の電気装置を提供する。回路および他の電気装置ならびにそれぞれによって提供される機能に対するすべての参考文献は、本明細書に示され説明されたもののみを包含するように限定されることを意図しない。特定のラベルは、開示された様々な回路または他の電気装置に割り当てられてもよいが、このようなラベルは、回路および他の電気装置の作動の範囲を限定されることを意図しない。このような回路および他の電気装置は、互いに組み合わされてもよく、かつ/または所望される特定のタイプの電気的実装に基づいたあらゆる手法で分離されてもよい。
本明細書に開示されたあらゆる回路または他の電気装置は、任意の数のマイクロプロセッサ、集積回路、記憶装置(例えば、フラッシュ、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラムマブル読取り専用メモリ(EEPROM)、または他の適切なその変形)および本明細書に開示された作動を行うために互いに相互作用するソフトウェアを含んでもよい。加えて、本明細書に開示されたように、あらゆる1つ以上の電気装置は、本明細書に開示されたように、任意の数の機能を実行するようにプログラムされた非一時的コンピュータ可読媒体内で具現化される、コンピュータプログラムを実行するように構成されてもよい。
様々な実施形態において、記載された本明細書は、ユーザが関心のある広告(例えば、広告板)に関連する特注の音声広告を提供することができる。運転者に、関心のある特定の製品/会社/サービスの情報を、運転者の気を散らすことを最小にする方法で提供することができる。
広告に加えて、ユーザは、(例えば、前方の事故または他の道路障害物、道路閉鎖、走行経路、迂回路、および/または出口に関するものなどの)道路標識を見て、道路標識に関する音声情報の出力を始動させることもできる。またシステムは、他の視覚情報とともに動作してもよい。例えば、運転者は、交通警報または道路障害物警報、および幹線道路のインターチェンジ情報などの道路標識を見てもよく、その結果、ユーザは視覚情報を補完する音声データを受け取ってもよい。ここで、ユーザが見ることがある視覚広告および/または他の情報を、視覚情報と呼ぶ。
運転者が見る広告板または他の広告に関する音声広告が、車載の音声システムを通して再生できるように、様々な実施形態を車載に配置することができる。様々な他の実施形態は、特注の音声広告を広告(例えば、広告板)のユーザの関心に基づいてウェアラブルな筐体に、眼球注視追跡、画像認識、および/または位置データを介して観察されるように提供することができる。ユーザは、関心のある特定の製品/会社/サービスの情報を従来の方法で提供されてもよい。
実施形態は、関連音声広告を、広告板に対するユーザの関心に応答して、車載または携帯インフォテインメントシステムを通して再生できるように、とりわけ運転者の眼球注視を観察し、広告板および他の形の視覚広告への注視を検出できる、様々な複合装置を含むことができる。このような実施形態は、限定するものではないが、特定の視覚広告へのユーザの関心を、ユーザの注視の長さ、または同じ広告板への複数の注視の検出により理解してもよい。視覚広告へのユーザの関心に応答して、視覚広告の内容に関連する特定の音声広告を、インフォテインメントシステムを介して再生することができ、それによって視覚広告に広告される製品、会社、サービスなどについてのより多くの情報をユーザに提供する。
このような音声広告は、ユーザに対して個人向け情報を含むようにカスタマイズされてもよい。例えば、ユーザの現在地に最も近い製品をどこで購入するべきかという情報が提供されてもよい。ユーザの個人データ(例えば、運転者の場所、向かう方向、運行目的地、正確な経路、運転者の製品への以前の関心など)へのアクセスを許可することによって、カスタマイズされた経験が解除されて、特定の提案または特定の見積価格を含み得る、調整された広告を提供してもよい。
様々な実施形態において、運転者は、運転の主要任務から気を散らされることなく、情報を集め、有益な広告を受信してもよい。運転者が広告板への眼球注視を延長し、かつ/または広告板と複数回眼球注視を合わせたことを検出することにより、本明細書に開示された様々な実施形態は、運転者が関心のある意味があり、状況にあった広告を提示することができる。情報は、運転者が運転中に見ている広告板および広告のものに基づいてカスタマイズされてもよく、運転者が街頭広告の詳細を読もうとしている間に気を散らされないように、詳しい音声情報を運転者に提供することができる。運転者は、自身の目を道路上に保持し、車載インフォテインメントシステムを通して関心の情報をキーパッドもしくはキーボードを打つ必要がない、または命令を話す必要がなく、それによって運転者の気を散らすことを最小にして受け取ることができる。
様々な実施形態において、ユーザは、視覚広告(例えば、広告板)に関する音声広告を非車両の通過中(例えば、歩行中または自転車を運転中)も同様に受信してもよい。様々な実施形態において、コントローラは、ユーザが視覚広告への眼球注視を延長し、かつ/または視覚広告と複数回眼球注視を合わせたことを検出することができる。次いで、コントローラは、音声変換器(例えば、スピーカ)に視覚広告に関する音声広告を出力することができる。情報は、ユーザが運転中に見ている広告板および広告のものに基づいてカスタマイズされてもよく、詳しい音声情報をユーザに提供することができる。ユーザは、広告を便利でかつユーザの行為を妨げることなく受け取ることができる。
次に図1を参照すると、様々な実施形態において、コントローラ108は、第1の信号入力102および第2の信号入力104を含むことができる。またコントローラ108は、信号出力106も含むことができる。第1の信号入力102は、第1のカメラ信号を受け取ることができる。第1のカメラ信号を、ユーザの眼球注視方向を示すことができる、第1のデジタル撮像装置(例えば、デジタルカメラ)から送信することができる。第2の信号入力104は、第2のカメラ信号をユーザの環境の少なくとも一部の画像をキャプチャできる、第2のデジタル撮像装置(例えば、デジタルカメラ)から受け取ることができる。場合によっては、複数のデジタル撮像装置を組み合わせて使用して、ユーザの環境の視野のより大きい領域を提供することができる。信号出力106は、信号を音響トランスデューサに送信でき、次いで音声として送信された信号(例えば、音声広告)を再生することができる。様々な実施形態において、コントローラ108は、コンピュータプロセッサ110(本明細書では「コンピュータロジック」とも呼ばれる)を含むことができる。コンピュータプロセッサ110は、ユーザの環境のキャプチャされた画像を分析して、広告内の広告を特定することができる。コンピュータプロセッサ110は、第1の信号入力102上に受信された第1のカメラ信号、および第2の信号入力104上に受信された第2のカメラ信号を分析して、示された眼球注視方向が、ユーザの環境の補足された画像内の特定された広告の方向に対応するかどうかを判定できる。コンピュータプロセッサ110が、第1のカメラ信号から示された眼球注視の方向が第2のカメラ信号から特定された広告の方向に対応すると判定した場合、コンピュータプロセッサ110は、出力信号(例えば、特定された広告に関する音声広告)を信号出力106に送信できる。
様々な実施形態において、コントローラ108は、複数の音声広告を記憶できるメモリモジュール114を含むことができる。プロセッサ110は、第2のカメラ信号から特定された広告に関する複数の中から特定の音声広告を選択できる。次いでプロセッサ110は、選択された音声広告を出力できる。例えば、それぞれの音声広告をコンピュータ音声ファイル(例えば、MP3ファイル)として記憶でき、その結果、コンピュータプロセッサ110はファイルを選択し、ファイルを実行できる。このようなサウンドファイルを実行することにより、コンピュータプロセッサ110により信号出力106に出力できる音声信号をもたらすことができる。様々な実施形態において、コントローラ108は、プロセッサ110がリモートコンピュータシステムと通信し得る、データトランシーバ112(例えば、Wi−Fiまたは携帯電話のデータ接続)を含むことができる。リモートコンピュータシステムは、音声広告のデータベースを含むことができる。プロセッサ110は、データトランシーバ112を通してリモートコンピュータシステムと通信して、音声広告を検索することができる。様々な実施形態において、コントローラ108は、メモリ114内に局所的に記憶された音声広告を、データトランシーバ112を通してリモートコンピュータシステムにアクセスされた音声広告と組み合わせることができる。
様々な実施形態において、コンピュータプロセッサ110は、どの音声広告が第2のカメラ信号から特定された広告に関するかを決定できる。例えば、プロセッサ110は、特定された広告内の人々、対象物、または場所を特定して広告のコンテキスト(例えば、企業または製品の名前またはロゴ)を特定するために、画像認識を使用してもよい。別の例として、プロセッサ110は、コンテキストを特定するためにテキスト認識を使用してもよい。様々な他の実施形態において、プロセッサ110は、リモートコンピュータシステムが画像分析を行うことができるように、特定された広告の画像をデータトランシーバ112を通してリモートコンピュータシステムに送信できる。
図2は、乗用車の運転者によって見られる広告に対応する音声広告を提供するための、システム10の実施形態を示す。システム10は、車両16の周囲に配置されたシステムコントローラ13および眼球注視追跡システム14を含むことができる。例えば、眼球注視追跡システム14は、運転者22の頭部位置および/または眼球注視方向を検出するために、乗車部内に配置された1つ以上の眼球注視センサを含んでもよい。様々な実施形態において、眼球注視追跡システム14は、任意の数の眼球注視センサ(例えば、カメラ)および眼球注視コントローラ(図示せず)を含むことができる。またコントローラ10は、インフォテインメントシステム18も含むことができる。例えば、インフォテインメントシステム18は、表示画面(例えば、1つ以上の運行データ、温度調節器、およびラジオ局などを表示する社内の表示画面)ならびにカーラジオを含むことができる。インフォテインメントシステム18を車載スピーカ24に接続することができる。またシステム12は、車両16の周囲に配置された1つ以上の外方(または前方)に面したカメラ20(以下1つ以上の「カメラ20」と言う)を含むことができる。システムコントローラ13は、本明細書に開示されたように様々な動作を実行するための、眼球注視追跡システム14およびカメラ20と通信し得る。システムコントローラ13は、インフォテインメントシステム18内に統合されてもよく、またはインフォテインメントシステム18の外部に実装されてもよい。
眼球注視追跡システム14を運転中に運転者22に対する眼球注視方向を検出し追跡するように構成することができる。眼球注視追跡システム14の1つ以上の眼球注視センサを、車両16の計器盤上、車両16のヘッドライナ(または天井)上、または眼球注視センサが運転者の顔に面することができる導電性のあるあらゆる他の場所に装着できる。眼球注視センサの例は、Tobii(登録商標)およびSmartEye ABによって提供されている。このような眼球注視センサは、赤外線照明器に基づく角膜反射追跡を組み込んでもよい。別の例では、眼球注視センサは、センサ処理ミドルウェアを組み込む、飛行時間ベースまたはステレオスコープである深度センサであってもよい。これらのタイプのセンサの例は、PMDTec、PrimeSense(登録商標)、およびSeeing Machines(登録商標)のEyeWorks(商標)によって提供される。加えて、眼球注視センサは、視覚処理ミドルウェアをもつ赤、緑、および青(RGB)ベースの画像であってもよい。また眼球注視センサは、レーザ、レーダ、および超音波ベースのセンサとして実装されてもよい。
眼球注視追跡システムは、連続的に動作することができ、ユーザの眼球注視のあらゆる動きを追跡することができ、それによって車両が動くにつれて(例えば、ユーザが通過中に広告を追跡すると、システムは眼球注視の変化の速度を測定し、ユーザから広告までの距離を計算する)眼球注視方向の変化を測定する。より速く動く眼球注視によって追跡されるはずである、近い広告とは逆に、ユーザから離れた広告は、より遅く動く眼球注視によって追跡される。
様々な実施形態において、様々な眼球注視センサは、運転者の眼球注視方向を追跡する代わりに、運転者22の頭の向きを追跡してもよい。この実装の例は、とりわけ三次元ベクトル(faceAPI)として頭の向きおよび/または頭の姿勢を提供するミドルウェアを提供する、Seeing Machines(登録商標)によって説明される。またセンサは、二次元ベクトルで(例えば、水平の頭部角度を提供することにより)頭の向きを提供してもよいことも認識される。
様々な実施形態において、システム10は、運転者22が所定の時間(例えば、2秒)を超える時間、所定量を超える回数(例えば、2回)、および/または所定量を超える総累積時間(例えば、運転者は、2秒の総累積時間に加えて数回広告を見る)広告12を見るかどうかを判定するように構成されてもよい。このような条件は、広告12のコンテキストに関する運転者22による関心を示してもよい。システムコントローラ13は、画像認識に対する広告12の画像を補足するために、カメラ20を始動させることができる。広告12の画像が認識されると、システムコントローラ13は、広告12に対応する(すなわち、広告12に関する、または広告12に関連付けられた)関連音声広告をインフォテインメントシステム18に送信することができる。対応する音声広告を再生することにより、運転者22は、自身の目を(広告をより長時間見るのではなく)道路上に固定してもよく、運転者22に広告上に提供されていない追加情報を提示してもよい。場合によっては、音声広告をリモートコンピュータシステム上に記憶してもよい。システムコントローラ13および/またはインフォテインメントシステム18は、データトランシーバによって提供されるインターネット接続26を介してリモートコンピュータシステムと通信してもよい。
ある特定の実施形態において、ユーザは、広告への関心を示すために広告を一瞬見る間に、ユーザまたは運転者が押すことができるボタンを提供されてもよい。運転者がこの代替方法で関心を示すことができることにより、システムが関心のある広告に気付く時間を最小にし得、それによって道路から目を離して費やす時間を最小にする。運転者が押すことができるボタンは、物理的なボタン、デジタルインターフェイス上のアイコン、ハンドルの力測定(例えば、運転者は、ハンドルの左側を一瞬押圧する)、音声命令、顔の表情、手のジェスチャー、またはユーザの眼球注視を追うべきシステムに表現するあらゆる他の方法を含む、あらゆるユーザインターフェイス要素であることが可能である。
図3は、システム12が図2に示された広告12に関する音声広告を提供するために実行されてもよい方法40の実施形態を示す。動作42において、システムコントローラ13は、運転者22が(外方に面したカメラ20に見えるいくつかの可能な広告の中で)広告12に関心があるかどうかを判定するために、運転者22の眼球注視の方向を監視してもよい。例えば、運転者が広告を所定の時間見る場合、システムコントローラ13は、運転者が広告12に関心があると判定できる。別の例のように、運転者が所定量を超える回数、広告を見る場合、システムコントローラ13は、運転者が広告12に関心があると判定できる。別の例として、運転者が所定量を超える総累積時間、広告12を見る場合(例えば、運転者が広告12を数回見て、広告12を見て費やした合計時間が所定の時間を超える場合)、システムコントローラ13は、運転者22が広告12に関心があると判定してもよい。システムコントローラ13が、運転者が特定の広告(例えば、広告12)に関心があると判定した場合、方法40は動作40に移動してもよい。
動作44において、システムコントローラ13は、カメラ20を制御かつ/または作動して、広告12の画像を補足する、かつ/または同広告12の画像認識を行うことができる。カメラ20は、広告12の画像をキャプチャするため、および画像認識を行うための、ハードウェアとソフトウェアのあらゆる組合せを含むことができる。カメラ20は、RGB撮像装置として実装されてもよい。したがって、カメラ20によってキャプチャされた画像は、次いで処理され公知の広告に対応する情報と一致させて、内容および/またはコンテキスト(例えば、銘柄、製品、会社、サービス、メッセージ、ロゴなど)を認識することができる。様々な実施形態において、公知の広告に対応する情報を、無線接続26を通して獲得することができる。一例では、この条件は、VisionIQ(登録商標)の画像認識によって提供されるように、様々な製品に基づいてもよい。広告12の画像が画像認識に基づいてキャプチャされ、かつ/または分析されると、方法40は動作46に移動してもよい。
動作46において、カメラ20は、広告12についての情報をインフォテインメントシステム18および/またはシステムコントローラ13に送信することができる。次いでインフォテインメントシステム18は、車載スピーカ24を介して音声関連広告を提供することができる。音声関連広告を、運転者22によって見られた広告12の概要に関連付ける、対応させる、または関連させることができる。インフォテインメントシステム18は、音声関連広告を再生するために、車載スピーカ24と連動するためのラジオを含んでもよいことが認識される。またインフォテインメントシステム18は、例えば、このような情報を運転者22の携帯電話を介して、または運転者22の携帯電話との連動を介した車載スピーカ24を通して再生される、Harman(登録商標)製のAha(登録商標)ラジオを含んでもよい。また車載スピーカ24を、頭部装着型ヘッドセット(例えば、Bluetooth(登録商標)ヘッドセット)、補聴器装置、ウェアラブルなラウドスピーカなどと交換してもよいことも認識される。
インフォテインメントシステム18を、サーバ(図示せず)と通信するための無線接続26に結合してもよい。例えば、サーバは、無線接続26を介して音声関連広告を運転者22に再生するためのインフォテインメントシステム18に提供してもよい。音声関連広告は、広告12に提供されたものと同様の情報、または広告板上の広告12に提供された情報と異なる情報を運転者に提供してもよいことが認識される。
図4は、運転者が関心を示す広告12に関連した音声広告を提供するための、システム10’の別の実施形態を示す。システム10’は、車両16のGPS座標を提供できる、車載の全地球測位システム(GPS)モジュール28を含むことができる。本明細書に言及されるようなGPSは、GPS、GLONASS、Galileo、BeiDouなどを含む、任意のおよび/またはすべての全地球的航法衛星システムを指す。さらに装置10’は、運転者がそれぞれの広告に関する音声広告も見得る、異なる広告の場所(例えば、GPS座標)を記憶できるデータベース30を含むことができる。一例では、データベース30を車両16に搭載してもよい。別の例では、データベース30をリモートに配置してもよく(例えば、リモートコンピュータシステム)、車両16は、対応する音声広告を検索できるように、広告12のGPS座標を提供するために無線接続26を介してリモートコンピュータシステムと無線で通信し得る。
図4に示された実施形態において、眼球注視追跡システム14は、図2におけるシステムコントローラ13の機能を実行してもよい。したがって、車両16がデータベース30に記憶された広告の1つ以上のGPS座標に接近する(例えば、広告の所定の距離内に入る)と、眼球注視追跡装置14は、(上述のように)運転者22が広告12の内容に関心があるかどうかを判定するために、運転者22の眼球注視を追跡する動作を起動することができる。眼球注視追跡システム14が運転者22の眼球注視を追跡する間、GPSモジュール28は、車両16に対するGPS座標を決定することができる。またシステム10’は、車両16の連続するGPS座標から、かつ/または車両16内のコンパスから走行方向を決定することにより、車両の方向を決定してもよい。車両方向に対する運転者22の眼球注視の方向を決定することにより、運転者22の眼球注視の方向(例えば、磁北に対して)を決定することができる。システム10’は、決定されたGPS座標を原点とするベクトル、および運転者22の眼球注視の決定された方向に延びる方向を計算することができる。計算されたベクトルがデータベース30内の広告の場所を交差する場合、システム10’は、運転者22が見ている広告を決定することができる。
上に論じたように、眼球注視追跡システム14は、運転者22は自身が見ている広告に関心があるかどうかを判定できる。眼球注視追跡システム14が、運転者22が特定の広告12に関心があると判定した場合、眼球注視追跡システム14は、カメラ20を始動して広告12の画像をキャプチャすることができる。カメラ20は、画像認識を行って広告12の内容を決定することができる。別法として、車両16はデータベース30にアクセスし、補足された画像をそこに記憶されたデータと比較して広告12の内容を解明してもよい。なおさらに、車両16はデータベース30にアクセスして、ジオコード化された広告板位置(例えば、広告会社などによって提供される)に対するGPS座標を獲得し、車両の現在地(車載GPS28によって提供されるように)およびジオコード化された広告板位置に対する運転者22の眼球注視方向を整合して、運転者22に関心の広告を解明してもよい。
図5Aおよび5Bは、システム10’が、ユーザが見る広告に関する音声広告を提供するために実行され得る方法60および60’を示す。動作62において、眼球注視追跡システム14は、車両16が広告12(例えば、広告板)から所定の距離(例えば、500m以内または何らかの他の適切な値)内に位置付けられているかどうかを判定できる。例えば、眼球注視追跡システム14は、車両位置(または車両GPS座標)を車載GPS18から受信でき、車両のGPS座標に最も近い場所(例えば、広告板のGPS座標)にある広告に対するデータベース30を探すことができる。眼球注視追跡システム14が、車両16が車載GPS28およびデータベース30から受信した情報に基づいて広告12の所定の距離内に位置付けられていると判定すると、方法60は動作64に移動しうる。
動作64において、眼球注視追跡システム14は、運転者22の眼球注視方向を追跡し得る。別法として、眼球注視追跡システム14は、運転者22の頭の向きを追跡し得る。
動作66において、眼球注視追跡システム14は、運転者22の眼球注視を追跡する眼球注視追跡システム14に応答して、GPS座標および車両16の方向を決定し得る。
動作68において、眼球注視追跡システム14は、運転者22が広告12を所定の時間、所定量を超える回数、および/または所定量を超える総累積時間見たかどうかを判定して、運転者22が広告に関心があるかどうかを判定できる。運転者22の関心がある場合、方法60は、動作70(図5A)または動作70’(図5B)に移動しうる。
図5Aを参照すると、動作70’において、眼球注視追跡システム14は、広告12の画像を補足するためにカメラ20を制御または作動することにより、また同広告12の画像認識を行うことにより、広告の内容を認識し得る。上述のように、カメラ20は、広告12の画像をキャプチャするため、および画像認識を行うための、ハードウェアとソフトウェアのあらゆる組合せを含むことができる。
図5Bを参照すると、動作70’において、眼球注視追跡システム14は、データベース30にアクセスし、運転者22の検出された眼球注視方向と交差する場所における広告の内容を検索することにより、広告の内容を認識し得る。言い換えると、データベース30にアクセスしてジオコード化された広告板位置(例えば、広告会社などによって提供される)に対するGPS座標を獲得し、車両の現在地(車載GPS28によって提供されるように)およびジオコード化された広告板位置に対する運転者22の眼球注視方向を整合して、運転者22に関心の広告を解明し得る。
動作72において、インフォテインメントシステム18は、視覚広告12に関する音声広告を運転者22に出力し得る。
図6は、図2におけるシステム10または図4におけるシステム10’などのシステムが、ユーザ(例えば、運転者22)が広告板12を見ているかどうかを判定できる、例示的なケースを示す。例えば、車両16(例えば、乗用車)内で、システム10または10’は、磁北などの基準方向63に対して車両16の角度αの方向64を決定し得る。システム10または10’は、コンパスを使用することにより、または連続するGPS位置からの走行方向を計算することにより、角度αを決定してもよい。またシステム10または10’は、車両16に対する角度β(角度βは角度αに関連する)を有する運転者の眼球注視および/または頭の向きの方向65を決定し得る。例えば、角度βを、走行方向(角度αによって示される)に関連させることができる。角度βを角度αと組み合わせることにより、βをαに加える、またはβをαから引くことにより、角度α+βを磁北などの基準方向に対して表すことができる。またシステム10または10’は、車両16のGPS位置67(すなわち、地理位置情報)および車両16に最も近いあらゆる広告(例えば、広告板12)のGPS位置66(すなわち、地理位置情報)を決定し得る。システム10または10’は、車両16のGPS座標を原点とするベクトル、および角度α+βに等しい方向を計算し得る。ベクトルが広告板12のGPS座標を交差する(または広告板12を包囲する領域62を交差する)場合、システムは、運転者22が広告板12を見ていると判定できる。
システム10または10’が、運転者22が広告12を見ており、広告12に関心があると判定した場合、カメラ20は、インフォテインメントシステム18によって使用するための広告12の画像をキャプチャして、広告の内容を決定し得る。次いでインフォテインメントシステム18は、運転者22によって見られるように、広告12に関連付けられた車載スピーカ24を介して音声関連広告を提供し得る。上述のように、インフォテインメントシステム18は、音声関連広告を再生するための車載スピーカ24と連動するための音声システムを含んでもよく、またはこのような情報を運転者22の携帯電話を介して、または運転者22の携帯電話との連動を介した車載スピーカ24を通して再生される、Harman(登録商標)製のAha(登録商標)ラジオ局として実装されてもよいことが認識される。加えて、インフォテインメントシステム18を、サーバ(図示せず)と通信するための無線接続部26に結合してもよい。サーバは、無線接続26を介して音声関連広告を運転者22に再生するためのインフォテインメントシステム18に提供してもよい。
音声関連広告を、車両16の位置および車両の向かう方向に基づいてカスタマイズしてもよいことが認識される。例えば、車両16がサンフランシスコに向かって走行しており、運転者22が特定の車両業者(例えば、Toyota、Fordなど)に対する広告板広告に関心がある場合、音声関連広告は、販売店の操業時間などを含む、運転者22の経路または目的地における車両製造業者の販売店に対する位置情報を含むようにカスタマイズされてもよい。なおさらに、音声関連広告は、運転者22が自身の現在の車両16を下取りに出してもよいことを仮定して、新車の最初の見積りを含むようにカスタマイズされてもよく、詳細(現在の車両16のモデル、メイク、年式、車両16の診断データを介した現在の総走行距離など)は、無線接続26を介する送信を利用できる。車両16における航法システム(図示せず)は、運転者22が関心点を自身の現在の経路に追加する選択肢を有するように、音声関連広告によって詳述されるように関心点の場所などの情報を受信してもよい。
図7は、視覚広告12に関連する音声広告を運転者22に提供するためのシステム10”の他の実施形態を示す。システム10”は視覚広告12の画像を検出することができるカメラ20を含み得る。システム10”は眼球注視追跡システム14も含み得、眼球注視追跡システム14は運転者22の眼球注視方向を判定し得る。上述のように、眼球注視追跡システム14は、運転者22が所定量の時間を越えて、所定量を越えた回数、および/または所定量の総累積時間を越えて広告12を見たかどうかを判定し、それにより運転者22が視覚広告12に興味を有するかどうかを判定し得る。運転者22が広告12に興味を有する場合、インフォテインメントシステム18は、運転者22により閲覧され且つカメラ20によりキャプチャされた広告12のコンテキストに関連する音声関連広告を車載スピーカ24を介して提供し得る。
図8は、視覚広告12に関連する音声広告を運転者22に提供するために図7のシステム10”が実現し得る方法80を示す。動作82において、カメラ20は広告の画像(例えば広告12の画像)を求めてシステム10”近傍の環境を走査し得る。動作84において、眼球注視追跡システム14は運転者22の眼球注視方向を追跡し得る。動作86において、眼球注視追跡システム14は、所定量の時間にわたり、事前規定量の回数を越えて、および/または所定量を越える総累積時間にわたり運転者22が広告を注目したかどうかを判定することにより運転者22が広告に興味を有するかどうかを判定し得る。運転者22が広告12に興味を有する場合、動作88において、インフォテインメントシステム18は、広告12のコンテキストに関連する音声関連広告を、車載スピーカ24を介して提供し得る。
全般的に、追加的な実施形態は、音声ストリームに加えて視覚情報を追加するかまたは音声ストリームに取って代わる視覚情報を1つ以上の車載ディスプレイ(例えば中央コンソール、インストルメント・クラスタ、ヘッドアップディスプレイ(HUD)、乗員用ディスプレイ、その他)上で提供する装置を含み得る。眼球注視追跡システム14と組み合わせて用いられるセンサが眼球注視方向または頭部指向を測定するために車両16上に搭載され得るが、このセンサは(i)運転者22の眼鏡に取り付けられてもよく、(ii)運転者のネックレスに取り付けられてもよく(例えば「アミュレット装置」は宝石ペンダントのように見え得る)、(iii)腕時計上に装着されてもよく、(iv)ヘッドバンドまたはヘッドリング上に装着されてもよく、(v)身体上の任意の場所に装着されてもよく、(vi)衣類(例えばベルトバックルなど)に取り付けられてもよく、(vii)運転者のモバイル装置(例えばスマートフォン、タブレット、その他)上に配置されてもよく、(viii)携帯型であり、車両16に対して着脱可能であってもよい。
追加的な実施形態は、(i)(例えばソーシャルメディアでの態度から)運転者22の好みを利用することによりカスタマイゼーションを改善することと、(ii)「後に通知を希望する」を示すボタンまたは口頭コマンドを装置に追加すること、および、広告板からの情報または音声広告を電子メールまたは他のソーシャルメディアチャネルを介して運転者22に伝達することと、(iii)任意の1つ以上の装置が興味ある広告業者を運転者に通知することを可能にすること(それにより広告業者は後に、製品に関する興味について運転者をフォローアップすることが可能になる)、(iv)追加的な処理能力(例えばスマートフォン、スマートウォッチ、または無線ネットワークを用いてリモートサーバに直接接続する)のために外部装置と通信することと、を含む。
図9、図10、および図11は、システム(例えばシステム10、システム10’、またはシステム10”)が、いずれの広告をユーザが見ているかを判定し得る、および/またはユーザが見ている広告のコンテキストを判定し得る、追加的なケースを示す。図9は、車両902を包囲する複数の密集した広告(例えば広告板)906,908を含む環境において運行中の車両902を示す。例えば図9は、広告が並列方向および垂直方向に密集して配置されたニューヨーク市のタイムズスクエアを走行中の車両902を示し得る。係るケースでは、GPSを用いて車両902の位置を判定し、GPS位置および運転者の眼球注視の方向に基づいてベクトルを計算することは、正しい動作をもたらさない場合もあり得る。なぜならGPS位置計算における本質的なエラーのために、システムが間違った広告を認識し得るためである。例えば図9は矢印904aを含み、この矢印904aは車両902の運転者の可能な眼球注視方向を示す。自動車が図9に示す位置にあることが、計算されたGPS位置により示される場合、システムは、運転者が広告906cを見ていると判定するであろう。一方、車両902が図9に示す位置よりも後方にあるものと(計算されたGPS位置のエラーにより)システムが判定した場合には、運転者が広告906dまたは906eを見ているとシステムは誤って判断し得る。GPS位置計算エラーにより、広告を視覚的に検出するために眼球注視方向を追跡するシステムは、図9に示すケースにおいて実装され得る。図9に示すように、車両902の右側にある広告906の画像および車両892の左側にある広告908の画像を含む車両902の周囲の環境の画像を、1つ以上のシーンカメラがキャプチャし得る。キャプチャ画像には、互いに対して垂直方向にスタックされた広告の画像も含まれ得る。これらの広告のキャプチャ画像は、車両に対して(例えば車両の直進方向に対して)システムにより向けられ得る。同様に、運転者の眼球注視の方向および/または頭部指向は、車両に対して向けられ得る。システムは、運転者の眼球注視の方向が広告のキャプチャ画像の向きに対応するかどうかを判定することにより、運転者が特定の広告を見ているかどうかを判定し得る。例えば、運転者の眼球注視が矢印904aの方向である場合、眼球注視方向は広告906cのキャプチャ画像の向きに対応する。したがってシステムは運転者が広告906cを見ていると判定し得る。同様に、運転者の眼球注視が矢印904bの方向である場合、眼球注視方向は広告908aのキャプチャ画像の向きに対応する。したがってシステムは運転者が広告908aを見ていると判定し得る。
図10は、システム(例えばシステム10、システム10’、またはシステム10”)が広告のキャプチャ画像の境界線(例えばボーダーなど)を特定し、ユーザ(例えば運転者など)の眼球注視方向が広告の境界線内にあるかどうかを判定することによりユーザが広告を見ているかどうかを判定し得るケースを示す。図10は、外部に面するカメラの視野域1010内にある2つの広告(例えば広告板広告板など)1006,1008に向かって走行中の車両1002を示す。第1の広告1006は、左境界線が車両の移動方向に対して角度α1に向けられ、右境界線が車両の移動方向に対して角度α2に向けられるよう、向けられる。したがってユーザの眼球注視方向θ1が角度α1〜角度α2の範囲にある場合、ユーザが第1の広告1006を見ているとシステムは判定し得る。同様に、第2の広告1008は、左境界線が車両の移動方向に対して角度β1に向けられ、右境界線が車両の移動方向に対して角度β2に向けられるよう、向けられる。したがってユーザの眼球注視方向θ2が角度β1〜角度β2の範囲にある場合、運転者が第1の広告1006を見ているとシステムは判定し得る。同様の手法でシステムは広告の垂直境界線(例えば頂部境界線および底部境界線など)を識別し、ユーザの垂直眼球注視方向が特定広告の垂直境界線の範囲にあるかどうかを判定し得る。広告が並列方向および垂直方向に密接したニューヨーク市のタイムズスクエアなどの特定の環境では、システムは各広告の水平境界線および垂直境界線の両方を特定し、眼球注視方向が当該広告の境界線内の水平角度および垂直角度にある場合、ユーザが特定広告を見ていると判定し得る。簡略化のために、図10は視点1004を示し、その視点1004から、広告に対する角度(または向き)および眼球注視方向がすべて決定される。実際にはユーザの眼球の位置が外部に面するカメラの位置とは異なり得るが、その場合には、これら2つの視点を位置合わせするための計算または変換をシステムが実行することが必要となるであろう。
図11は、ユーザ(例えば車両1102の運転者など)が見ている遠方の広告をシステム(例えばシステム10、システム10’、またはシステム10”など)が識別し、システムが広告のコンテキストを識別する例示的なケースを示す。このケースでは、ユーザは道路1100に沿って遠方にある単一の広告板1104に向かって走行中である。このエリアには他の広告板1104は存在しないが、当該広告板は運転者または外部に面するカメラからは遠方にあるため広告板の内容を識別することは不可能である。また広告板1104は遠方にあるため、眼球注視追跡システム14は効果的に機能し得ない。なぜなら、眼球注視方向1106もしくは1108および/または頭部指向の判定においてエラーが生じた場合、ユーザが広告板1104を見ているかどうかについてシステムが計算を誤り得るためである。動作の1部分において、システムは、車両1102に対して比較的近位にある単一広告板1104を識別し得る(車両のGPS位置の近傍にある地上位置を有する広告板をデータベースで検索することにより)。近傍環境が他の広告板を含まないため、道路の側部に向かう眼球注視方向が広告板1104に向けられているとシステムは推測し得る。例えば図11は、道路1100に沿って直進方向の眼球注視方向に対応する第1の矢印1106と、道路1100の側部に向かう眼球注視方向に対応する第2の矢印1108と、を示す。眼球注視方向が道路の側部に向かう場合、道路の側部に沿って存在することが知られている広告にユーザが見ているものとシステムは推測し得る。また遠方では広告板1104の見かけ上の寸法が小さすぎて外部に面するカメラが、広告板の物体、画像、および/またはコンテキストを識別し、広告の内容を識別することは不可能である。再びシステムは広告板1104の地上位置を含むデータベースにアクセスし、それにより当該広告板のコンテキストを識別し得る。上述のように、広告板に対するコンテキストはデータベースに記憶され得る。結果として、広告板1104の視認は可能であるがその詳細がユーザに識別可能となる前に、システムは広告板1104のコンテキストに対応する音声広告の再生を開始し得る。全般的に、ユーザは広告を視覚的に気づき得る。しかし広告板が遠すぎるため、広告板のコンテキストを理解することは不可能であり得る。システムは近傍環境(ユーザの周囲の環境)を調査し、ユーザが広告板1104に接近すると音声広告(または他の音声情報)を再生し得る。
上述のように、音声広告はユーザの環境における視覚的広告のコンテキストに関したものとなり得る。例示的なケースでは、運転中に新しいスマートフォンのための広告(または広告板)が運転者の注意を引き得る。運転者は広告に含まれた全詳細を理解しようとして何度か広告に注目し得る。上記で開示したシステムは、運転者が広告に興味を有することを認識し、当該広告の画像をキャプチャし得る。画像検出および認識技術を用いて、この装置は広告の内容を検出し、適切な音声ストリームを取得し得る。加えて、車載ナビゲーションシステムデータを用いて、取得された音声ストリームは運転者の位置、進行方向、ナビゲーション目的地、および正確なルートによりカスタマイズ可能であり得る。システムは、新しいスマートフォンに関する音声広告のストリームプロセスを自動車のスピーカを通して起動し得る。音声広告は新製品に関する追加情報を運転者に提供し得る。係る追加情報には、運転者の現在位置、ルート、および目的地を加味したスマートフォンの購入に最も便利な位置が含まれる。
他の例示的なケースにおいて、運転者はサンフランシスコに向かって北進中に新型トヨタ車種に関する興味深い広告を屋外LEDディスプレイ上に閲覧し得る。運転者は(様々な詳細を記憶するために)広告を複数回目視し得る。運転者が複数回広告を閲覧したことの結果として、様々な実施形態に係るシステムは、広告の主題となる自動車の詳細を有するトヨタからの音声広告を再生し得る。なお音声広告には、ユーザのルートまたはサンフランシスコにおける目的地に最も近いトヨタのディーラーに関するカスタマイズされた(例えばナビゲーションシステムから引き出されたデータを用いて)詳細も含まれる。運転者の現行車両に関する内部データ(例えばメーカ、車種、年数、走行距離、その他)を用いることにより、システムは、運転者が新型トヨタ車種に対して現行車種を下取りに出すことを希望する場合の初回見積額を含み得る音声広告を再生し得る。この場合インフォテインメントシステム上でボタン(など)を押下するだけで、運転者は提案されたトヨタディーラーをルート上の中間地点または終点として追加し得る。
本明細書で開示する1つ以上の態様は、視覚的広告の詳細を読むことを要求するよりもむしろ、係る詳細を聴く機会を運転者に提供する。それにより注意散漫度が低減され、運転者は道路に目を向け続けることが可能となる。前述に鑑みて、音声広告は有意義であり得、運転者が興味を有する対象に対応して調節され得る。さらに音声広告は運転者の車両および位置に基づいてカスタマイズ可能である。
加えて、本明細書で開示する1つ以上の態様は(i)車両運転中において運転者の認識負荷を低減させ、それにより安全性が改善されることと、(ii)限定的な視覚的広告が提供できる情報を質的および量的に改善することと、(iii)興味を有する運転者に対してカスタマイズされた詳細を提供することと、をもたらし得る。したがって広告がより効果的となり、より多くの情報が興味を有する運転者に提供され得る。運転者の立場からは、注意散漫度が低減され、特に運転者にとって重要である追加的コンテキスト情報が提供される一方で、広告は運転者の興味に合致するよう選択される。
本明細書で開示する1つ以上の態様は2つの相補的システムを提供する。1つのシステムはカメラベースのシステムである。係るシステムは、広告その他のために近傍環境を調査し、眼球注視追跡システムを使用して運転者の注視を検出および追跡する。それにより、インフォテインメントシステムは、運転者が運転者の近傍環境において閲覧してきた広告に基づいて音声広告を提供することが可能となる。第2のシステムは位置ベースのシステムである。係るシステムはGPSの使用を通じて車両の位置と近傍環境における広告の位置とを判定する。それによりインフォテインメントシステムは、運転者および眼球注視トラッカーの周囲における広告を判定して、運転者に対して音声広告を再生する前に、運転者が閲覧する広告板を判定することを可能にする。各システムが独立的に作動してもよく、または2つのシステムが協働してもよい。例えば各システムは、ユーザがいずれの広告に興味を有するかについて、および当該広告のコンテキストが何であるかについて、判定を提供し得る。結果的に生成された判定は互いに対して相互チェックされ、それによりシステム動作が正確であるかが確かめられる。
上述の例示的なケースでは、主に乗用車および運転者に関してシステムを説明した。システムは、歩行者、自転車利用者、その他により使用される携帯型および/またはウェアラブルな部分にも一体化され得る。例えば音声トランスデューサが、歩行者により装着されるヘッドフォンまたは小型イヤホンへと一体化され得る。同様に、眼球追跡カメラおよび外部に面するカメラがアイウェア(例えばサングラス、処方メガネ、またはグーグルグラス(登録商標)などの頭部装着ディスプレイなど)へと一体化され得る。コンピュータロジックおよび/またはコンピュータプロセッサが専用筐体へと一体化されてもよく、および/またはスマートフォン等へと一体化されてもよい。例えば、コンピュータロジックが、スマートフォン、タブレット、または他の携帯型コンピュータデバイス上で実行されるアプリケーションとして実装され得る。
代表的な実施形態について上記で説明してきたが、説明したこれらの実施形態は、本発明の可能な形態のすべてであることを意図するものではない。むしろ、本明細書で用いられる言語は限定を目的とする言語ではなく説明を目的とする言語であり、様々な変更例が本発明の精神および範囲から逸脱することなく可能であることを理解されたい。加えて、様々な実施形態の特徴を組み合わせることにより、本発明のさらなる実施形態が形成され得る。
本発明はシステム、方法、および/またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様を実施することをプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は命令実行デバイスにより用いられるための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の好適な組み合わせであり得るがこれらに限定されない。コンピュータ可読記憶媒体の具体例の非網羅的リストは、携帯型のコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブル・リード・オンリー・メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、携帯型のコンパクトディスクリードオンリーメモリ(CD−ROM)、デジタル汎用ディスク(DVD)、メモリスティック、フロッピディスク、機械的に符号化されたデバイス(例えば命令が書き込まれたパンチカードまたは溝部における隆起構造体など)、および上記の任意の好適な組み合わせを含む。本明細書で用いられるコンピュータ可読記憶媒体は本質的に一時的信号(例えば電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通って伝搬される電磁波(例えば光ファイバケーブルを通過する光パルスなど)、またはワイヤを通って伝達される電気信号など)であると解釈すべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク(例えばインターネット、ローカルエリアネットワーク、広域ネットワーク、および/または無線ネットワーク)を介して、コンピュータ可読記憶媒体からそれぞれの計算/処理装置へ、または外部コンピュータもしくは外部記憶装置へ、ダウンロードすることが可能である。ネットワークは銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ケートウェイコンピュータおよび/またはエッジサーバを含み得る。各計算/処理装置におけるネットワークアダプタカードまたはネットワークインターフェイスはコンピュータ可読プログラム命令をネットワークから受け取り、当該コンピュータ可読プログラム命令をそれぞれの計算/処理装置内のコンピュータ可読記憶媒体に記憶するために転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはオブジェクト指向プログラミング言語(例えばSmalltalkまたはC++など)もしくは従来の手続き型プログラミング言語(例えば「C」プログラミング言語または同様のプログラミング言語など)を含む1つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で実行されてもよく、スタンドアロン・ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよく、部分的にユーザのコンピュータ上および部分的にリモートコンピュータ上で実行されてもよく、または全体的にリモートコンピュータもしくはサーバ上で実行されてもよい。後者のケースでは、リモートコンピュータは、任意種類のネットワーク(ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む)を通してユーザのコンピュータに接続されてもよく、または接続が外部コンピュータ(例えばインターネットサービスプロバイダを用いてインターネットを通して)になされてもよい。一部の実施形態において、電気回路(例えばプログラマブルロジック回路、フィールド・プログラマブル・ゲートアレイ(FPGA)、またはプログラマブルロジックデバイス(PLA)を含む)は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電気回路をパーソナライズすることによりコンピュータ可読プログラム命令を実行し得る。
本発明の態様について、本発明の実施形態に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャート図および/またはブロック図に関して説明してきた。フローチャート図および/またはブロック図の各ブロック、およびフローチャート図および/またはブロック図におけるブロックの組み合わせがコンピュータ可読プログラム命令により実現されることが理解されるであろう。
コンピュータ可読プログラム命令が汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されると1つの機械が生成されることとなるであろう。それによりコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令によりフローチャートおよび/またはブロック図のブロックに指定された機能/動作を実現するための手段が形成される。コンピュータ、プログラム可能データ処理装置、および/または他のデバイスを特定の様式で機能するよう誘導し得るこれらのコンピュータ可読プログラム命令もコンピュータ可読記憶媒体に記憶され得る。それにより、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図のブロックに指定された機能/動作の態様を実現する命令を含む製品を含むこととなる。
コンピュータ可読プログラム命令がコンピュータ、他のプログラム可能データ処理装置、または他の装置にロードされると、一連の動作ステップがコンピュータ、他のプログラム可能装置、または他のデバイス上で実行されることとなる。それによりコンピュータ実装プロセスが生成され、コンピュータ、プログラム可能装置、または他のデバイス上で実行される命令が、フローチャートおよび/またはブロック図のブロックに指定された機能/動作を実現し得る。
これらの図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図における各ブロックは、定義論理関数を実現するための1つ以上の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的な実装では、ブロックに示される機能は図面に示す順序とは異なる順序で起こり得る。例えば、連続して示される2つのブロックは、実際には、関与する機能に応じて、実質的に同時に実行され得るか、またはブロックは時々、逆の順序で実行され得る。ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図におけるブロックの組み合わせが、特定機能または動作を実行するかまたは特殊用途ハードウェアおよびコンピュータ命令の組み合わせを実行する特殊用ハードウェアベースのシステムにより実現され得ることも理解されたい。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361840965P | 2013-06-28 | 2013-06-28 | |
US61/840,965 | 2013-06-28 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133770A Division JP6456610B2 (ja) | 2013-06-28 | 2014-06-30 | 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018185527A true JP2018185527A (ja) | 2018-11-22 |
Family
ID=52017536
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133770A Active JP6456610B2 (ja) | 2013-06-28 | 2014-06-30 | 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 |
JP2018126747A Withdrawn JP2018185527A (ja) | 2013-06-28 | 2018-07-03 | 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133770A Active JP6456610B2 (ja) | 2013-06-28 | 2014-06-30 | 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150006278A1 (ja) |
JP (2) | JP6456610B2 (ja) |
CN (1) | CN104252229B (ja) |
DE (1) | DE102014109079A1 (ja) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105960193A (zh) | 2013-09-03 | 2016-09-21 | 托比股份公司 | 便携式眼睛追踪设备 |
US10310597B2 (en) | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
US10686972B2 (en) | 2013-09-03 | 2020-06-16 | Tobii Ab | Gaze assisted field of view control |
US9532109B2 (en) * | 2013-12-20 | 2016-12-27 | Panasonic Intellectual Property Corporation Of America | System and method for providing product information of a product viewed in a video |
US20150221341A1 (en) * | 2014-01-31 | 2015-08-06 | Audi Ag | System and method for enhanced time-lapse video generation using panoramic imagery |
US10373259B1 (en) | 2014-05-20 | 2019-08-06 | State Farm Mutual Automobile Insurance Company | Fully autonomous vehicle insurance pricing |
US20210133871A1 (en) | 2014-05-20 | 2021-05-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature usage recommendations |
US9972054B1 (en) | 2014-05-20 | 2018-05-15 | State Farm Mutual Automobile Insurance Company | Accident fault determination for autonomous vehicles |
US10599155B1 (en) | 2014-05-20 | 2020-03-24 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
US11669090B2 (en) | 2014-05-20 | 2023-06-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
US10540723B1 (en) | 2014-07-21 | 2020-01-21 | State Farm Mutual Automobile Insurance Company | Methods of providing insurance savings based upon telematics and usage-based insurance |
US9714037B2 (en) * | 2014-08-18 | 2017-07-25 | Trimble Navigation Limited | Detection of driver behaviors using in-vehicle systems and methods |
WO2016029939A1 (en) * | 2014-08-27 | 2016-03-03 | Metaio Gmbh | Method and system for determining at least one image feature in at least one image |
US20160063561A1 (en) * | 2014-08-29 | 2016-03-03 | Ford Global Technologies, Llc | Method and Apparatus for Biometric Advertisement Feedback Collection and Utilization |
US10180974B2 (en) * | 2014-09-16 | 2019-01-15 | International Business Machines Corporation | System and method for generating content corresponding to an event |
US10166994B1 (en) * | 2014-11-13 | 2019-01-01 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operating status assessment |
US9607515B2 (en) | 2014-12-22 | 2017-03-28 | Intel Corporation | System and method for interacting with digital signage |
KR101682880B1 (ko) * | 2015-03-19 | 2016-12-20 | 현대자동차주식회사 | 차량 및 이를 포함하는 원격 차량 조작 시스템 |
CN105099892A (zh) * | 2015-08-07 | 2015-11-25 | 许继电气股份有限公司 | 一种用于充电桩的信息发布方法 |
US10817898B2 (en) * | 2015-08-13 | 2020-10-27 | Placed, Llc | Determining exposures to content presented by physical objects |
US9805601B1 (en) | 2015-08-28 | 2017-10-31 | State Farm Mutual Automobile Insurance Company | Vehicular traffic alerts for avoidance of abnormal traffic conditions |
US20180225704A1 (en) * | 2015-08-28 | 2018-08-09 | Nec Corporation | Influence measurement device and influence measurement method |
JPWO2017047063A1 (ja) * | 2015-09-16 | 2018-07-12 | 日本電気株式会社 | 情報処理装置、評価方法及びコンピュータプログラム |
JP6212523B2 (ja) * | 2015-09-18 | 2017-10-11 | ヤフー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR101790656B1 (ko) * | 2015-10-29 | 2017-10-27 | 디노플러스 (주) | 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법 |
JP2017123029A (ja) * | 2016-01-06 | 2017-07-13 | 富士通株式会社 | 情報通知装置、情報通知方法及び情報通知プログラム |
US10295363B1 (en) | 2016-01-22 | 2019-05-21 | State Farm Mutual Automobile Insurance Company | Autonomous operation suitability assessment and mapping |
US11719545B2 (en) | 2016-01-22 | 2023-08-08 | Hyundai Motor Company | Autonomous vehicle component damage and salvage assessment |
US10134278B1 (en) | 2016-01-22 | 2018-11-20 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle application |
US11441916B1 (en) | 2016-01-22 | 2022-09-13 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle trip routing |
US10324463B1 (en) | 2016-01-22 | 2019-06-18 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation adjustment based upon route |
US11242051B1 (en) | 2016-01-22 | 2022-02-08 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle action communications |
US10395332B1 (en) | 2016-01-22 | 2019-08-27 | State Farm Mutual Automobile Insurance Company | Coordinated autonomous vehicle automatic area scanning |
CN107728776A (zh) * | 2016-08-11 | 2018-02-23 | 成都五维译鼎科技有限公司 | 信息采集的方法、装置、终端及系统及用户终端 |
DE112016007273T5 (de) * | 2016-09-27 | 2019-06-06 | Mitsubishi Electric Corporation | Informations-präsentationssystem |
CN106682946A (zh) * | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
US10082869B2 (en) * | 2017-02-03 | 2018-09-25 | Qualcomm Incorporated | Maintaining occupant awareness in vehicles |
US11790401B2 (en) | 2017-04-10 | 2023-10-17 | BoardActive Corporation | Platform for location and time based advertising |
CA3059771A1 (en) | 2017-04-10 | 2018-10-18 | BoardActive Corporation | A platform for location and time based advertising |
US10521822B2 (en) | 2017-04-10 | 2019-12-31 | BoardActive Corporation | Platform for location and time based advertising |
US10880086B2 (en) | 2017-05-02 | 2020-12-29 | PracticalVR Inc. | Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences |
DE102017207960A1 (de) * | 2017-05-11 | 2018-11-15 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors |
EP3429123B1 (en) * | 2017-05-16 | 2019-07-24 | Shenzhen Goodix Technology Co., Ltd. | Advertisement playback system and advertisement playback method |
CN110663011B (zh) | 2017-05-23 | 2024-04-12 | 交互数字Vc控股公司 | 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法 |
US20180349948A1 (en) * | 2017-05-30 | 2018-12-06 | International Business Machines Corporation | Evaluation of effectiveness of signs |
US10776828B2 (en) * | 2017-07-05 | 2020-09-15 | Panasonic Intellectual Property Management Co., Ltd. | System and method for facilitating dynamic brand promotion using autonomous vehicles |
CN107578266A (zh) * | 2017-07-31 | 2018-01-12 | 上海与德科技有限公司 | 一种广告牌的控制方法 |
KR101967859B1 (ko) * | 2017-09-08 | 2019-08-13 | 전자부품연구원 | 디지털 사이니지 관리 시스템 및 방법 |
US11290518B2 (en) * | 2017-09-27 | 2022-03-29 | Qualcomm Incorporated | Wireless control of remote devices through intention codes over a wireless connection |
JP2019125039A (ja) * | 2018-01-12 | 2019-07-25 | トヨタ自動車株式会社 | 判定装置、判定方法及びプログラム |
WO2019173697A1 (en) * | 2018-03-08 | 2019-09-12 | Bose Corporation | Prioritizing delivery of location-based personal audio |
DE102018203944B4 (de) * | 2018-03-15 | 2022-02-17 | Audi Ag | Verfahren sowie Kraftfahrzeug zum Ausgeben einer Information abhängig von einer einen Insassen des Kraftfahrzeugs charakterisierenden Eigenschaft |
DE102018204941A1 (de) * | 2018-03-29 | 2019-10-02 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Inhalten zur Anzeige für einen Insassen eines Kraftfahrzeugs |
JP7187169B2 (ja) * | 2018-04-23 | 2022-12-12 | フォルシアクラリオン・エレクトロニクス株式会社 | 情報処理装置及び情報処理方法 |
DE102018117015A1 (de) * | 2018-07-13 | 2020-01-16 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, Detektionssystem und Kraftfahrzeug |
US20200064912A1 (en) * | 2018-08-22 | 2020-02-27 | Ford Global Technologies, Llc | Eye gaze tracking of a vehicle passenger |
JP7103060B2 (ja) * | 2018-08-24 | 2022-07-20 | トヨタ自動車株式会社 | 情報処理装置 |
JP7010172B2 (ja) * | 2018-08-27 | 2022-01-26 | トヨタ自動車株式会社 | 広告制御装置、広告システム、広告制御方法及び広告制御プログラム |
US11221741B2 (en) * | 2018-08-30 | 2022-01-11 | Sony Corporation | Display control of interactive content based on direction-of-view of occupant in vehicle |
JP7067429B2 (ja) * | 2018-11-06 | 2022-05-16 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法およびプログラム |
DE102018128628A1 (de) * | 2018-11-15 | 2020-05-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bereitstellen eines Feedbacks an einen Werbenden, Computerprogrammprodukt, Feedbackeinrichtung und Kraftfahrzeug |
KR20200072022A (ko) * | 2018-12-12 | 2020-06-22 | 현대자동차주식회사 | 사용자 관심정보 제공장치 및 방법 |
DE102018133445A1 (de) * | 2018-12-21 | 2020-06-25 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten |
KR20220161564A (ko) * | 2019-01-15 | 2022-12-06 | 모셔널 에이디 엘엘씨 | 로컬화 및 위치 기반 서비스를 위해 차량에서 캡처된 승객 주의 데이터의 활용 |
US10882398B2 (en) * | 2019-02-13 | 2021-01-05 | Xevo Inc. | System and method for correlating user attention direction and outside view |
WO2020171637A1 (en) * | 2019-02-20 | 2020-08-27 | Samsung Electronics Co., Ltd. | Apparatus and method for displaying contents on an augmented reality device |
JP7196683B2 (ja) * | 2019-02-25 | 2022-12-27 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
CN109917920B (zh) * | 2019-03-14 | 2023-02-24 | 阿波罗智联(北京)科技有限公司 | 车载投射处理方法、装置、车载设备及存储介质 |
EP3744568B1 (en) * | 2019-05-29 | 2022-01-19 | Ningbo Geely Automobile Research & Development Co. Ltd. | A system and method for providing a desired view for a vehicle occupant |
JP7385385B2 (ja) * | 2019-07-19 | 2023-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像配信システムおよび画像配信方法 |
CN110458610B (zh) * | 2019-07-23 | 2022-08-12 | 北京梧桐车联科技有限责任公司 | 一种信息处理方法、装置、交通工具及存储介质 |
JP7138086B2 (ja) * | 2019-08-26 | 2022-09-15 | 本田技研工業株式会社 | 情報提供装置、情報提供方法、およびプログラム |
JP7138087B2 (ja) * | 2019-08-28 | 2022-09-15 | 本田技研工業株式会社 | 特典付与システム、特典付与方法、及びプログラム |
CN111193987B (zh) * | 2019-12-27 | 2022-03-18 | 新石器慧通(北京)科技有限公司 | 一种车辆定向播放声音的方法、装置及无人车辆 |
DE102020100045A1 (de) * | 2020-01-03 | 2021-07-08 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Fahrzeug zur Anpassung von Darstellungen auf Anzeigen in Fahrzeugen |
US11375322B2 (en) * | 2020-02-28 | 2022-06-28 | Oticon A/S | Hearing aid determining turn-taking |
US20210284175A1 (en) * | 2020-03-11 | 2021-09-16 | GM Global Technology Operations LLC | Non-Intrusive In-Vehicle Data Acquisition System By Sensing Actions Of Vehicle Occupants |
WO2022036643A1 (en) * | 2020-08-20 | 2022-02-24 | Huawei Technologies Co., Ltd. | Ear-wearing type electronic device and method performed by the ear-wearing type electronic device |
US20220067785A1 (en) * | 2020-08-27 | 2022-03-03 | Lenovo (Singapore) Pte. Ltd. | Context-based content injection into content stream |
US11617941B2 (en) * | 2020-09-01 | 2023-04-04 | GM Global Technology Operations LLC | Environment interactive system providing augmented reality for in-vehicle infotainment and entertainment |
CN114222189A (zh) * | 2020-09-04 | 2022-03-22 | 奥迪股份公司 | 内容定制方法、装置、计算机设备和存储介质 |
US11704698B1 (en) * | 2022-03-29 | 2023-07-18 | Woven By Toyota, Inc. | Vehicle advertising system and method of using |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2648550Y (zh) * | 2003-10-15 | 2004-10-13 | 方钢 | 一种显示装置 |
US20070210937A1 (en) * | 2005-04-21 | 2007-09-13 | Microsoft Corporation | Dynamic rendering of map information |
JP5120249B2 (ja) * | 2006-03-15 | 2013-01-16 | オムロン株式会社 | 監視装置および監視方法、制御装置および制御方法、並びにプログラム |
US9606621B2 (en) * | 2006-07-28 | 2017-03-28 | Philips Lighting Holding B.V. | Gaze interaction for information display of gazed items |
JP2011055250A (ja) * | 2009-09-02 | 2011-03-17 | Sony Corp | 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム |
US9047256B2 (en) * | 2009-12-30 | 2015-06-02 | Iheartmedia Management Services, Inc. | System and method for monitoring audience in response to signage |
US20110214082A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8670183B2 (en) * | 2011-03-07 | 2014-03-11 | Microsoft Corporation | Augmented view of advertisements |
US10395263B2 (en) * | 2011-12-12 | 2019-08-27 | Intel Corporation | Interestingness scoring of areas of interest included in a display element |
US8941561B1 (en) * | 2012-01-06 | 2015-01-27 | Google Inc. | Image capture |
US9317113B1 (en) * | 2012-05-31 | 2016-04-19 | Amazon Technologies, Inc. | Gaze assisted object recognition |
JP2014052518A (ja) * | 2012-09-07 | 2014-03-20 | Toyota Motor Corp | 広告配信システムおよび広告配信方法 |
US20140350942A1 (en) * | 2013-05-23 | 2014-11-27 | Delphi Technologies, Inc. | Vehicle human machine interface with gaze direction and voice recognition |
-
2014
- 2014-06-27 DE DE201410109079 patent/DE102014109079A1/de active Pending
- 2014-06-30 US US14/319,338 patent/US20150006278A1/en not_active Abandoned
- 2014-06-30 JP JP2014133770A patent/JP6456610B2/ja active Active
- 2014-06-30 CN CN201410306830.7A patent/CN104252229B/zh active Active
-
2018
- 2018-07-03 JP JP2018126747A patent/JP2018185527A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
DE102014109079A1 (de) | 2014-12-31 |
JP6456610B2 (ja) | 2019-01-23 |
CN104252229B (zh) | 2020-11-03 |
JP2015011355A (ja) | 2015-01-19 |
CN104252229A (zh) | 2014-12-31 |
US20150006278A1 (en) | 2015-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6456610B2 (ja) | 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法 | |
JP6643461B2 (ja) | 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法 | |
US10223799B2 (en) | Determining coordinate frames in a dynamic environment | |
US11293760B2 (en) | Providing familiarizing directional information | |
JP6280134B2 (ja) | ヘルメットベースのナビゲーション通知方法、装置およびコンピュータプログラム | |
US9852506B1 (en) | Zoom and image capture based on features of interest | |
US8994613B1 (en) | User-experience customization | |
US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
US8952869B1 (en) | Determining correlated movements associated with movements caused by driving a vehicle | |
US9255813B2 (en) | User controlled real object disappearance in a mixed reality display | |
JP6263098B2 (ja) | 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法 | |
CN107580104A (zh) | 移动终端以及包括该移动终端的控制系统 | |
CN107848462B (zh) | 用于计算至少一个视频或控制信号的计算机程序和方法、设备、车辆 | |
US20150262425A1 (en) | Assessing augmented reality usage and productivity | |
US11227494B1 (en) | Providing transit information in an augmented reality environment | |
KR20140145332A (ko) | 차량용 hmd 시스템 및 그 작동 방법 | |
CN112513784A (zh) | 自动隐藏显示内容的、用于车辆的数据眼镜 | |
US10650037B2 (en) | Enhancing information in a three-dimensional map | |
US20230122450A1 (en) | Anchored messages for augmented reality | |
JP2021032641A (ja) | 情報表示装置 | |
JP7135052B2 (ja) | 制御装置、プログラム、及び制御方法 | |
US11087559B1 (en) | Managing augmented reality content associated with a physical location | |
US20230393657A1 (en) | Attention redirection of a user of a wearable device | |
US20220172249A1 (en) | Systems and Methods for Providing Targeted Advertising | |
KR20160024108A (ko) | 자동차 평가 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190419 |