JP2003502940A - ビデオ情報の観察行動に関するデータを収集し、これらのデータを中央のデータ処理設備に転送するための方法と装置 - Google Patents

ビデオ情報の観察行動に関するデータを収集し、これらのデータを中央のデータ処理設備に転送するための方法と装置

Info

Publication number
JP2003502940A
JP2003502940A JP2001504622A JP2001504622A JP2003502940A JP 2003502940 A JP2003502940 A JP 2003502940A JP 2001504622 A JP2001504622 A JP 2001504622A JP 2001504622 A JP2001504622 A JP 2001504622A JP 2003502940 A JP2003502940 A JP 2003502940A
Authority
JP
Japan
Prior art keywords
data
user
behavior data
video information
communication network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001504622A
Other languages
English (en)
Other versions
JP4399519B2 (ja
Inventor
リッター，ルドルフ
ラウパー，エリック
Original Assignee
スイスコム モービル アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スイスコム モービル アーゲー filed Critical スイスコム モービル アーゲー
Publication of JP2003502940A publication Critical patent/JP2003502940A/ja
Application granted granted Critical
Publication of JP4399519B2 publication Critical patent/JP4399519B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/14—Arrangements for conditional access to broadcast information or to broadcast-related services
    • H04H60/23—Arrangements for conditional access to broadcast information or to broadcast-related services using cryptography, e.g. encryption, authentication, key distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/81—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
    • H04H60/90—Wireless transmission systems
    • H04H60/91—Mobile communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

(57)【要約】 観察行動データを収集し、処理する次のような方法、装置（４）およびシステム（１）。すなわち、その観察行動データはユーザのビデオ情報を観察する際の視覚的挙動に関するものである。この場合ユーザの視線方向に関するデータは、観察されたビデオ情報との関連において測定されるが、この測定は、ビデオ情報がユーザの網膜（５１）に直接投影され、その際ユーザのその時点の着眼位置を測定し、この着眼位置を通信ネットワーク（３）経由でセンタ（２）に伝送し、さらに処理することによって行う。このさらなる処理とは、その時点の着眼位置を事前定義された数値と比較すること、この比較結果に基づいて、事前定義されたイベントをトリガすること、かつ／または前記観察行動データをセンタ（２）に記憶させ、たとえば後の時点で統計的に評価することである。

Description

【発明の詳細な説明】
【０００１】 本発明は、観察行動データを収集、処理する方法、装置、システムに関する。
本発明は特に、ユーザがビデオ情報を観察するにあたってのその視覚的挙動に関
する観察行動データを収集、処理する方法、装置、システムに関する。
【０００２】 今日では特にマーケティング目的で、テレビ視聴者の視覚的挙動が統計的に収
集、評価されている。それは１つには、どのプログラムがまたはどのテレビ放送
局が、どのくらいの頻度で誰に見られているかを調査するため、２つには、把握
されたテレビ視聴者からその選択されたプログラムに対する質的評価を得るため
である。たとえば特許出願ＷＯ９４／１５４１７Ａには、マーケットリサーチ目
的でユーザのテレビ受像機利用をモニターし把握する、移動型データ収集機器が
記載されている。しかし在来型のデータ収集機器とその方法は、画像レベルにお
けるユーザの視覚的行動を把握するのには、すなわち、個人および／またはグル
ープが動くかつ／または静止している具体的なビデオ情報を観察するにあたって
、その視覚的挙動を統計的に把握するには適当でない。
【０００３】 本発明の課題は、ユーザがビデオ情報を観察する際の視覚的挙動を把握するこ
とを可能にするような、観察行動データを収集、処理するための、新しくて改善
された方法、装置、ならびにシステムを提案することである。 本発明ではこの目標を、特に独立請求項の諸要素によって達成する。そのほか
の有利な発展形態は、特に従属請求項と明細書に記した。
【０００４】 この目標を本発明では特に次により達成する。まず、たとえば転送されたテレ
ビプログラムの静止したまたは動く画像、再生され記憶されたビデオシーケンス
や画像またはグラフィックスといったビデオ情報が観察されるにあたって、ユー
ザの視線方向に関するデータを観察されたビデオ情報との関連において測定する
こと。次に、少なくとも視線方向に関するこれらのデータを含む観察行動データ
を評価ユニットに、たとえば通信ネットワークを経由して１つのセンタに転送す
ることによって達成する。これにより、視聴者がビデオ情報を観察するにあたっ
て、その視覚的習慣に関する観察行動データを、特に再生されたビデオ情報のど
の画像部分が観察されるかに関するデータを、中央に集中して収集することが可
能となる。そうすれば収集された観察行動データをセンタで評価に利用すること
ができ、特に個人ユーザレベルで、たとえば紹介または製品注文のためのダイア
ローグといった、インタラクティブなプロセスをトリガするため、かつ／または
制御するためにこれらのデータを使用することができる。
【０００５】 好ましくは、前記のビデオ情報を、仮想網膜表示装置によってユーザの網膜に
直接投影し、その時点のユーザの着眼位置を測定することにより、視線方向に関
するデータを測定する。この方法には、ユーザの視線方向を観察されたビデオ情
報との関連において測定でき、ユーザの水平方向または垂直方向の頭の動きを同
時に考慮する必要がないという利点がある。
【０００６】 好ましい一実施形態では、たとえば表示装置をもつ装置においてまたはセンタ
において、その時点の着眼位置を事前に定義された数値と比較する。そしてこの
比較の結果に基づいて、たとえば表示装置をもつ装置においてまたはセンタにお
いて、たとえば注文手続きまたは情報特にビデオ情報の転送といった、事前に定
義されたイベントがトリガされる。この方法には、これによりグラフィカルなユ
ーザインタフェースを設けることができ、ユーザはこのインタフェースを、手を
使うことなく自分の目のポジショニングにより制御できるという利点がある。
【０００７】 一実施形態では、センタに転送された観察行動データは、たとえばそれぞれユ
ーザに割り当てられているＳＩＭカード（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉ
ｆｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）といった識別モジュールに由来するユーザ識
別データを含む。これにより、収集された観察行動データの評価と使用を、前記
のように個人ユーザレベルで行うことができ、また該当するユーザに関して追加
的に知られている情報を、収集された観察行動データの評価や転送に含めること
ができるようになる。
【０００８】 一実施形態では、センタに転送された観察行動データはビデオ識別情報を含む
。これは特に、ビデオ情報のソースと観察行動データを収集するセンタが、別個
に設けられている場合に有利であって、収集された観察行動データを評価し、さ
らに使用する場合、これらデータを該当するビデオ情報に割り当てることができ
る。
【０００９】 一実施形態では、センタに転送された観察行動データは時間データを含む。ビ
デオ情報の種類に応じて、たとえばテレビプログラムによるビデオ情報の伝送の
場合、収集された観察行動データを評価し、さらに使用する場合、これらデータ
を該当するビデオ情報に割り当てるのに、前記時間データを使用することができ
る。
【００１０】 好ましくは、収集されて転送された観察行動データをセンタに、たとえば観察
行動データバンクに供給し、後の時点でも、特に統計的評価のため利用できるよ
うにする。
【００１１】 一実施形態では、前記の通信ネットワークは移動無線通信ネットワーク、たと
えばＧＳＭ、またはＵＭＴＳネットワーク、またはその他のたとえば衛星ベース
の移動無線通信ネットワークである。これはビデオ情報の観察行動の場合、個々
の観察行動データの収集を、固定されたネットワーク端末に依存せずに、移動し
ながら実行できるという利点がある。
【００１２】 下記に本発明の実施形態を、例を用いて説明する。唯一添付された図は、この
実施形態の例である。
【００１３】 図１はそのシステムのブロック図であって、通信ネットワークを経由して１つ
の装置と、特にビデオ表示装置を備える通信端末機器と結合されたセンタの略図
を示す。このビデオ表示装置は、ビデオデータを眼の網膜に投影するものであり
、ユーザの現時点の着眼位置を測定する着眼位置測定モジュールを備える。
【００１４】 図１の参照番号４は１つの装置、特に通信端末機器、たとえば固定設置された
通信端末機器４、たとえば電話または通信可能なパーソナルコンピュータである
。この通信端末機器は、固定ネットワーク３を経由して、たとえば接続された公
共の電話回線ネットワーク、ＩＳＤＮネットワーク（Ｉｎｔｅｇｒａｔｅｄ Ｓ
ｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＩＰベースのネットワーク
（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ
Ｎｅｔｗｏｒｋ）、またはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
を経由して、センタ２とデータを交換することができる。あるいはこの装置は移
動通信端末機器４、すなわち移動ユニット４、たとえば移動無線電話または通信
可能なラップトップまたはパームトップコンピュータであって、この移動ユニッ
トは、移動電話回線ネットワークを経由して、たとえばＧＳＭまたはＵＭＴＳネ
ットワーク、またはその他のたとえば衛星基盤移動無線電話回線ネットワークを
経由して、センタ２とデータを交換することができる。これらのデータ交換は、
ＳＭＳメッセージ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅｓ）、ＵＳＳ
Ｄメッセージ（Ｕｎｓｔｒｕｃｔｕｒｅｄ Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｓｅ
ｒｖｉｃｅｓ Ｄａｔａ）、ＧＰＲＳサービス（Ｇｅｎｅｒａｔｅｄ Ｐａｃｋ
ｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）の力を借りて、あるいはサービスチャンネ
ルの適当なプロトコルによって行われる。
【００１５】 センタ２はたとえば市場に提供されている通信サーバーを基盤とし、この通信
サーバーは、必要なハード−およびソフトウェアコンポーネントを持つ通信モジ
ュール２１を備え、通信ネットワーク３を経由して通信端末機器４と通信する。
センタ２は直接に、あるいは適当なネットワークエレメントを経由して、たとえ
ばＭｏｂｉｌ Ｓｗｉｔｃｈｉｎｇ Ｓｔａｔｉｏｎ（ＭＳＣ）を経由して、通
信ネットワーク３と結合され、同一または別個のコンピュータに常時設けられて
いるデータバンク２４を備える。
【００１６】 図１に示すように、通信端末機器４はビデオ表示装置４１を備え、この表示装
置は、対応するビデオ信号を投影することにより、通信端末機器４を使用するユ
ーザの眼５の網膜５１にビデオ情報を再生する。このビデオ情報はたとえば、伝
送されたテレビプログラムの、あるいは転送されて記憶されたビデオシーケンス
、画像またはグラフィックの静止した、または動く画像であって、これらの画像
はたとえばセンタ２から、あるいは常時接触を保つビデオインタフェースを経由
して通信端末機器４と結合されたビデオソース６から、たとえばビデオカセット
レコーダ、またはデータ媒体に記憶されたデジタルビデオ情報の再生機器から引
き出され、または供給される。
【００１７】 ビデオ表示装置４１は、観察者の網膜５１に画像信号を直接投影できるもので
あって、いわゆる仮想網膜表示装置（Ｖｉｒｔｕａｌ Ｒｅｔｉｎａｌ Ｄｉｓ
ｐｌａｙ、ＶＲＤ）である。これは特許出願ＷＯ９４／０９４７２およびＷＯ９
７／３７３３９に記載されている。この仮想網膜表示装置は、ビデオインタフェ
ースを経由してビデオ情報を供給される。この供給は、たとえばＲＧＢ信号、Ｎ
ＴＳＣ信号、ＶＧＡ信号、またはそのほかのフォーマット化されたカラーまたは
モノクロームのビデオまたはグラフィックス信号の形態で行われる。前記の特許
文書ＷＯ９４／０９４７２およびＷＯ９７／３７３３９に記載の仮想網膜表示装
置、ないしはそこに記載のビデオインタフェースを適合させて、ほかのフォーマ
ットのテレビ信号および特にデジタルビデオデータを効率的に受け取ることがで
きるようにすれば有利であることを、専門家は理解するであろう。ここには示さ
ないインタフェースモジュールを用いて、テレビ信号やビデオデータを、適切に
ビデオインタフェースに適合させることができ、あるいは得られたビデオデータ
を変換して、そのビデオデータをそれらビデオインタフェースに適用できるよう
にすることができる。
【００１８】 ビデオ表示装置４１および通信端末機器４のそのほかのコンポーネントは、１
つの共通のハウジング中に、または別個のハウジング中に設けることができる。
その際ビデオ表示装置４１は、一方のハウジング中で、たとえば有線接続または
無線接続されたインタフェースを経由して、他方のハウジング中のコンポーネン
トと結合されている。
【００１９】 図１に略図で示すように、ビデオ表示装置４１は着眼位置測定モジュール４１
１を備え、このモジュールは、ユーザがビデオ情報を観察するときのその時点の
着眼位置を測定し、前記のインタフェースを経由して、またはさらなる有線接続
または無線接続のインタフェースを経由して、通信端末機器４のフィードバック
モジュールに導くことができる。着眼位置測定モジュール（Ｅｙｅ Ｔｒａｃｋ
ｅｒ）は、ユーザの瞳５２の位置に基づいてその時点の着眼位置を測定するもの
であって、これも同様に特許出願ＷＯ９４／０９４７２に記載されている。測定
された着眼位置を、適当なインタフェースを経由して、ビデオ表示装置４１の外
部にあるコンポーネントが得られるよう、専門家はこのモジュールを拡大するこ
とができる。実施形態によっては、左右の目に対する数値がえられるようにする
ことができる。
【００２０】 通信端末機器４のフィードバックモジュール４２、たとえば通信端末機器４の
プロセッサー上に設けられた、プログラミングされたソフトウェアモジュールは
、ユーザの現時点で測定された着眼位置を、場合によってはそのほかの観察行動
データといっしょに、１つの評価ユニットに、たとえば通信端末機器４のプログ
ラミングされたソフトウェアモジュールに、または特に通信端末機器４の通信サ
ービスの力を借りて、通信ネットワーク３を経由してセンタ２に転送する。セン
タ２では、現時点の着眼位置を含む転送された観察行動データを、通信モジュー
ル２１から受け取り、処理モジュール２３に導く。
【００２１】 実施形態および応用分野に応じて、通信端末機器４は、観察行動データにデー
タを寄与するそのほかのモジュール４３、４４、４５、４６を備える。
【００２２】 時間測定モジュール４３はその時点の時間を測定して、測定されたその時点の
時間をフィードバックモジュール４２に伝送する。このデータは測定されたその
時点の着眼位置といっしょに観察行動データとして、そこからセンタ２に転送さ
れる。測定された着眼位置の時点の特定だけでなく、この時間データは、この時
点に観察されたビデオ情報の識別にも使用できる。たとえばこの時点に視聴され
たテレビチャンネルがわかっている場合である。
【００２３】 入力モジュール４４によって、ユーザはユーザデータを入力し、フィードバッ
クモジュール４２を用いて、このデータを観察行動データといっしょに、あるい
は別々に、センタ２に伝送することができる。ユーザデータはたとえば定性的な
データであって、たとえばセンタ２に転送される評価スケールまたは命令または
応答の数値である。入力モジュール４４は、たとえば操作エレメントとそれに対
応するプログラミングされたソフトウェアモジュールを備え、後者のモジュール
は操作エレメントによって入力されたユーザデータを受け取ることができる。入
力モジュール４４はプログラミングされたソフトウェアモジュールとすることも
できる。このソフトウエラモジュールは、たとえば指定された時点に、あるいは
ビデオソース６からまたはセンタ２から通信端末機器４に転送される事前定義さ
れた信号または命令に対する応答として、測定されたその時点の着眼位置をユー
ザデータとしてセンタ２に転送する。あるいは前記の評価ユニットの機能の中で
、測定されたその時点の着眼位置を、事前定義された位置値と、またはビデオソ
ース６またはセンタ２から通信端末機器４に転送される位置値と比較する。そし
てこの比較に基づいて、位置値に対応する操作を実行し、イベントをトリガし、
かつ／または命令、応答または評価をユーザデータとして、センタ２に伝送する
。この比較操作はセンタ２でも実行して、その後細部に立ち入ることができる。
従ってこのような入力モジュール４４によって、仮想網膜表示装置４１、ないし
この仮想網膜表示装置４１を持つ通信端末機器４を、グラフィカルなユーザイン
タフェースとして用いることができるようになる。ユーザはその着眼のポジショ
ニングによって、このインタフェースを次のような方法で制御することができる
。すなわち仮想網膜表示装置を用いて、前記の位置値に対応する画像領域にある
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）対象物を、ユー
ザの網膜に投影するという方法である。このようなグラフィカルなユーザインタ
フェースに対応するビデオ情報を、たとえばセンタ２からも通信端末機器４に転
送することができる。
【００２４】 識別モジュール４５たとえばＳＩＭカード（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎ
ｔｉｆｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）はユーザ識別データを、たとえばＩＭＳ
Ｉ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄ
ｅｎｔｉｔｙ）および／または個人的なバイオメトリカルコード、ないしはフィ
ードバックモジュール４２からほかの観察行動データとともにセンタ２に転送で
きるコードを含む。これは特に次の場合に役に立つ。すなわち、センタ２で個別
のユーザレベルの観察行動データをさらに処理しまたは評価する場合、あるいは
センタ２でそのほかのユーザ固有のデータを、たとえば受信契約者データバンク
からの氏名や住所の情報を付け加えて、観察行動データをさらに処理する場合で
ある。
【００２５】 ビデオ識別モジュール４６、たとえばプログラミングされたソフトウェアモジ
ュールは、その時点のビデオ情報に対してビデオ識別データを、たとえばその時
点のテレビチャンネル、ビデオのタイトルにその時点のビデオフレームのその時
点のシーケンス番号を付したものまたはそのほかのデータを特定し、特定された
ビデオ識別データをフィードバックモジュール４２に送って、他の観察行動デー
タとともにセンタ２へ転送させる。
【００２６】 受信された観察行動データは、センタ２の処理モジュール２３、たとえばプロ
グラミングされたソフトウェアモジュールによって評価され、かつ／または観察
行動データバンク２４に記憶される。受信された観察行動データを処理モジュー
ル２３で直接評価することは、特にそこに含まれているその時点の着眼位置に基
づいて、事前定義されたイベントをトリガしたい場合に特に有意義である。たと
えば仮想網膜表示装置４１を持つ通信端末機器４は、上に述べたようにグラフィ
カルなユーザインタフェースとして使用することができ、ユーザはこのインタフ
ェースを着眼位置によって制御する。これにより、再生されたビデオ情報の事前
定義された画像領域に対応する着眼位置は、センタ２でイベントをトリガするこ
とができる。たとえば処理モジュール２３によって製品−および／またはサービ
ス注文手続きをトリガすることができる。あるいは情報、特にビデオ情報を、通
信ネットワーク３を経由して通信端末機器４に伝送し、表示装置４１を介して再
生させることができる。これにより特にＣｌｉｅｎｔ／ＳｅｒｖｅｒタイプのＧ
ＵＩ利用を実現することができる。記憶された観察行動データには、たとえばそ
の後の時点で、統計的評価を行うこともできる。たとえば、どのユーザが何名、
再生されたビデオ情報の特定の画像領域を観察しているか、ないしは観察してい
ないかを調査することができ、これはたとえばコマーシャルフィルムの評価にと
って興味あることがある。もう１つの実施形態では、処理モジュール２３が着眼
位置の評価の際、ビデオ情報に含まれている識別されたビデオ対象物をもさらに
考慮するので、着眼位置とこれら識別された対象物との相関関係を調査すること
ができる。この最後に挙げた変形形態を実施するにはたとえば、該当するビデオ
情報を前もって適当な画像処理手段により次のように分析することができる。す
なわち、この情報の画像的内容を抽象的な形態で、たとえば対象物の名称、ベク
トルおよび／または座標軸データにより記述できるようにすることができるよう
にする。このような抽象的な内容記述は、たとえば該当するビデオデータととも
にデータバンク２４に記憶して、処理モジュール２３に導くことができる。収集
された観察行動データは、たとえばユーザごとにユーザプロフィールとして記憶
し、さらに処理することができる。
【００２７】 ここではっきりと指摘しておきたいのは、装置４では仮想網膜表示装置４１を
入力モジュール４４とともに、評価ユニットの機能の中でＧＵＩユーザインタフ
ェースとして使用できるが、その際センタ２とデータを交換する必要がないとい
うことである。このことには、ほかの操作エレメントまたはユーザの手を用いな
くても、装置４を制御できるという利点があり、これは特に通信能力のないコン
ピュータにとっても興味ある場合がある。
【００２８】 興味を持つユーザは、ここに述べた装置４を一式、特に通信端末機器４を販売
し、あるいは賃貸することができる。次のような拡張セットを販売するのは、経
済的にも興味ある場合がある。すなわち、在来型の装置特に在来型の通信端末機
器を拡張して、前記の装置４特に前記の通信端末機器４とするのに必要なコンポ
ーネントを含む拡張セットである。この拡張セットは特に次のようなデータ媒体
、すなわちプログラミングされたフィードバックモジュール４２と、プログラミ
ングされた入力モジュール４４と、プログラミングされたビデオ識別モジュール
４６とを記憶し、場合によっては時間測定モジュール４３をもつデータ媒体をも
備える。興味を持つシステム運用者には、システム一式をライセンス付与の下に
提供し、あるいは次のようなデータ媒体を販売することができる。すなわち、通
信モジュール２１が必要とするハードウェアコンポーネントを備える在来型の通
信サーバーを、前記のセンタ２として運用するため、プログラミングされた通信
モジュール２１、処理モジュール２３および場合によっては観察行動データバン
ク２４を備えるデータ媒体である。
【図面の簡単な説明】
【図１】 図１は本発明の実施形態のシステムを示すブロック図である。
【符号の説明】
１ システム ２ センタ ３ 通信ネットワーク（移動無線通信ネットワーク） ４ 装置（通信端末機器、移動機器） ５ 眼 ６ ビデオソース ２１ 通信モジュール ２３ 処理モジュール ２４ データバンク（観察行動データバンク） ４１ ビデオ表示装置（仮想網膜表示装置） ４２ フィードバックモジュール ４３ 時間測定モジュール ４４ 入力モジュール ４５ 識別モジュール（ＳＩＭカード） ４６ ビデオ識別モジュール ５１ 網膜 ５２ 瞳 ４１１ 着眼位置測定モジュール
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，Ｚ Ａ，ＺＷ

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 観察行動データを収集し、処理する方法において、観察行動
    データは、ユーザがビデオ情報を観察する際の視覚的挙動に関するものである方
    法であって、前記ユーザの視線方向に関するデータが観察された前記ビデオ情報
    との関連において測定されること、および視線方向に関する少なくとも前記のデ
    ータを含む観察行動データは、通信ネットワーク（３）を経由してセンタ（２）
    に伝送され、そこでさらなる処理を受けることを特徴とする方法。
  2. 【請求項２】 前記のビデオ情報を前記ユーザの網膜（５１）に直接投影し
    、前記ユーザのその時点の着眼位置を測定することにより、視線方向に関する前
    記データを測定することを特徴とする、請求項１に記載の方法。
  3. 【請求項３】 前記のその時点の着眼位置を事前に定義された数値と比較す
    ること、およびこの比較の結果に基づいて、事前に定義されたイベントをトリガ
    することを特徴とする、請求項２に記載の方法。
  4. 【請求項４】 前記の観察行動データが前記のセンタ（２）に記憶されるこ
    とを特徴とする、請求項１から３のいずれか一項に記載の方法。
  5. 【請求項５】 前記の観察行動データがユーザ識別データを含むことを特徴
    とする、請求項１から４のいずれか一項に記載の方法。
  6. 【請求項６】 前記の観察行動データがビデオ識別データを含むことを特徴
    とする、請求項１から５のいずれか一項に記載の方法。
  7. 【請求項７】 前記の観察行動データが時間データを含むことを特徴とする
    、請求項１から６のいずれか一項に記載の方法。
  8. 【請求項８】 前記の通信ネットワーク（３）が移動無線通信ネットワーク
    であることを特徴とする、請求項１から７のいずれか一項に記載の方法。
  9. 【請求項９】 観察行動データを収集し、処理する装置（４）において、観
    察行動データはユーザのビデオ情報を観察する際の視覚的挙動に関するものであ
    り、このビデオ情報は装置（４）の表示装置（４１）を用いて再生される装置で
    あって、前記ユーザの視線方向に関するデータを、観察された前記ビデオ情報と
    の関連において測定するために、装置（４）は手段（４１）を備えること、およ
    び装置（４）はフィードバックモジュール（４２）を備え、このフィードバック
    モジュール（４２）は、視線方向に関する少なくとも前記のデータを含む観察行
    動データを評価ユニット（２、４４）に伝送することを特徴とする装置（４）。
  10. 【請求項１０】 前記のフィードバックモジュール（４２）が、前記の観察
    行動データを通信ネットワーク（３）を経由してセンタ（２）に伝送することを
    特徴とする、請求項９に記載の装置（４）。
  11. 【請求項１１】 前記の表示装置（４１）が仮想網膜表示装置であり、この
    装置が前記ビデオ情報を前記ユーザの網膜（５１）に直接投影すること、および
    前記の仮想網膜表示装置（４１）が着眼位置測定モジュール（４１１）を備え、
    このモジュールが前記ユーザのその時点の着眼位置を測定することにより、視線
    方向に関する前記データを測定することを特徴とする、請求項９から１０のいず
    れか一項に記載の装置（４）。
  12. 【請求項１２】 前記のその時点の着眼位置を事前定義された数値と比較す
    るため、かつこの比較結果に基づいて、事前定義されたイベントをトリガするた
    め、当該装置が手段（４４）を備えることを特徴とする、請求項１１に記載の装
    置（４）。
  13. 【請求項１３】 当該装置が、前記ユーザに割り当てられてユーザ識別デー
    タを持つ識別モジュール（４５）を備えること、および前記の観察行動データが
    前記のユーザ識別データを含むことを特徴とする、請求項９から１２のいずれか
    一項に記載の装置（４）。
  14. 【請求項１４】 当該装置がビデオ識別モジュール（４６）を備え、このビ
    デオ識別モジュール（４６）が前記のビデオ情報に割り当てられたビデオ識別デ
    ータを特定すること、および前記の観察行動データがビデオ識別データを含むこ
    とを特徴とする、請求項９から１３のいずれか一項に記載の装置（４）。
  15. 【請求項１５】 当該装置が時間測定モジュール（４３）を備え、このモジ
    ュールがその時点の時間を測定できること、および前記の観察行動データが時間
    データを含むことを特徴とする、請求項９から１４のいずれか一項に記載の装置
    （４）。
  16. 【請求項１６】 当該装置が移動機器であること、および前記通信ネットワ
    ーク（３）が移動無線通信ネットワークであって、この移動無線通信ネットワー
    ク（３）を経由して装置（４）が通信できることを特徴とする、請求項１０から
    １５のいずれか一項に記載の装置（４）。
  17. 【請求項１７】 観察行動データを収集し、処理するシステム（１）におい
    て、その観察行動データはユーザのビデオ情報を観察する際の視覚的挙動に関す
    るものであり、そのシステム（１）は通信ネットワーク（３）とそれに結合され
    たセンタ（２）を備えるシステムであって、システム（１）は請求項９から１６
    に記載の装置（４）を備え、その装置（４）は前記観察行動データを前記通信ネ
    ットワーク（３）を経由して前記センタ（２）に転送することを特徴とするシス
    テム（１）。
  18. 【請求項１８】 前記の観察行動データに含まれているその時点の前記装置
    （４）ユーザの着眼位置を、事前定義された数値と比較するため、かつこの比較
    結果に基づいて、事前定義されたイベントをトリガするため、前記センタ（２）
    が手段（２３）を備えることを特徴とする、請求項１７に記載のシステム（１）
    。
  19. 【請求項１９】 当該システムが観察行動データバンク（２４）を備え、そ
    こに前記観察行動データが記憶されることを特徴とする、請求項１７から１８の
    いずれか一項に記載のシステム（１）。
  20. 【請求項２０】 前記通信ネットワーク（３）が移動無線通信ネットワーク
    であることを特徴とする、請求項１７から１９のいずれか一項に記載のシステム
    （１）。
JP2001504622A 1999-06-18 1999-06-18 ビデオ情報の観察行動に関するデータを収集し、これらのデータを中央のデータ処理設備に転送するための方法と装置 Expired - Lifetime JP4399519B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CH1999/000268 WO2000079715A1 (de) 1999-06-18 1999-06-18 Verfahren, vorrichtung für die erfassung von daten über die betrachtung von videoinformationen, und die weiterleitung dieser daten zu einer zentralen datenverarbeitungsanlage

Publications (2)

Publication Number Publication Date
JP2003502940A true JP2003502940A (ja) 2003-01-21
JP4399519B2 JP4399519B2 (ja) 2010-01-20

Family

ID=4551688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001504622A Expired - Lifetime JP4399519B2 (ja) 1999-06-18 1999-06-18 ビデオ情報の観察行動に関するデータを収集し、これらのデータを中央のデータ処理設備に転送するための方法と装置

Country Status (17)

Country Link
US (1) US7428744B1 (ja)
EP (1) EP1186128B9 (ja)
JP (1) JP4399519B2 (ja)
CN (1) CN1146157C (ja)
AT (1) ATE229714T1 (ja)
AU (1) AU760634B2 (ja)
BR (1) BR9917385A (ja)
CA (1) CA2375837C (ja)
DE (1) DE59903791D1 (ja)
DK (1) DK1186128T3 (ja)
ES (1) ES2189426T3 (ja)
MX (1) MXPA01013084A (ja)
NO (1) NO323719B1 (ja)
NZ (1) NZ516544A (ja)
PT (1) PT1186128E (ja)
RU (1) RU2215373C2 (ja)
WO (1) WO2000079715A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60224294T2 (de) * 2001-08-30 2009-01-15 Publigroupe Sa Verfahren, durch das ein verbraucher mit einem dienstanbieter in wechselwirkung treten kann
RU2220514C2 (ru) * 2002-01-25 2003-12-27 Андрейко Александр Иванович Способ интерактивного телевидения, использующий фовеационные свойства глаз индивидуальных и групповых пользователей и защищающий видеоинформацию от несанкционированного доступа, распространения и использования
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US8035636B1 (en) * 2005-09-08 2011-10-11 Oracle America, Inc. Software system for efficient data transport across a distributed system for interactive viewing
FR2890822B1 (fr) * 2005-09-09 2007-10-26 Alcatel Sa Dispositif et procede d'obtention automatisee d'informations relatives aux audiences de programmes transmis par un reseau de communication
DE102006043172A1 (de) 2006-09-14 2008-03-27 Siemens Ag Verfahren zur Auswertung des Verhaltens von Nutzern eines digitalen Bildinformationssysstems
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法
US8601526B2 (en) 2008-06-13 2013-12-03 United Video Properties, Inc. Systems and methods for displaying media content and media guidance information
US20110016492A1 (en) * 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US20110167447A1 (en) * 2010-01-05 2011-07-07 Rovi Technologies Corporation Systems and methods for providing a channel surfing application on a wireless communications device
US9201627B2 (en) 2010-01-05 2015-12-01 Rovi Guides, Inc. Systems and methods for transferring content between user equipment and a wireless communications device
US20110164175A1 (en) * 2010-01-05 2011-07-07 Rovi Technologies Corporation Systems and methods for providing subtitles on a wireless communications device
US9854318B2 (en) 2011-06-06 2017-12-26 Rovi Guides, Inc. Systems and methods for sharing interactive media guidance information
US9218122B2 (en) 2011-12-29 2015-12-22 Rovi Guides, Inc. Systems and methods for transferring settings across devices based on user gestures
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
CN108133189B (zh) * 2017-12-22 2020-05-01 苏州大学 医院候诊信息显示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4075657A (en) 1977-03-03 1978-02-21 Weinblatt Lee S Eye movement monitoring apparatus
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US4605959A (en) 1984-08-23 1986-08-12 Westinghouse Electric Corp. Portable communications terminal
ATE73311T1 (de) * 1986-04-04 1992-03-15 Applied Science Group Inc Verfahren und geraet zur entwicklung der darstellung der sehzeitverteilung wenn leute fernsehwerbung beobachten.
AT391968B (de) 1989-02-15 1990-12-27 Srg Verfahren und anlage zur ermittlung der fernsehgewohnheiten einer versuchspopulation
FR2628588A1 (fr) 1988-03-14 1989-09-15 Croquet Cie Procede et systeme d'acquisition et de transmission d'informations sur l'audience de programmes televises
US4912552A (en) * 1988-04-19 1990-03-27 Control Data Corporation Distributed monitoring system
WO1990002453A1 (en) * 1988-08-24 1990-03-08 Sebastiano Scarampi Apparatus and method for monitoring television viewers
CA2036205C (en) 1990-06-01 1996-11-19 Russell J. Welsh Program monitoring unit
US5382970A (en) * 1991-07-19 1995-01-17 Kiefl; John B. Television viewer monitoring system including portable data meter for each viewer
US5596339A (en) * 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
US5467104A (en) 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
JPH07135623A (ja) * 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
FR2724803B1 (fr) 1994-09-16 1996-12-20 Martin Juan Antonio Procede de mesure d'audience automatique passive pour les programmes de television
JPH10304335A (ja) 1997-04-28 1998-11-13 Fujitsu Ltd 情報伝送装置
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces

Also Published As

Publication number Publication date
EP1186128B9 (de) 2003-08-20
ATE229714T1 (de) 2002-12-15
NO20016061D0 (no) 2001-12-12
JP4399519B2 (ja) 2010-01-20
EP1186128B1 (de) 2002-12-11
AU760634B2 (en) 2003-05-22
EP1186128A1 (de) 2002-03-13
ES2189426T3 (es) 2003-07-01
US7428744B1 (en) 2008-09-23
CN1352835A (zh) 2002-06-05
CA2375837A1 (en) 2000-12-28
DE59903791D1 (de) 2003-01-23
CA2375837C (en) 2010-02-02
PT1186128E (pt) 2003-04-30
BR9917385A (pt) 2002-03-05
WO2000079715A1 (de) 2000-12-28
AU4129099A (en) 2001-01-09
RU2215373C2 (ru) 2003-10-27
DK1186128T3 (da) 2003-03-24
NO323719B1 (no) 2007-06-25
MXPA01013084A (es) 2003-08-20
CN1146157C (zh) 2004-04-14
NZ516544A (en) 2003-05-30
NO20016061L (no) 2001-12-12

Similar Documents

Publication Publication Date Title
JP2003502940A (ja) ビデオ情報の観察行動に関するデータを収集し、これらのデータを中央のデータ処理設備に転送するための方法と装置
JP4456791B2 (ja) 画像データを伝送するための方法
KR100336091B1 (ko) 통신시스템
JP2003502946A (ja) ビデオデータの送信と表示
US20120224070A1 (en) Eyeglasses with Integrated Camera for Video Streaming
CN1367983A (zh) 传输图像数据的方法
KR20150138867A (ko) 멀티미디어 운영, 광고, 컨텐츠 및 서비스 시스템
US20070092220A1 (en) System for reproducing video
WO2021080067A1 (ko) 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
JP2003522485A (ja) 画像オブジェクトを配信するシステムおよび方法
KR101880450B1 (ko) 티브이에서 휴대용 단말을 이용한 서비스 제공 방법 및 장치
CN112732072B (zh) 基于vr/ar的设备智能维护系统
CN108492415A (zh) 一种互联网安防系统
CN112423008B (zh) 直播方法、装置、终端、服务器以及存储介质
US20230388587A1 (en) Program, terminal device, and method
JP7011121B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6955067B1 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
TW201126477A (en) Information controlling system and method
JP2002271824A (ja) 番組評価取得システム
JP2013114732A (ja) 記録装置及び記録方法
KR20140075141A (ko) 스마트 ｔｖ 감성광고 기반의 트래킹 설정에 따른 광고비 산출 방법
KR20140075142A (ko) 트래킹 설정에 따른 광고비 산출 기능을 구비한 감성광고 기반의 스마트 ｔｖ
KR20150044459A (ko) 트래킹 설정에 따른 광고비 산출 기능을 구비한 감성광고 기반의 스마트 ｔｖ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090828

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Ref document number: 4399519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term