JP2009021767A - 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2009021767A
JP2009021767A JP2007182121A JP2007182121A JP2009021767A JP 2009021767 A JP2009021767 A JP 2009021767A JP 2007182121 A JP2007182121 A JP 2007182121A JP 2007182121 A JP2007182121 A JP 2007182121A JP 2009021767 A JP2009021767 A JP 2009021767A
Authority
JP
Japan
Prior art keywords
image
information
terminal
video
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007182121A
Other languages
English (en)
Other versions
JP5072464B2 (ja
Inventor
Hidenobu Osada
秀信 長田
Satoshi Shimada
聡 嶌田
Yukinobu Taniguchi
行信 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007182121A priority Critical patent/JP5072464B2/ja
Publication of JP2009021767A publication Critical patent/JP2009021767A/ja
Application granted granted Critical
Publication of JP5072464B2 publication Critical patent/JP5072464B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】本発明は、ユーザが簡単にかつ見たい任意の地点の最新映像を閲覧できるようにする新たな画像提供技術の提供を目的とする。
【解決手段】各端末の位置情報を収集して位置情報記憶手段に登録する。この状態にあるときに、ある端末が閲覧要求の画像の撮影場所を特定可能とする検索情報を指定して、その画像の閲覧要求を発行すると、検索情報をキーにしてメタデータ記憶手段を検索することでメタデータを検索し、その検索結果に基づいて画像情報蓄積手段に蓄積される検索情報の指す画像を取得して閲覧要求発行元の端末に送信する。そして、検索情報から特定される撮影場所の情報をキーにして位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定して画像の撮影を要求し、これに応答して返信されてくる撮影画像を閲覧要求のある最新の画像として、閲覧要求発行元の端末に送信する。
【選択図】図1

Description

本発明は、端末に対してその端末の要求する画像を提供する画像提供装置と、その画像提供装置により実現される画像提供方法と、その画像提供装置の実現に用いられる画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
具体的に説明するならば、本発明は、動画像や静止画像の撮影が可能な携帯電話などのディジタル機器を用いて、ユーザ同士の映像を用いた動的なコミュニケーション(以下、映像コミュニケーションと称する)を実現して、ユーザが簡単にかつ見たい任意の地点の最新映像を閲覧できるようにする新たな技術の実現を目的とする。
ユーザ自身が今いる場所の周辺地域に関する情報や、任意の遠隔地に関する最新の映像を手軽に把握したいという要求がある。特に、ユーザがこれから訪ねようとする特定のスーパーや飲食店などの混雑状況や、これから通過する交差点付近の現在の混雑状況などに代表される、ユーザ個人の興味に関する任意地点の最新映像を閲覧するユースケースが考えられる。
このようなユースケースに対し、関連する従来技術として次のような技術がある。
下記の特許文献1には、Webなどで閲覧が可能な特定地域の定点カメラなどを用いて被写体映像を提供するという発明が開示されている。
この発明では、特定被写体のリアルタイム映像の閲覧要求に対して、無線タグを用いることにより被撮影対象を特定して、ネットワークを介してカメラなどの高度撮影手段を制御する映像発信システムを用いて、遠隔地の被写体をリアルタイムで閲覧することを可能にしている。
この発明は、カメラを介した老人ホームや幼稚園における安否確認への応用が可能であるものの、無線タグおよびネットワークで制御可能な高度撮影手段を、被写体の撮影地域に設置する必要があるため、特定のスーパーや飲食店などの混雑状況や交差点付近の現在の混雑状況などに代表される、ユーザ個人の興味に関する任意地点の最新映像を閲覧するユースケースへの対応は出来ない。
また、下記の特許文献2には、撮影映像に場所の情報を関連付けて蓄積できる蓄積型映像発信システムを用いることによって、映像に場所および時刻情報を関連付けて蓄積し、さらに、蓄積した映像の中から場所や時刻を頼りに効率的に所望の映像を検索出来ることを可能にする発明が開示されている。
この発明を用いて、本発明が背景として挙げているユーザ個人の興味に関する任意地点の最新映像をユーザの要求に応じて閲覧できるようにするというユースケースに対応する場合、撮影者以外からの閲覧リクエストを想定してあらゆる場所と時間での撮影を継続しておく必要や、撮影者は場所の情報や映像の内容に関するメタデータ(関連情報)を映像に入力し蓄積しておく必要がある。しかしながら、これらは撮影者にとって負荷が低いとは言い難い。その結果として、任意地点の映像の閲覧というユースケースに対応するに足る映像を収集することが困難になると考えられる。
また、下記の非特許文献1には、地球規模での衛星写真および地図情報を上空からの俯瞰視点で閲覧可能となるとともに、地図上で特定の場所における町並みの閲覧が可能となる発明が記載されている。また、下記の非特許文献2には、“一歩先を行くリアルな「三次元地図配信システム体感サイト」”で、主要なランドマークのリアルな描写を見ることが可能となる発明が記載されている。また、下記の非特許文献3には、“ウォークスルーも可能な「バーチャル京都3Dマップ」”で、大型施設や歴史的施設についてリアルな3D画像を見ることが可能となる発明が記載されている。
しかしながら、これらの発明では、固定された撮影地点またはサービス提供サーバが一意に提供する映像を用いているため、本発明で想定するような特定のスーパーや飲食店などの混雑状況や交差点付近の現在の混雑状況などに代表される、ユーザ個人の興味に関する任意地点の最新映像を閲覧するユースケースには対応できない。
特許第3561490号公報 特許第3634790号公報 インターネット<URL:http://maps.google.com/support/bin/answer.py?answer=68476#street_views > インターネット<URL:http://internet.watch.impress.co.jp/static/column/chizu/2006/12/14/index.htm> インターネット<URL:http://internet.watch.impress.co.jp/static/column/chizu/2007/02/08/index.htm>
本発明は、任意地点の最新状況に関する映像を取得することが困難であるという従来技術の持つ課題に対し、ユーザ同士の匿名による映像を用いたコミュニケーション(映像コミュニケーション)を支援することにより解決する。
本発明が解決しようとする課題は、ディジタルカメラ付き携帯電話などに代表される通信手段と、掲示板やメールなどに代表されるテキストによるコミュニケーション手段との単なる組み合わせでは解決できない。
本発明においては、ユーザ相互の位置情報および映像に関連付けられたメタデータに基づく通信制御を行い、任意のユーザによる映像の閲覧要求に対して、ユーザがインタラクティブに映像を撮影しこれらを相互に提供できるようにする動的な映像コミュニケーション環境を構築することで、この課題を解決する。
なお、以下の説明では、説明の便宜上、映像と記載するものには静止画像も含まれるものとし、また、画像と記載するものには静止画像の他に動画像も含まれるものとする。
前述したように、従来技術では、特定のスーパーや飲食店などの混雑状況や交差点付近の現在の混雑状況などに代表される、ユーザ個人の興味に関する任意地点の最新映像を閲覧するユースケースに対応できない。
この問題に対し、本発明は、ネットワークで制御するカメラや無線タグによる位置情報の取得に依らず、撮影通信機器端末を所有しあらゆる場所に居るユーザ間の映像コミュニケーション環境を、映像の閲覧要求に応じて動的に構築することで解決する。
このとき構築する映像コミュニケーション環境においては、映像の撮影要求に対し、撮影者はメタ情報などを効率的に入力できるようにし、また、撮影行為の可否も選択できるようにする。これによって、あらゆる場所における映像の撮影および撮影映像へのメタデータ付与の効率化を実現し、任意の場所の最新映像を閲覧できるようにする。
次に、この映像コミュニケーション環境を構築する本発明の画像提供装置の構成について説明する。
本発明の画像提供装置は、通信ネットワークを介して複数の端末に接続され、ある端末からの動画像又は静止画像の閲覧要求に応答して、その閲覧要求のある画像を提供することで、従来技術の課題を解決する映像コミュニケーション環境を構築するために、(1)各端末の位置情報を収集して、その収集した位置情報を位置情報記憶手段に登録する登録手段と、(2)画像の閲覧要求を発行する端末から、閲覧要求の画像の撮影場所を特定可能とする検索情報を入力する入力手段と、(3)入力手段の入力した検索情報をキーにして画像情報蓄積手段に蓄積される画像に関連付けられたメタデータを記憶するメタデータ記憶手段を検索することでメタデータを検索し、その検索結果に基づいて画像情報蓄積手段に蓄積される検索情報の指す画像を取得して、閲覧要求発行元の端末に送信する第1の実行手段と、(4)入力手段の入力した検索情報から特定される撮影場所の情報をキーにして位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定する特定手段と、(5)特定手段の特定した端末に対して、画像の撮影を要求して、その撮影要求に応答して送られてくる画像を受け取ることで、閲覧要求のある最新の画像を取得して、閲覧要求発行元の端末に送信する第2の実行手段とを備えるように構成する。
ここで、第1の実行手段は、閲覧要求発行元の端末に対して画像に関連した有用な情報を提供するために、入力手段の入力した検索情報あるいは第1の実行手段の検索したメタデータをキーにしてウエブ情報を検索して、その検索結果についても閲覧要求発行元の端末に送信することがある。
また、第2の実行手段は、画像情報蓄積手段に画像を蓄積するために、撮影要求に応答して送られてくる画像を受け取るときに、その画像に関連付けられたメタデータについても受け取るようにして、その受け取った画像を画像情報蓄積手段に登録するとともに、その受け取ったメタデータをメタデータ記憶手段に登録することがある。
このとき、第2の実行手段は、画像撮影側のユーザが簡単にメタデータを付与できるようにするとともに、画像撮影側のユーザが適格なメタデータを付与できるようにするために、特定手段の特定した端末に対して、撮影要求の画像に付与するメタデータの候補の一覧を提示して、その中から撮影要求の画像に付与するメタデータを選択させるようにすることがある。
この構成を採るときに、画像の閲覧要求を発行するユーザが移動する場合には、検索情報の自動生成を実現するために、(i)画像の閲覧要求を発行する端末から、端末の移動予定の経路情報およびその移動予定の時刻情報を入手する入手手段と、(ii)入手手段の入手した情報に基づいて、その経路情報の規定する各経由地に到達する前に、その経由地を画像の撮影場所とする検索情報を生成する生成手段とを備えることがある。
そして、この構成を採るときに、画像撮影側のユーザが画像の撮影を望まないことがあることを考慮して、画像の撮影要求先となる可能性のある端末から、撮影の可否を示す情報を収集する収集手段を備えることがあり、この収集手段を備えるときには、特定手段は、収集手段の収集した情報が撮影不可を示す端末については、撮影場所の画像を撮影可能とする端末であっても、その端末を撮影可能とする端末として特定しないようにする。
そして、この構成を採るときに、画像の閲覧要求を発行するユーザの便宜を図るために、第1の実行手段の検索したメタデータを解析することで、閲覧要求の多かった画像についての情報を抽出して、その抽出した情報を閲覧要求を発行する端末に対して提示する第1の提示手段を備えることがある。
そして、この構成を採るときに、画像の閲覧要求を発行するユーザの便宜を図るために、第1の実行手段の検索したメタデータを解析することで、閲覧要求のあった画像をクラスタリングして、そのクラスタリング情報を閲覧要求を発行する端末に対して提示する第2の提示手段を備えることがある。
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。
このように構成される本発明の画像提供装置を備えるシステムでは、画像提供装置は、各端末の位置情報を収集して、その収集した位置情報を位置情報記憶手段に登録する。このようにして、画像提供装置には各端末の位置情報が記憶されることになる。
この状態にあるときに、ユーザの画像閲覧要求に応答して、ある端末は、閲覧要求の画像の撮影場所を特定可能とする検索情報を指定して、画像提供装置に対して、その画像の閲覧要求を発行する。
これを受けて、画像提供装置は、検索情報を受け取ると、その受け取った検索情報をキーにして画像情報蓄積手段に蓄積される画像に関連付けられたメタデータを記憶するメタデータ記憶手段を検索することでメタデータを検索し、その検索結果に基づいて画像情報蓄積手段に蓄積される検索情報の指す画像を取得して、閲覧要求発行元の端末に送信する。
さらに、画像提供装置は、その受け取った検索情報から特定される撮影場所の情報をキーにして位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定して、その特定した端末に対して、画像の撮影を要求する。
これを受けて、画像の撮影を要求された端末は、その撮影要求を受け取ると、自装置の位置で画像を撮影して、その撮影画像を画像提供装置に送信する。
これを受けて、画像提供装置は、撮影画像を受け取ると、その受け取った撮影画像を閲覧要求のある最新の画像として、閲覧要求発行元の端末に送信する。
このようにして、端末を所有するユーザは、自分が見たいと思うユーザ個人の興味に関する任意地点を特定可能とする検索情報を指定して、画像提供装置に画像の提供要求を行うだけで、画像提供装置に蓄積されているその場所の画像や、その場所の最新の画像の提供を受けることができるようになるのである。
以上説明したように、本発明によれば、カメラ付き携帯電話などの映像を撮影することが可能な機器を所持するユーザ間において、任意のユーザの映像閲覧要求に対して動的に映像コミュニケーション環境を構築できるようになる。
しかも、本発明によれば、映像の閲覧要求を目的地までの経路到達時刻に基づいてスケジューリングすることができ、これにより、テレビ放送や定点カメラや衛星画像を用いることなく、撮影機器と通信機器とを所有するユーザ同士の動的な映像コミュニケーションによって、簡単にかつ常に任意地点の最新映像の閲覧が可能となる。
実施の形態に従って本発明を詳細に説明する。
図1に、本発明の一実施の形態を図示する。
この図に示すように、本発明は、映像提供サーバ1とカメラ付き携帯電話のような映像撮影機能を持つ複数の端末2とが通信ネットワーク3を介して接続されることで構成されるシステムに適用されるものであり、本発明を実現する場合、これらの端末2は、撮影依頼ユーザ側端末4として動作したり、撮影実行ユーザ側端末5として動作することになる。
〔1〕映像提供サーバ1の構成
本発明を実現すべく備えられる映像提供サーバ1は、映像データベース100と、メタデータ・データベース101と、メタデータ生成手段102と、メタデータ更新手段103と、端末位置情報取得手段104と、ユーザ情報データベース105と、検索クエリ受信手段106と、ウエブ情報検索手段107と、ユーザ情報管理手段108と、撮影要求送信手段109と、メタデータ入力支援画面生成手段110と、映像検索手段111と、ページ生成手段112と、サーバ蓄積映像送信手段113と、撮影映像受信手段114と、映像登録手段115と、最新情報通知手段116と、映像処理手段117と、一覧生成手段118と、閲覧映像選択手段119と、撮影可否フラグ書込手段120と、検索クエリ自動生成手段121と、トレンド抽出手段122と、映像クラスタリング手段123とを備える。
次に、これらの各処理手段について説明する。
映像データベース100は、これまでに端末2が撮影した任意地点の動画像又は静止画像(以下、映像と略記する)を蓄積する。この蓄積される映像については、端末2が撮影実行ユーザ側端末5として動作するときに送られてくることもあるが、端末2が撮影実行ユーザ側端末5として動作しないときに自発的に映像を送ってくることもあるので、そのような映像も含まれる。
メタデータ・データベース101は、映像データベース100に蓄積される映像とリンクするものであり、映像データベース100に蓄積される各映像について、その映像の撮影場所の情報やその映像の内容に関する情報であるメタデータ(映像についての関連情報)を管理する。
メタデータ生成手段102は、映像データベース100に蓄積される映像についてのメタデータを生成して、メタデータ・データベース101に登録する。
メタデータ更新手段103は、メタデータ・データベース101に管理されるメタデータを更新する。
端末位置情報取得手段104は、端末2から送信されてくるその端末2の固有ID情報を指定して、端末2の位置情報を提供するサービスに問い合わせることで、その端末2の位置情報を取得したり、端末2から送られてくる情報の中に、GPSなどにより検出されたその端末2の位置情報が埋め込まれている場合には、その位置情報を取得することで、各端末2が現在どこにいるのかという位置情報を取得する。
ユーザ情報データベース105は、各端末2について、その端末2のIDに対応付けて、端末位置情報取得手段104が取得したその端末2の位置情報を管理するとともに、その端末2のメールアドレスなどの接続情報を管理する。さらに、その端末2のIDに対応付けて、撮影可否フラグ書込手段120により書き込まれる撮影の可否を示すフラグ値を管理する。
検索クエリ受信手段106は、撮影依頼ユーザ側端末4から送られてくる閲覧要求の映像の撮影場所を特定可能とする検索情報を受信する。この検索情報としては、地名や店舗名や緯度経度情報のような撮影場所を直接特定できる情報のこともあるが、そのような情報ではなくて、インターネット上で提供されている検索エンジンに問い合わせることで撮影場所を知ることができるようなテキスト文字列情報(映像のメタデータとなるような情報)のこともある。
ウエブ情報検索手段107は、検索クエリ受信手段106から検索情報を指定してウエブ情報の検索要求があると、インターネット上で提供されている検索エンジンに問い合わせることで、その検索情報の指すウエブ情報を検索して、検索クエリ受信手段106に返信する。また、メタデータ生成手段102の生成したメタデータや、メタデータ更新手段103の更新したメタデータや、映像検索手段111の検索したメタデータや、映像登録手段115によりメタデータ・データベース101に新規に登録されるメタデータについてのウエブ情報の検索要求があると、インターネット上で提供されている検索エンジンに問い合わせることで、そのメタデータの指すウエブ情報を検索して検索要求元に返信する。
ユーザ情報管理手段108は、検索クエリ受信手段106から、撮影依頼ユーザ側端末4から送られてきた検索情報の規定する撮影場所情報が与えられると、その撮影場所情報をキーにしてユーザ情報データベース105を検索することで、その撮影場所に位置し、かつ、撮影の可否を示すフラグが撮影可を示している端末2を特定するとともに、その端末2に接続するためのメールアドレスなどの情報を取得する。このとき、複数の端末2が特定される場合には、撮影依頼ユーザ側端末4に対して、それらの端末2の位置情報などを提示するようにして、その中からユーザにより選択される端末2を最終的に特定していくようにしてもよい。
撮影要求送信手段109は、ユーザ情報管理手段108の特定した端末2(撮影実行ユーザ側端末5となる端末2)に対して、映像の撮影要求を送信する。
メタデータ入力支援画面生成手段110は、撮影要求送信手段109の撮影要求先となる端末2に提示することになる、メタデータの入力支援画面(メタデータの候補となるものの一覧を表示して、ユーザにメタデータを選択させる画面)を生成して、その端末2に送信する。このときメタデータ入力支援画面に記載するメタデータの候補としては、撮影要求送信手段109の撮影要求先となる端末2の位置情報や、その位置情報に基づいて得られるウエブ情報などが用いられる。
映像検索手段111は、検索クエリ受信手段106から与えられる撮影場所情報(撮影場所を直接示さないメタデータのこともある)をキーにしてメタデータ・データベース101を検索することで、映像データベース100の管理する映像の中から、その撮影場所情報をメタデータとして持つ映像を検索する。
ページ生成手段112は、映像検索手段111の検索した映像とウエブ情報検索手段107の検索したウエブ情報とについて表示するページを生成する。このとき、閲覧映像選択手段119が、撮影依頼ユーザ側端末4を操作するユーザの選択指示に従って、映像検索手段111の検索した映像の中から実際に撮影依頼ユーザ側端末4に提示する映像を選択する場合には、その選択された映像とその映像に対応付けられるウエブ情報検索手段107の検索したウエブ情報とについて表示するページを生成することになる。
サーバ蓄積映像送信手段113は、ページ生成手段112の生成したページを撮影依頼ユーザ側端末4に送信することで、映像データベース100に蓄積されているこれまでに撮影された映像の中から、撮影依頼ユーザ側端末4のユーザが閲覧要求する撮影場所の映像を送信する。
撮影映像受信手段114は、撮影要求送信手段109の送信した撮影要求に応答して撮影実行ユーザ側端末5から送られてくる撮影映像を受信する。このとき、メタデータ入力支援画面生成手段110の送信したメタデータの入力支援画面に応答して、撮影実行ユーザ側端末5からその撮影映像についてのメタデータも送られてくるので、それについても受信する。
映像登録手段115は、撮影映像受信手段114の受信したメタデータが新規なものでありメタデータ・データベース101に登録されていない場合には、撮影映像受信手段114の受信した映像を映像データベース100に登録するとともに、撮影映像受信手段114の受信したメタデータをメタデータ・データベース101に登録する。一方、撮影映像受信手段114の受信したメタデータが新規ではなくて更新に係わるメタデータである場合には、メタデータ更新手段103が撮影映像受信手段114の受信したメタデータに基づいて、メタデータ・データベース101に管理されるそのメタデータを更新するので、映像登録手段115は、撮影映像受信手段114の受信した映像に基づいて、そのメタデータに対応付けられる映像データベース100に蓄積される映像を更新する。
最新情報通知手段116は、撮影映像受信手段114の受信した最新の映像およびメタデータを撮影依頼ユーザ側端末4に送信する。
映像処理手段117は、撮影映像受信手段114の受信した映像を処理対象として、その映像から特定の時刻の静止画を抽出したり、特定の区間のシーンを抽出して、その抽出した情報をメタデータとしてメタデータ・データベース101に登録する。
一覧生成手段118は、撮影依頼ユーザ側端末4への送信対象となる映像(サーバ蓄積映像送信手段113の送信する映像や最新情報通知手段116の通知する映像)の持つメタデータの一覧について記述する一覧ページを生成して、それを撮影依頼ユーザ側端末4に送信する。
閲覧映像選択手段119は、一覧生成手段118の送信した一覧ページの提示に応答してユーザにより選択される映像の選択情報を受け取ることで、撮影依頼ユーザ側端末4に送信する映像を選択する。
撮影可否フラグ書込手段120は、端末2から通知される撮影の可否を示す情報に従って、ユーザ情報データベース105の管理するフラグ値に撮影の可否を示す情報を書き込む。
検索クエリ自動生成手段121は、撮影依頼ユーザ側端末4から移動開始地点と目的地との間についての経路情報を入力して、ウエブサイトなどに問い合わせることで、その経路上の経由地および目的地に到るまでの予測到達時刻を算出して、その算出した予測到達時刻の前に、その経由地を撮影場所とする検索クエリを自動生成していくことで、撮影依頼ユーザ側端末4の必要とする映像を、その映像を必要とする時点の前に撮影依頼ユーザ側端末4に対して送信することを実現する。
トレンド抽出手段122は、映像検索手段111の検索したメタデータを解析することで、閲覧要求の多かった映像についての情報を抽出して、その抽出した情報を検索クエリを発行する際の参考情報として撮影依頼ユーザ側端末4に送信する。例えば、どの撮影場所の映像の閲覧要求が多かったのかとか、何日の何時頃にその映像の閲覧要求が多かったのかといったような情報を抽出して、その抽出した情報を検索クエリを発行する際の参考情報として撮影依頼ユーザ側端末4に送信するのである。
映像クラスタリング手段123は、映像検索手段111の検索したメタデータを解析することで、閲覧要求のあった映像をクラスタリングして、そのクラスタリング情報を検索クエリを発行する際の参考情報として撮影依頼ユーザ側端末4に送信する。例えば、平日と休日の混み具合の違いが分かるようにするために、同じ撮影場所の映像について平日のものと休日ものとにクラスタリングして、そのクラスタリング情報を検索クエリを発行する際の参考情報として撮影依頼ユーザ側端末4に送信するのである。
〔2〕撮影依頼ユーザ側端末4の構成
撮影依頼ユーザ側端末4は、検索クエリ入力手段40と、蓄積映像表示手段41と、最新情報提示手段42と、経路情報入力手段43とを備える。
次に、これらの各処理手段について説明する。
検索クエリ入力手段40は、検索クエリの入力画面を表示して、その入力画面を介してユーザと対話することで、閲覧要求の映像の撮影場所を特定可能とする検索情報を入力して、映像提供サーバ1に送信する。この検索情報としては、地名や店舗名や緯度経度情報のような撮影場所を直接特定できる情報のこともあるが、そのような情報ではなくて、インターネット上で提供されている検索エンジンに問い合わせることで撮影場所を知ることができるようなテキスト文字列情報(映像のメタデータとなるような情報)のこともある。
蓄積映像表示手段41は、サーバ蓄積映像送信手段113から送られてくるページ生成手段112の生成したページ情報(映像データベース100から検索した映像について表示するもの)を受信して、ディスプレイに表示する。
最新情報提示手段42は、最新情報通知手段116から通知される撮影実行ユーザ側端末5の撮影した最新の映像およびメタデータを受信して、ディスプレイに表示する。
経路情報入力手段43は、ユーザの移動経路となる移動開始地点と目的地との間についての経路情報を入力して、検索クエリ自動生成手段121に送信する。
〔3〕撮影実行ユーザ側端末5の構成
撮影実行ユーザ側端末5は、撮影要求受信手段50と、映像記録手段51と、映像送信手段52と、メタデータ入力手段53と、撮影可否フラグ設定手段54とを備える。
次に、これらの各処理手段について説明する。
撮影要求受信手段50は、撮影要求送信手段109から送信されてくる撮影要求を受信して、その撮影要求内容の情報をディスプレイに表示する。
映像記録手段51は、撮影要求受信手段50の受信した撮影要求に応答してカメラにより撮影される映像(自端末2の位置する場所の映像)を記録する。
映像送信手段52は、映像記録手段51に記録される映像を撮影映像受信手段114にに送信する。
メタデータ入力手段53は、メタデータ入力支援画面生成手段110から送信されてくるメタデータの入力支援画面をディスプレイに表示して、その入力支援画面で選択されるメタデータを、映像送信手段52の送信する映像のメタデータとして撮影映像受信手段114に送信する。
撮影可否フラグ設定手段54は、撮影の可否を示す情報を設定して、撮影可否フラグ書込手段120に通知する。
〔4〕映像提供サーバ1の実行する処理
〔4−1〕基本的な処理
次に、図2に示すフローチャートに従って、映像提供サーバ1の実行する基本的な処理について説明する。
映像提供サーバ1は、撮影依頼ユーザ側端末4の発行する検索クエリを受信すると、図2のフローチャートに示すように、先ず最初に、ステップS10で、検索情報を抽出する。
このとき抽出する検索情報としては、地名や店舗名や緯度経度情報のような撮影場所を直接特定できる情報のこともあるが、そのような情報ではなくて、インターネット上で提供されている検索エンジンに問い合わせることで撮影場所を知ることができるようなテキスト文字列情報(映像のメタデータとなるような情報)のこともある。
これから、続いて、ステップS11で、検索情報が撮影場所を示す情報であるのか否かを判断して、検索情報が撮影場所を示す情報であることを判断するときには、ステップS12に進んで、検索情報を指定してウエブ検索を実行することで、撮影場所の関連情報を取得する。
一方、ステップS11の判断処理で、検索情報が撮影場所を示す情報でないことを判断するときには、ステップS13に進んで、検索情報を指定してウエブ検索を実行することで、検索情報の規定する撮影場所を特定するとともに、その撮影場所の関連情報を取得する。
ステップS12,13の処理を終了すると、続いて、ステップS14で、撮影場所情報をキーにしてメタデータ・データベース101を検索することで、映像データベース100に蓄積される映像の中から検索情報の指す映像を検索する。
続いて、ステップS15で、ステップS14で検索した映像と、ステップS12,13で取得した関連情報とを、撮影依頼ユーザ側端末4に送信する。
続いて、ステップS16で、撮影場所情報をキーにしてユーザ情報データベース105を検索することで、その撮影場所に位置し、かつ、撮影可否フラグが許可を示す端末2を探し出すことで、撮影実行ユーザ側端末5を探し出す。
続いて、ステップS17で、探し出した撮影実行ユーザ側端末5に対して、映像を撮影して送信することを要求するとともに、その映像のメタデータを送信することを要求する。このとき、メタデータの候補となるものの一覧を表示してその中から選択させるメタデータ入力支援画面を表示することで、ユーザに対して負荷を与えないようにするとともに、でたらめなメタデータが付与されないようにする。
続いて、ステップS18で、この送信要求に応答して、撮影実行ユーザ側端末5から撮影映像およびメタデータが送られてくるのを待って、撮影映像およびメタデータが送られてくることを検出すると、ステップS19に進んで、送られてたきた撮影映像を映像データベース100に登録し、送られてきたメタデータをメタデータ・データベース101に登録する。
続いて、ステップS20で、送られてたきた撮影映像およびメタデータを、検索クエリの発行元である撮影依頼ユーザ側端末4に送信して、処理を終了する。
このようにして、映像提供サーバ1は、カメラ付き携帯電話などの映像を撮影することが可能な機器を所持するユーザ間において、任意のユーザの映像閲覧要求に対して動的に映像コミュニケーション環境を構築するように処理するのである。
〔4−2〕閲覧要求映像の自動提供処理
次に、図3に示すフローチャートに従って、映像提供サーバ1の実行する閲覧要求映像の自動提供処理(検索クエリ自動生成手段121により実現される処理)について説明する。
映像提供サーバ1は、撮影依頼ユーザ側端末4の発行する移動経路についての経路情報(少なくとも目的地については記載している)を受信すると、図3のフローチャートに示すように、先ず最初に、ステップS30で、撮影依頼ユーザ側端末4の移動開始位置を特定する。
この移動開始位置の特定処理については、受信した経路情報の中で移動開始位置を記載している場合には、それを抽出することで行うことになるが、受信した経路情報の中で移動開始位置を記載していない場合には、撮影依頼ユーザ側端末4の現在位置が移動開始位置となると判断することで行う。ここで、撮影依頼ユーザ側端末4の現在位置については、例えば端末位置情報取得手段104を使うことで取得する。
続いて、ステップS31で、撮影依頼ユーザ側端末4の移動開始時刻を特定する。
この移動開始時刻の特定処理については、受信した経路情報の中で移動開始時刻を記載している場合には、それを抽出することで行うことになるが、受信した経路情報の中で移動開始時刻を記載していない場合には、現在時刻が移動開始時刻となると判断することで行う。
続いて、ステップS32で、受信した経路情報に従って、主要な経由地を特定する。
この経由地の特定処理については、受信した経路情報の中で経由地を記載している場合には、それを抽出することで行うことになるが、受信した経路情報の中で経由地を記載していない場合には、インターネット上で提供されているサービスに問い合わせることなどにより、ステップS30で特定した移動開始位置から目的地(経路情報に記載されている)までの移動経路を推定して、それに基づいて経由地を推定することで行う。
続いて、ステップS33で、特定した移動開始位置および移動開始時刻と、受信した経路情報に記載される目的地とに基づいて、インターネット上で提供されているサービスに問い合わせることなどにより、特定した経由地の到達時刻を推定して、その推定結果である(経由地,到達時刻)の対データをメモリに格納する。
続いて、ステップS34で、メモリに格納される対データの最初の到達時刻に近づいたのか否かを判断して、最初の到達時刻に近づいたことを判断すると、ステップS35に進んで、最初の経由地を撮影場所とする検索クエリを自動発行することで、撮影依頼ユーザ側端末4に対して閲覧要求の映像を提供する。
続いて、ステップS36で、メモリに格納される対データの次の到達時刻に近づいたのか否かを判断して、次の到達時刻に近づいたことを判断すると、ステップS37に進んで、次の経由地を撮影場所とする検索クエリを自動発行することで、撮影依頼ユーザ側端末4に対して閲覧要求の映像を提供する。
続いて、ステップS38で、メモリに格納される対データの最後の到達時刻まで処理をしたのか否かを判断して、最後の到達時刻まで処理をしていないことを判断するときには、ステップS36の処理に戻り、最後の到達時刻まで処理をしたことを判断するときには、閲覧要求映像の自動提供処理を終了する。
このようにして、映像提供サーバ1は、ユーザに対して移動経路の経路情報を入力させるだけで、ユーザが見たいと考える地点の映像を閲覧できるようにするのである。
〔5〕本発明の動作の一例
次に、ある端末Aの所有ユーザが任意地点Pの現在の状況を映像によって把握しようとする場合を具体例にして、図1のように構成される本発明の動作について説明する。
本発明を実現する場合、端末位置情報取得手段104は、常時、端末Aを含む各端末2の位置情報を取得してユーザ情報データベース105に登録していくことで、ユーザ情報データベース105が各端末2の現在の位置情報を管理するようにする。
この状態にあるときに、端末Aのユーザは、検索クエリ入力手段40の表示する検索クエリ入力画面に地名Pを入力することで、映像提供サーバ1に対して、地名Pの映像の提供を要求する。
これを受けて、検索クエリ受信手段106は、端末Aから送られてきた検索クエリを受信し、映像検索手段111は、その受信された検索クエリに基づいて映像データベース100に蓄積される映像を検索して、その検索結果をページ生成手段112に出力する。一方、ウエブ情報検索手段107は、その受信された検索クエリに基づいてウエブ情報を検索して、その検索結果をページ生成手段112に出力する。
これを受けて、ページ生成手段112は、検索結果の映像およびウエブ情報のうち少なくとも一つ以上の情報からなるページを生成し、サーバ蓄積映像送信手段113は、その生成されたページを撮影依頼ユーザ側端末4である閲覧要求発行元の端末2に送信する。これを受けて、蓄積映像表示手段41は、映像提供サーバ1から送られてくるページ情報(映像データベース100から検索した映像について表示するもの)を受信して、ディスプレイに表示する。
一方、ユーザ情報管理手段108は、検索クエリ受信手段106が端末Aから送られてきた検索クエリを受信すると、その検索クエリに基づいてユーザ情報データベース105を検索して、端末A以外の端末2のうち、端末Aからの要求について適合する地点Pに存在する端末2を割り出し、撮影要求送信手段109は、その割り出された端末2(撮影実行ユーザ側端末5)に対し、端末Aの要求である映像の撮影指示を送信する。
これを受けて、その割り出された端末2の撮影要求受信手段50は、端末Aの要求である映像の撮影指示を受信し、メタデータ入力手段53は、メタデータ入力支援画面を表示して、そのメタデータ入力支援画面上でユーザにメタデータを選択させる。
これを受けて、映像送信手段52は、カメラにより撮影された現時点の映像を映像記録手段51から読み出して、ユーザにより選択されたメタデータとともに、映像提供サーバ1に送信する。
これを受けて、映像処理手段117は、端末Aが映像一覧を参照するための画面に用いられるサムネイルを生成し、映像送信手段52から送られてきたメテデータが新規なものではなくて更新に係るものである場合で説明するならば、メタデータ更新手段103は、その生成されたサムネイルと映像送信手段52から送信されてきたメタデータとに基づいて、メタデータ・データベース101のメタデータを更新する。
そして、映像登録手段115は、メタデータ更新手段103により更新されたメタデータに関連付けられた映像についての更新情報(映像送信手段52から送られてきた映像)を映像データベース100に登録し、最新情報通知手段116は、その更新情報を端末Aが参照するページに出力し、これを受けて、端末Aの最新情報提示手段42は、その映像の更新情報を表示する。
このようにして、本発明によれば、端末Aによる映像提供サーバ1が蓄積している所望の映像の検索を行うと同時に、端末Aが閲覧を所望する地点に存在する端末2に対して映像の撮影要求が送信され、その撮影要求を受信した端末2が映像を撮影して映像を映像提供サーバ1に送信する際には、メタデータの候補があらかじめ提供され、そして、その撮影された映像が映像提供サーバ1に送信されて、端末Aのユーザに最新の映像が撮影された事実を知らしめることができる。
すなわち、本発明によれば、端末Aからの映像閲覧要求に基づいて、所望の映像の更新に必要な映像コミュニケーション環境が動的に構築され、これによって、端末Aのユーザが、任意地点の最新映像を容易に閲覧することができるようになる。
以下、実施例に従って本発明を詳細に説明する。
〔1〕実施例1
本実施例は、ユーザが任意地点Pの映像を閲覧する場合の実施例であり、本発明の最も基本的な実施例である。
〔1−1〕本実施例の構成
図4に、本実施例における機器の関係を表す構成図を示す。本実施例における機器の構成は、映像の閲覧要求元となるユーザ端末Aと、映像の撮影および送信元となるユーザ端末Bと、サーバの3機器から構成される。
この図に示すように、本実施例では、検索クエリ入力ステップ(S100)と、映像検索ステップ(S101)と、ページ生成ステップ(S102)と、Web情報検索ステップ(S103)と、ユーザ情報管理ステップ(S104)と、撮影要求送信ステップ(S105)と、映像記録ステップ(S106)と、プリセットメタデータ生成ステップ(S107)と、映像・メタデータ送信ステップ(S108)と、映像処理ステップ(S109)と、メタデータ更新ステップ(S110)と、最新映像情報通知ステップ(S111)と、端末Aページ表示ステップ(S112)と、撮影要求受信ステップ(S113)と、プリセットメタデータ表示ステップ(S114)と、プリセットメタデータ選択ステップ(S115)と、端末位置特定ステップ(S116)と、最新情報表示ステップ(S117)という処理を実行する。
図5に、本実施例の動作全体を示すシーケンス図を示す。ここで、横軸は機器を、縦軸および矢印は実行シーケンスを表している。
前述したように、本発明では、ユーザ個人の興味に関する任意地点の映像を閲覧できるようにすることを実現する。これから、本発明では、映像ファイルがどの場所で撮影されたのかという情報が重要な意味を持つ。
したがって、本発明では、映像ファイルに関連付けられるメタデータに、その映像ファイルがどの場所で撮影されたのかというメタ情報を記録することになる。
すなわち、図6に示すように、映像ファイルに関連付けられるメタデータに、これまでに用いられているようなメタ情報に加えて、その映像ファイルがどの場所で撮影されたのかというメタ情報(図中に示す“Location"に記録されるメタ情報)を記録することになる。
〔1−2〕本実施例における各ステップの動作
次に、図4に示す各ステップの動作について詳しく説明する。
検索クエリ入力ステップ(S100)は、ユーザ端末Aの表示装置にユーザの検索要求が入力可能なフォームを表示し、ユーザの入力したクエリ情報を、ユーザ端末Aを識別することが可能な固有のID情報と共にサーバの映像検索ステップ(S101)に送信する。
映像検索ステップ(S101)は、検索クエリ入力ステップ(S100)により取得されたユーザ端末Aからのクエリに基づいて、サーバ内のメタデータを検索し、メタデータのうちユーザ端末Aからのクエリに適合した場合、その適合した映像ファイルに関連付けられたサムネイル一覧をページ生成ステップ(S102)に出力する。さらに、当該映像ファイルに関連付けられたメタデータに、メタデータ更新ステップ(S110)により、検索クエリ入力ステップ(S100)により取得されたユーザ端末Aからのクエリが送信された時刻とクエリとを追記する。さらに、検索クエリ入力ステップ(S100)により取得されたユーザ端末Aからのクエリを、Web情報検索ステップ(S103)に出力し、検索クエリ入力ステップ(S100)により取得されたユーザ端末Aのクエリと固有ID情報とをユーザ情報管理ステップ(S104)に出力する。
ページ生成ステップ(S102)は、映像検索ステップ(S101)の検索結果およびWeb情報検索ステップ(S103)の検索結果に基づいて、ユーザ端末Aに表示するWebページを生成し、その生成したWebページをユーザ端末Aが参照するサーバ上の記憶部に出力する。
端末Aページ表示ステップ(S112)は、ユーザ端末Aにおいて、ページ生成ステップ(S102)によりサーバ上に生成されたWebページを取得し、ユーザ端末Aの表示装置に表示する。
Web情報検索ステップ(S103)は、検索クエリ入力ステップ(S100)により取得されたユーザ端末Aからのクエリを用いて、Web情報検索を行い、得られた検索結果をページ生成ステップ(S102)に出力する。
端末位置特定ステップ(S116)は、各ユーザ端末の固有ID情報に基づいて、各ユーザ端末の位置情報を取得する。
ユーザ情報管理ステップ(S104)は、映像検索ステップ(S101)で入力したユーザ端末Aを識別可能な固有ID情報を端末位置特定ステップ(S116)に入力し、端末位置特定ステップ(S116)でユーザ端末Aの位置情報を取得し、その取得した位置情報をサーバ上のユーザ情報を管理するデータベースに格納する。この処理を各ユーザ端末について実行することで、各ユーザ端末の位置情報をサーバ上のユーザ情報を管理するデータベースに格納する。さらに、映像検索ステップ(S101)で入力したユーザ端末Aのクエリに基づいて、ユーザ端末Aの閲覧要求の対象となっている位置情報を取得し、その閲覧要求の対象となっている位置情報に基づいて、サーバのユーザ情報を管理するデータベースを参照し、ユーザ端末A以外のユーザ端末のうち、その閲覧要求の対象となっている位置情報に適合するユーザ端末が一つ以上ある場合には、これをユーザ端末Bとし、ユーザ情報を管理するデータベースを参照することにより、ユーザ端末Bに関連付けられたユーザメールアドレスを取得し、その取得したメールアドレスを、撮影要求送信ステップ(S105)に出力する。
撮影要求送信ステップ(S105)は、現在時刻およびユーザ端末Aからの検索要求を、プリセットメタデータ生成ステップ(S107)に入力し、ユーザ情報管理ステップ(S104)から入力されたメールアドレスに基づいて、検索クエリ入力ステップ(S100)により検索クエリを入力したユーザ端末Aからの検索要求に適合する映像の撮影要求をユーザ端末Bの撮影要求受信ステップ(S113)にメールで送信する。
撮影要求受信ステップ(S113)は、ユーザ端末Bにおいて、撮影要求送信ステップ(S105)から送信されるユーザ端末Aの検索要求に適合する映像の撮影要求を受信し、当該受信内容を、ユーザ端末Bの表示装置を用いて表示する。
映像記録ステップ(S106)は、ユーザ端末Bにおいて、撮影要求受信ステップ(S113)の表示の結果に従ってユーザ端末Bの所有ユーザが映像を撮影し記録する場合に、ユーザ端末Bが映像撮影部を有する場合にはこれを起動し映像を撮影して当該映像をユーザ端末B上のメモリ等の記録媒体に保存し、映像撮影部をユーザ端末Bが有しない場合には、ユーザが適宜映像を記録媒体に映像を保存する。
プリセットメタデータ生成ステップ(S107)は、撮影要求送信ステップ(S105)から入力されるユーザ端末Aからの検索要求に基づいて、ユーザ端末Bで映像が撮影された場合に当該映像に対して付与するためのメタデータの候補となるプリセットメタデータを生成し、その生成したプリセットメタデータを用いて、プリセットメタデータをユーザ端末Bにおいてユーザが選択可能となるようなWebページを生成し、その生成したWebページを、ユーザ端末Bが参照するサーバ上の記憶部に出力する。
プリセットメタデータ表示ステップ(S114)は、ユーザ端末Bにおいて、プリセットメタデータ生成ステップ(S107)によりサーバ上に生成されたWebページを取得し、当該Webページをユーザ端末Bの表示装置に表示する。
プリセットメタデータ選択ステップ(S115)は、プリセットメタデータ表示ステップ(S114)によりユーザ端末Bの表示装置に表示されたプリセットメタデータを、ユーザが選択した結果に基づいて選択して、当該選択結果を、映像・メタデータ送信ステップ(S108)に出力する。
映像・メタデータ送信ステップ(S108)は、映像記録ステップ(S106)により記録または選択された映像と、映像のタイムスタンプと、プリセットメタデータ選択ステップ(S115)により選択されたプリセットメタデータと、ユーザ端末Bにおいてユーザが任意に入力したテキスト文字列と、ユーザ端末Bの位置情報とをサーバの映像処理ステップ(S109)に出力する。
映像処理ステップ(S109)は、映像・メタデータ送信ステップ(S108)から入力された映像を処理し、物理的な特徴区間およびその区間を表す縮小されたサムネイルを抽出する。そして、その抽出したサムネイルと、映像・メタデータ送信ステップ(S108)から入力されたプリセットメタデータ、テキスト文字列、タイムスタンプおよびユーザ端末Bの固有ID情報と、当該固有ID情報を用いて端末位置特定ステップ(S116)により取得されたユーザ端末Bの位置情報とを、メタデータ更新ステップ(S110)に出力する。
メタデータ更新ステップ(S110)は、映像処理ステップ(S109)から入力されたサムネイル、プリセットメタデータ、テキストデータ、タイムスタンプおよびユーザ端末Bの固有ID情報を、映像処理ステップ(S109)により処理された映像ファイルに関連付けられたメタデータに追記更新し、その更新したメタデータを最新映像情報通知ステップ(S111)に出力する。
最新映像情報通知ステップ(S111)は、メタデータ更新ステップ(S110)でメタデータが更新された映像に対し、当該映像に関連付けられたサムネイルをユーザ端末Aが参照するサーバ上の記憶部に出力する。
最新情報表示ステップ(S117)は、ユーザ端末Aにおいて、最新映像情報通知ステップ(S111)によりサーバから通知された、映像の更新に関する通知情報を、ユーザ端末Aの表示装置に表示する。
次に、図7に示すフローチャートに従って、プリセットメタデータ生成ステップ(S107)の動作について詳細に説明する。
プリセットメタデータ生成ステップ(S107)では、先ず最初に、端末位置情報取得ステップ(S10701)で、撮影要求先となるユーザ端末(図4に示すユーザ端末B)の位置情報を取得する。
続いて、Web情報検索ステップ(S10702)で、その取得した位置情報に関連付けられたWeb情報を検索し検索結果を取得する。
続いて、メタデータ検索ステップ(S10703)で、サーバに格納されたメタデータのうちそのユーザ端末(図4に示すユーザ端末B)の位置情報の周辺地域を含むメタデータを取得する。
続いて、送信準備ページ生成ステップ(S10704)で、S10701〜S10703で得られた情報を入力し、ユーザが提示されたテキストを任意に選択することが可能なフォームの形式からなる、図8に示すようなWebページを出力する。
〔1−3〕本実施例により実現される効果
本実施例により、ユーザ端末Aにおいて、任意の地点の映像閲覧要求に従って、サーバ上にあるその地点の映像が閲覧できるだけでなく、ユーザ端末Aのユーザが閲覧を所望する地点に存在するユーザ端末Bのユーザに対する映像撮影要求が即時に送信されることで、その地点の最新の映像が閲覧できるようになる。
このとき、ユーザ端末Bのユーザは、映像に関する多くの関連情報をメタデータとして付与せずに、プリセットメタデータとしてユーザ端末Bで提示されるメタデータのリストに基づいてメタデータを選択し、これを撮影済み映像とあわせてメール等の汎用手段でサーバに送信するだけで、ユーザ端末Aの所望する地点の映像がメタデータと共に最新情報に更新される。
すなわち、ユーザ端末Aの映像閲覧要求に応じ、容易に映像の撮影と共有ができる映像コミュニケーション支援環境が動的に生成される。このため、ユーザ端末Aのユーザは任意地点の最新映像を容易に閲覧することが可能となる。
〔1−4〕本実施例における拡張
本実施例では、検索クエリ入力ステップ(S100)および映像・メタデータ送信ステップ(S108)において、ユーザ端末からはユーザ端末の固有ID情報(個体識別番号、サブスクライバIDなど)を送信し、ユーザ情報管理ステップ(S104)およびメタデータ更新ステップ(S110)において、その端末固有番号に基づいて、端末位置情報管理サーバ等の位置情報を取得することが可能な既知のサービスに対してユーザ端末の位置情報を問い合わせることにより、本実施例におけるサーバ上において、各ユーザ端末の位置情報を取得することができる。
このとき、ユーザ情報管理ステップ(S104)およびメタデータ更新ステップ(S110)において、ユーザ端末の位置情報を収集する際に、ユーザ端末の固有ID情報でなく、アクセス履歴に位置情報が挿入される場合は、そのアクセス履歴を用いて位置情報を取得するようにしてもよい。また、ユーザ端末自身がGPSなどにより位置情報を取得し、これをサーバに送信する場合でも、その位置情報は固有IDの特殊な場合と解釈でき、実施上の効果は同じである。
また、メタデータ検索ステップ(S10703)は、テキスト文字列検索だけでなく、物理特徴量に基づく検索を行い、物理特徴量と関連付けられたテキスト字列を送信準備ページ生成ステップ(S10704)に送信することができる。
また、図9に示すように、ユーザ端末Bの構成が映像撮影記録機器と通信機器とに分かれている機器構成において実施する場合においても、ケーブル接続などの汎用手段を用いてユーザが容易に映像データを映像撮影記録機器から通信機器に転送することが可能な状態であるならば、図9の機器構成において本発明を実施した場合においても、図4の機器構成における本発明の実施と同様の効果が得られる。
〔2〕実施例2
本実施例は、ユーザが移動する途中に立ち寄る地点の映像をその到達前に閲覧できるようにする実施例である。
〔2−1〕本実施例の構成
図10に、本実施例における機器の関係を表す構成図を示し、図11に、本実施例の動作全体を示すシーケンス図を示す。
図10に示すように、本実施例では、ユーザ端末Aにおいて、実施例1で備える検索クエリ入力ステップ(S100)に代えて経路入力ステップ(S200)を備えるとともに、新たに、サーバにおいて、到達時刻算出ステップ(S201)および撮影要求スケジューリングステップ(S202)を備える点において実施例1と異なる。
〔2−2〕本実施例で新たに追加される各ステップの動作
経路入力ステップ(S200)は、実施例1の全ステップの先頭において、ユーザ端末Aの表示装置にクエリおよび経路入力が可能なフォームを表示し、ユーザの入力したクエリ情報および経路情報を、ユーザ端末Aの位置情報(ユーザ端末Aの位置を取得可能とする固有のID情報のこともある)と共にサーバの到達時刻算出ステップ(S201)に送信する。
到達時刻算出ステップ(S201)は、経路入力ステップ(S200)により入力された経路およびユーザ端末Aの位置情報に基づいて、ユーザ端末Aが辿る経路の途中経由地および最終目的地までの到達時刻を予測し、撮影要求スケジューリングステップ(S202)に、その経路情報と、その予測した時刻と、経路入力ステップ(S200)から入力されたクエリとを出力する。
撮影要求スケジューリングステップ(S202)は、到達時刻算出ステップ(S201)により入力された経路情報および時刻に基づいて、その時刻におけるユーザ端末Aの位置情報とその経路情報とを用いて、その経路情報において経路の途中経由地として予定されていた場所に、ユーザ端末Aが到達するよりも前の時刻に、映像検索ステップ(S101)に、ユーザ端末Aの位置情報およびクエリを送信する。
〔2−3〕本実施例により実現される効果
本実施例で追加した経路入力ステップ(S200)、到達時刻算出ステップ(S201)および撮影要求スケジューリングステップ(S202)により、ユーザ端末Aのユーザが目的地を入力することで、目的地までの経路が計算され、その経路に基づいて得られる経由地における到着時刻に応じて、ユーザは、最新映像の閲覧要求を毎回出さずに、自動的に経由地に到達する前までにその経由地の最新状況を表す映像を閲覧することができる。
〔2−4〕本実施例における拡張
図12に示すように、本実施例における経路入力ステップ(S200)は、ユーザ端末Aを所有するユーザがあらかじめネットワークに接続されたPCを経由して行うことができる。
〔3〕実施例3
本実施例は、映像の撮影要求を受け取る側のユーザ端末Bが、その撮影を希望しないことがある場合に、それに対応できるようにする実施例である。
〔3−1〕本実施例の構成
図13に、本実施例の動作全体を示すシーケンス図を示す。
この図に示すように、本実施例では、実施例1の全ステップに加えて、新たに、ユーザ端末Bにおいて、撮影可否フラグ設定ステップ(S301)を備える点において実施例1と異なる。
〔3−2〕本実施例で新たに追加されるステップの動作
撮影可否フラグ設定ステップ(S301)は、実施例1の任意のステップ実行中に実行可能であり、撮影要求送信ステップ(S105)による撮影要求を撮影要求を受け取る側のユーザ端末に送信しないようにフィルタするための処理を行う。
〔3−3〕本実施例により実現される効果
本実施例で追加した撮影可否フラグ設定ステップ(S301)により、任意のタイミングで、ユーザ端末Bの所有ユーザが映像撮影要求受信の可否を設定することができ、映像撮影要求に対して呼応することが可能なユーザ端末に対して優先的に撮影要求を送信するよう制御を行うことが可能となる。これにより、結果として撮影される映像の更新タイミングおよびクオリティの保持に繋がる効果がある。
〔4〕実施例4
本実施例は、映像の撮影要求を発行する側のユーザ端末Aに対して、検索クエリを発行する際の参考情報をできるようにする実施例である。
〔4−1〕本実施例の構成
図14に、本実施例の動作全体を示すシーケンス図を示す。
この図に示すように、本実施例では、実施例1の全ステップに加えて、新たに、サーバにおいて、トレンド抽出ステップ(S401)を備えるとともに、それに合わせて、ページ生成ステップ(S102)の動作が追加される点において実施例1と異なる。
〔4−2〕本実施例で新たに追加されるステップの動作
トレンド抽出ステップ(S401)は、実施例1の任意のステップ実行中に実施可能であり、映像に関連付けられたメタデータの解析に基づいて、頻出する単語や、視聴頻度の高い映像や、視聴頻度の高い映像を送信したユーザや、頻出するカテゴリや、頻出するクエリや、更新頻度の高い映像や、更新頻度の高い映像の送信元の地域情報・ニュースからキーワードを得て、そのキーワードとサーバ上の関連する映像との間にリンクを生成し、そのリンク文字列をページ生成ステップ(S102)に出力する。
本実施例におけるページ生成ステップ(S102)は、実施例1の映像検索ステップ(S101)の検索結果と実施例1のWeb情報検索ステップ(S103)の検索結果と本実施例のトレンド抽出ステップ(S401)により得られた文字列とを用いて、ユーザ端末Aに表示するWebページを生成し、その生成したWebページをユーザ端末Aが参照するサーバ上の記憶部に出力する。
〔4−3〕本実施例により実現される効果
本実施例で追加したトレンド抽出ステップ(S401)により、ユーザ端末Aの所有ユーザは、映像閲覧要求または検索クエリを送信する前に、現在多くのユーザによって閲覧または更新されている映像を、本ステップによって得られるトレンドに基づいて簡単に把握することができるという効果がある。
〔4−4〕本実施例における拡張について
本実施例では、トレンドの種類をユーザがフィルタするよう容易に設定することができる。これにより、ユーザは自分自身の興味に応じたトレンドを把握することができる。
〔5〕実施例5
本実施例は、映像の撮影要求を発行する側のユーザ端末Aに対して、検索クエリを発行する際の参考情報をできるようにする実施例である。
〔5−1〕本実施例の構成
図15に、本実施例の動作全体を示すシーケンス図を示す。
この図に示すように、本実施例では、実施例1の全ステップに加えて、新たに、サーバにおいて、映像クラスタリングステップ(S501)を備える点において実施例1と異なる。
〔5−2〕本実施例で新たに追加されるステップの動作
映像クラスタリングステップ(S501)は、実施例1の任意のステップ実行中に実施可能であり、映像に関連付けられたメタデータの解析に基づいて、映像を複数のカテゴリにクラスタリングし、カテゴリ情報をメタデータとして追加する。
映像クラスタリングステップ(S501)におけるメタデータの解析においては、形態素解析に代表されるテキスト文書の解析や、画像解析による物理特徴量に基づく解析などの任意の方法を適用することが可能である。
〔5−3〕本実施例により実現される効果
ユーザ端末Aのユーザの閲覧要求に対して複数の映像がある場合、本ステップによって、その一覧性を高めることが可能となる。
例えば、ユーザ端末Aのユーザによる閲覧要求に対して、該当する映像が10以上あるような場合においても、それらの該当する映像のそれぞれが、本ステップによりカテゴリ毎に分類されて表示することが可能となるため、ユーザ端末Aの閲覧ユーザが所望の映像ファイルを選択する際に、従来よりも選択コストが低減される効果がある。
〔5−4〕本実施例における拡張について
本実施例における映像クラスタリングステップ(S501)では、サーバのメタデータ記憶部に格納されたメタデータ(カット・カメラワーク・テロップ等に代表される映像中の低次の物理特徴、意味・話者・感情・音楽などに代表される高次元の意味情報、アップロード時に付与されたテキスト、アップロード元となった端末の位置情報、アップロード時刻、映像への最終アクセス日時など)を解析対象のデータとして用い、解析対象のデータの解析に基づいて複数の映像のクラスタリングを行う。ここで、解析対象のデータはこの限りでない。
本発明は、カメラ付き携帯電話などの映像を撮影することが可能な機器が用いられるシステムに適用できるものであり、任意のユーザの映像閲覧要求に対して動的に映像コミュニケーション環境を構築できるようになる。
本発明を具備するシステムの一実施の形態である。 映像提供サーバの実行するフローチャートである。 映像提供サーバの実行するフローチャートである。 実施例1における機器の関係を表す構成図である。 実施例1における動作シーケンス図である。 映像ファイルに関連付けられるメタデータの説明図である。 プリセットメタデータ生成ステップのフローチャートである。 プリセットメタデータ生成ステップの表示するWebページの説明図である。 実施例1における機器の関係を表す他の構成図である。 実施例2における機器の関係を表す構成図である。 実施例2における動作シーケンス図である。 実施例2における機器の関係を表す他の構成図である。 実施例3における動作シーケンス図である。 実施例4における動作シーケンス図である。 実施例5における動作シーケンス図である。
符号の説明
1 映像提供サーバ
2 端末
3 通信ネットワーク
4 撮影依頼ユーザ側端末
5 撮影実行ユーザ側端末
100 映像データベース
101 メタデータ・データベース
102 メタデータ生成手段
103 メタデータ更新手段
104 端末位置情報取得手段
105 ユーザ情報データベース
106 検索クエリ受信手段
107 ウエブ情報検索手段
108 ユーザ情報管理手段
109 撮影要求送信手段
110 メタデータ入力支援画面生成手段
111 映像検索手段
112 ページ生成手段
113 サーバ蓄積映像送信手段
114 撮影映像受信手段
115 映像登録手段
116 最新情報通知手段
117 映像処理手段
118 一覧生成手段
119 閲覧映像選択手段
120 撮影可否フラグ書込手段
121 検索クエリ自動生成手段
122 トレンド抽出手段
123 映像クラスタリング手段

Claims (13)

  1. 通信ネットワークを介して複数の端末に接続され、ある端末からの動画像又は静止画像の閲覧要求に応答して、その閲覧要求のある画像を提供する画像提供装置であって、
    各端末の位置情報を収集して、その収集した位置情報を位置情報記憶手段に登録する手段と、
    画像の閲覧要求を発行する端末から、閲覧要求の画像の撮影場所を特定可能とする検索情報を入力する手段と、
    前記検索情報から特定される撮影場所の情報をキーにして前記位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定する手段と、
    前記特定した端末に対して、画像の撮影を要求して、その撮影要求に応答して送られてくる画像を受け取ることで、前記閲覧要求のある最新の画像を取得して、前記閲覧要求発行元の端末に送信する手段とを備えることを、
    特徴とする画像提供装置。
  2. 通信ネットワークを介して複数の端末に接続され、ある端末からの動画像又は静止画像の閲覧要求に応答して、その閲覧要求のある画像を提供する画像提供装置であって、
    各端末の位置情報を収集して、その収集した位置情報を位置情報記憶手段に登録する登録手段と、
    画像の閲覧要求を発行する端末から、閲覧要求の画像の撮影場所を特定可能とする検索情報を入力する入力手段と、
    前記検索情報をキーにして画像情報蓄積手段に蓄積される画像に関連付けられたメタデータを記憶するメタデータ記憶手段を検索することでメタデータを検索し、その検索結果に基づいて該画像情報蓄積手段に蓄積される前記検索情報の指す画像を取得して、前記閲覧要求発行元の端末に送信する第1の実行手段と、
    前記検索情報から特定される撮影場所の情報をキーにして前記位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定する特定手段と、
    前記特定した端末に対して、画像の撮影を要求して、その撮影要求に応答して送られてくる画像を受け取ることで、前記閲覧要求のある最新の画像を取得して、前記閲覧要求発行元の端末に送信する第2の実行手段とを備えることを、
    特徴とする画像提供装置。
  3. 請求項2に記載の画像提供装置において、
    前記第1の実行手段は、前記検索情報あるいは前記検索したメタデータをキーにしてウエブ情報を検索して、その検索結果についても前記閲覧要求発行元の端末に送信することを、
    特徴とする画像提供装置。
  4. 請求項2又は3に記載の画像提供装置において、
    前記第2の実行手段は、前記撮影要求に応答して送られてくる画像を受け取るときに、その画像に関連付けられたメタデータについても受け取るようにして、その受け取った画像を前記画像情報蓄積手段に登録するとともに、その受け取ったメタデータを前記メタデータ記憶手段に登録することを、
    特徴とする画像提供装置。
  5. 請求項4に記載の画像提供装置において、
    前記第2の実行手段は、前記特定した端末に対して、撮影要求の画像に付与するメタデータの候補の一覧を提示して、その中から撮影要求の画像に付与するメタデータを選択させるようにすることを、
    特徴とする画像提供装置。
  6. 請求項2ないし5のいずれか1項に記載の画像提供装置において、
    画像の閲覧要求を発行する端末から、該端末の移動予定の経路情報およびその移動予定の時刻情報を入手する入手手段と、
    前記入手した情報に基づいて、前記経路情報の規定する各経由地に到達する前に、その経由地を画像の撮影場所とする検索情報を生成する生成手段とを備えることを、
    特徴とする画像提供装置。
  7. 請求項2ないし5のいずれか1項に記載の画像提供装置において、
    画像の撮影要求先となる可能性のある端末から、撮影の可否を示す情報を収集する収集手段を備え、
    前記特定手段は、前記収集した情報が撮影不可を示す端末については、撮影場所の画像を撮影可能とする端末であっても、その端末を撮影可能とする端末として特定しないことを、
    特徴とする画像提供装置。
  8. 請求項2ないし5のいずれか1項に記載の画像提供装置において、
    前記第1の実行手段の検索したメタデータを解析することで、閲覧要求の多かった画像についての情報を抽出して、その抽出した情報を閲覧要求を発行する端末に対して提示する提示手段を備えることを、
    特徴とする画像提供装置。
  9. 請求項2ないし5のいずれか1項に記載の画像提供装置において、
    前記第1の実行手段の検索したメタデータを解析することで、閲覧要求のあった画像をクラスタリングして、そのクラスタリング情報を閲覧要求を発行する端末に対して提示する提示手段を備えることを、
    特徴とする画像提供装置。
  10. 複数の端末とそれらの端末に通信ネットワークを介して接続される画像提供装置とで構成されて、該画像提供装置が該端末に対して動画像又は静止画像を提供するという処理を行うシステムで実行される画像提供方法であって、
    前記画像提供装置が、各端末の位置情報を収集して、その収集した位置情報を自装置の持つ位置情報記憶手段に登録し、
    ある端末が、閲覧要求の画像の撮影場所を特定可能とする検索情報を指定して、前記画像提供装置に対して、その画像の閲覧要求を発行し、
    前記画像提供装置が、前記検索情報を受け取ると、その受け取った検索情報から特定される撮影場所の情報をキーにして前記位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定して、その特定した端末に対して、画像の撮影を要求し、
    ある端末が、前記撮影要求を受け取ると、自装置の位置で画像を撮影して、その撮影画像を前記画像提供装置に送信し、
    前記画像提供装置が、前記撮影画像を受け取ると、その受け取った撮影画像を閲覧要求のある最新の画像として、前記閲覧要求発行元の端末に送信することを、
    特徴とする画像提供方法。
  11. 複数の端末とそれらの端末に通信ネットワークを介して接続される画像提供装置とで構成されて、該画像提供装置が該端末に対して動画像又は静止画像を提供するという処理を行うシステムで実行される画像提供方法であって、
    前記画像提供装置が、各端末の位置情報を収集して、その収集した位置情報を自装置の持つ位置情報記憶手段に登録し、
    ある端末が、閲覧要求の画像の撮影場所を特定可能とする検索情報を指定して、前記画像提供装置に対して、その画像の閲覧要求を発行し、
    前記画像提供装置が、前記検索情報を受け取ると、その受け取った検索情報をキーにして画像情報蓄積手段に蓄積される画像に関連付けられたメタデータを記憶するメタデータ記憶手段を検索することでメタデータを検索し、その検索結果に基づいて該画像情報蓄積手段に蓄積される前記検索情報の指す画像を取得して、前記閲覧要求発行元の端末に送信し、さらに、その受け取った検索情報から特定される撮影場所の情報をキーにして前記位置情報記憶手段を検索することで、その撮影場所の画像を撮影可能とする端末を特定して、その特定した端末に対して、画像の撮影を要求し、
    ある端末が、前記撮影要求を受け取ると、自装置の位置で画像を撮影して、その撮影画像を前記画像提供装置に送信し、
    前記画像提供装置が、前記撮影画像を受け取ると、その受け取った撮影画像を閲覧要求のある最新の画像として、前記閲覧要求発行元の端末に送信することを、
    特徴とする画像提供方法。
  12. 請求項1ないし9のいずれか1項に記載の画像提供装置の実現に用いられる処理をコンピュータに実行させるための画像提供プログラム。
  13. 請求項1ないし9のいずれか1項に記載の画像提供装置の実現に用いられる処理をコンピュータに実行させるための画像提供プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007182121A 2007-07-11 2007-07-11 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP5072464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007182121A JP5072464B2 (ja) 2007-07-11 2007-07-11 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007182121A JP5072464B2 (ja) 2007-07-11 2007-07-11 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2009021767A true JP2009021767A (ja) 2009-01-29
JP5072464B2 JP5072464B2 (ja) 2012-11-14

Family

ID=40361012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007182121A Expired - Fee Related JP5072464B2 (ja) 2007-07-11 2007-07-11 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP5072464B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035768A (ja) * 2009-08-04 2011-02-17 Ricoh Co Ltd 撮像装置及び画像共有システム
JP2013026957A (ja) * 2011-07-25 2013-02-04 Ipl:Kk 配信サーバ、視聴端末、及び視聴予約プログラム
JPWO2012127799A1 (ja) * 2011-03-23 2014-07-24 パナソニック株式会社 通信サーバ、通信方法、記録媒体、および、集積回路
JP2016032229A (ja) * 2014-07-29 2016-03-07 Kddi株式会社 任意の領域を撮影している撮影側端末を特定する映像管理システム及び方法
JP2018152053A (ja) * 2017-03-09 2018-09-27 株式会社デンソー データ取得システム、および、サーバ

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101764654B1 (ko) * 2016-07-29 2017-08-03 국방과학연구소 영상 촬영장치의 메타데이터 관리 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198905A (ja) * 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像制御サーバ、並びに撮像プログラム
JP2003317193A (ja) * 2002-04-23 2003-11-07 Denso Corp 装 置
JP2004186830A (ja) * 2002-11-29 2004-07-02 Soft Shokai:Kk 映像コンテンツ選択方法、映像コンテンツ配信サービスシステム及び表示順位変更プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198905A (ja) * 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像制御サーバ、並びに撮像プログラム
JP2003317193A (ja) * 2002-04-23 2003-11-07 Denso Corp 装 置
JP2004186830A (ja) * 2002-11-29 2004-07-02 Soft Shokai:Kk 映像コンテンツ選択方法、映像コンテンツ配信サービスシステム及び表示順位変更プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035768A (ja) * 2009-08-04 2011-02-17 Ricoh Co Ltd 撮像装置及び画像共有システム
JPWO2012127799A1 (ja) * 2011-03-23 2014-07-24 パナソニック株式会社 通信サーバ、通信方法、記録媒体、および、集積回路
JP2013026957A (ja) * 2011-07-25 2013-02-04 Ipl:Kk 配信サーバ、視聴端末、及び視聴予約プログラム
JP2016032229A (ja) * 2014-07-29 2016-03-07 Kddi株式会社 任意の領域を撮影している撮影側端末を特定する映像管理システム及び方法
JP2018152053A (ja) * 2017-03-09 2018-09-27 株式会社デンソー データ取得システム、および、サーバ
JP7000884B2 (ja) 2017-03-09 2022-02-04 株式会社デンソー データ取得システム、および、サーバ

Also Published As

Publication number Publication date
JP5072464B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
US7454090B2 (en) Augmentation of sets of image recordings
CN1835569B (zh) 时移图像分配系统,时移图像分配方法,时移图像请求装置及图像服务器
US8447787B2 (en) System and method for geocoding content
JP5072464B2 (ja) 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007299172A (ja) 画像ビューア
JP2007259415A (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
KR20160032937A (ko) 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템
JP4305048B2 (ja) 地域属性判定方法、地域属性判定装置、および地域属性判定プログラム
US20140206337A1 (en) System and method for managing file catalogs on a wireless handheld device
JP2005346440A (ja) メタデータ付与支援システム、制御装置、及び、メタデータ付与支援方法
WO2013029390A1 (zh) 增强现实信息的传输方法和移动增强现实服务器
JP2003196668A (ja) ネットワークを介した画像の提供および閲覧
JP2011188171A (ja) デジタル写真データ処理装置、デジタル写真データサーバ、デジタル写真データ処理システムおよびデジタル写真データ処理方法
JP2002373168A (ja) 位置情報に基づく画像検索方法およびシステム
JP2002366558A (ja) コミュニケーションツール提供システム及び方法及びプログラム
JP5454751B2 (ja) 検索方法、検索システム、プログラム及びコンピュータ
JP4557658B2 (ja) イベント画像公開方法及びそのシステム
JP2011095867A (ja) 見所スポット配信方法および装置
JP5272107B2 (ja) 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
WO2005029361A1 (ja) 観光情報提供サーバ、方法、およびプログラム
KR101461590B1 (ko) 위치 기반 콘텐츠 제공 방법
JP5582453B2 (ja) 画像管理装置、画像管理方法およびプログラム
JP5181616B2 (ja) 情報提供依頼システム及び情報提供依頼方法
KR102228366B1 (ko) 여행 정보 관리를 위한 장치 및 방법
KR20180075720A (ko) 앨범 제작 서비스 시스템과 이를 이용한 서비스 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees