JP2002077854A - 動画像配信システム - Google Patents
動画像配信システムInfo
- Publication number
- JP2002077854A JP2002077854A JP2000258444A JP2000258444A JP2002077854A JP 2002077854 A JP2002077854 A JP 2002077854A JP 2000258444 A JP2000258444 A JP 2000258444A JP 2000258444 A JP2000258444 A JP 2000258444A JP 2002077854 A JP2002077854 A JP 2002077854A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- animal
- image data
- communication terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
ができるようにする。 【解決手段】 動物園内の各動物の生活環境に動画像生
成装置2を設置し、各動物の動画像データを逐次生成し
てサーバー1に送信する。サーバー1は、インターネッ
ト4を介して任意の通信端末装置3からのアクセスを受
け、通信端末装置3において選択された動物の動画像デ
ータをリアルタイムで送信する。またサーバー1は、受
信した動画像データを蓄積する動画像データベースを具
備しており、通信端末装置3において過去の所定の時間
帯に生成された動画像の表示が指定されると、その指定
された動画像データを読み出し、前記受信中の動画像デ
ータに代えて通信端末装置3に送信する。
Description
うなコンピュータネットワークを介して動画像を配信す
る技術分野に属するもので、特に、この種の動画配信技
術を動物を観察する用途に適用したものである。
紙媒体による動物図鑑に代えて、CD−ROMのような
記録媒体の形態で電子化された動物図鑑が種々作成され
ている。またインターネット上においても、動物の画像
を解説とともに提供するホームページが開設されてい
る。これら動物図鑑やホームページの中には、動物の静
止画像に限らず、動画像を提供するものがある。このよ
うなツールによれば、利用者は、簡単な検索によって所
望の動物の動画像を取り込んでモニタ画面上に表示させ
て動物を観察することができ、動物の生態や行動パター
ンなどの詳細を確認することが可能となる。
少なくなった近年の社会では、身近に見られない動物の
様子を家に居ながらにして観察したり、ペットを飼えな
い人が自分自身のペットのような感覚で自由に動物を観
察したい、という要望が高まっている。しかしながらこ
れまでの動物図鑑やホームページは、動物の生態,生息
環境,主要な行動パターンなどを解説することを主目的
とするため、開発者が選択した録画の画像が示されるだ
けであり、動物の日々の生活状態を詳細に観察するには
不十分である。しかも動画像は頻繁に更新されるもので
はないから、一度アクセスした利用者にとって新鮮みが
なく、何度もアクセスさせるだけの魅力を持つサービス
を提供するのは困難である。
もので、コンピュータネットワークを介して、利用者に
所望の観察位置を選択させ、その観察位置から逐次撮像
を行うことによって得られた動画像を提供することによ
り、身近な場所で動物を観察するのと同様の体験ができ
るようにすることを目的とする。
動画像を提示するとともに、利用者が動物に付けた名前
により動物を表しながら、その動物の解説や現状報告な
どを提示することにより、利用者の動物に対する親近感
を高められるようにすることを第2の目的とする。
めの動画像配信システムは、動物の観察位置として設定
された複数の地点にそれぞれ設置された複数の動画像生
成装置と、各動画像生成装置に対し個別に通信可能に設
定されるとともにコンピュータネットワークを介して任
意の通信端末装置に接続されるコンピュータシステムと
により構成される。
域における動画像データを逐次生成してコンピュータシ
ステムに送信するもので、具体的には、前記観察対象領
域を撮像するビデオカメラや、ビデオカメラからの動画
像信号を処理して送信用の動画像データを生成するコン
ピュータなどにより構成される。なお、ビデオカメラ
は、アナログ,ディジタルのいずれの形式のものでもよ
いが、最終的にコンピュータシステムに送信される動画
像データは、ディジタル量のデータとなる。またディジ
タルビデオカメラ単体で動画像生成装置を構成すること
も可能であるが、符号化処理やパケット化処理などが施
された動画像データを送信するようにすれば、データ送
信が高速化され、またコンピュータシステムにおいて行
う画像処理の負荷も軽減されるので、上記したように、
カメラとコンピュータとにより動画像生成装置を構成す
るのが望ましい。さらに各動画像生成装置は、それぞれ
異なる種類の動物を観察対象とするのが望ましいが、こ
れに限らず、同一種の動物、または同一個体を観察対象
としてもよい。
成装置より送信された動画像データを逐次受信するとと
もに、接続中の通信端末装置においていずれかの観察位
置を選択する操作が行われたとき、前記選択された観察
位置に設置された動画像生成装置から現在受信している
動画像データを前記通信端末装置へと送信するように構
成される。なお通信端末装置における観察位置の選択
は、観察対象の動物を選択する操作に置き換えることが
できる。
次、各動画像生成装置において観察対象領域における動
画像データが生成され、コンピュータシステムに送信さ
れる。コンピュータシステムは、これら動画像データの
うち、通信端末装置より選択された観察位置に設置され
た動画像生成装置からの動画像データを選択して通信端
末装置に送信する。したがって利用者は、所望の動物の
観察位置を選択することにより、コンピュータシステム
からその動物の現在の様子を示す動画像の配信を受け、
動物をリアルタイムで観察することが可能となる。
おいては、コンピュータシステムは、各動画像生成装置
より受信した動画像データを蓄積する動画像データベー
スを具備する。さらにこのコンピュータシステムは、前
記通信端末装置において選択された観察位置につき所定
の時間帯が指定されたとき、前記観察位置において指定
された時間帯に生成された動画像データを動画像データ
ベースから読み出し、前記通信端末装置に送信するデー
タを前記動画像データベースから読み出した動画像デー
タに切り替えるように構成される。
いて、利用者が過去の所定の時間帯を指定すると、送信
される画像データは、その観察位置において指定された
時間帯に生成された動画像データに切り替えられる。し
たがって動物が観察対象領域にいないとき、動物が寝て
いるときなど、現在の動画像では動物が活動している状
態を観察できない場合に、別の時間帯に得られた動物が
活動している状態を示す動画像を提示することができ
る。また通信端末装置に対し、エサを食べているとき、
水浴びをしているときなど、所定の行動がとられた時間
帯を提示して選択させるようにすれば、利用者は、所望
の行動パターンを示す動画像を自由に呼び出して観察す
ることができる。
は、コンピュータシステムは、前記と同様の動画像デー
タベースを具備し、通信端末装置に送信中の動画像デー
タに前記動画像生成装置の観察対象とする動物が含まれ
ているか否かを判別するとともに、前記動画像データに
動物が含まれていないと判別したとき、前記動画像デー
タベースから前記動物の画像を含む動画像データを読み
出し、前記通信端末装置に送信するデータを前記動画像
データベースから読み出した動画像データに切り替える
ように構成される。
成装置より送信された画像に観察対象の動物が含まれて
いない場合は、過去に生成された動画像データに切り替
えられ、動物を観察することが可能となる。
いては、前記動画像生成装置に、複数位置にそれぞれ設
置される複数の撮像手段と、各撮像手段のいずれかを接
続してその撮像手段により得られた動画像データを前記
コンピュータシステムに送信する接続切替手段と、前記
接続された撮像手段により得られた動画像データに観察
対象の動物の画像が含まれているか否かを判別する手段
と、前記動物の画像が含まれていると判別された動画像
データが前記コンピュータシステムに送信されるように
前記接続切替手段の切替え動作を制御する手段とを具備
させている。この構成によれば、特に動物が移動してい
る場合に、動画像を提供する撮像手段を切り替えること
により、動物を追跡して観察を続けることが可能とな
る。
信システムは、動物の観察位置として設定された地点に
設置された動画像生成装置と、前記動物について音声ま
たは文字によるレポート情報を作成するレポート情報作
成装置と、前記動画像生成装置およびレポート情報作成
装置に通信可能に設定されるとともにコンピュータネッ
トワークを介して任意の通信端末装置に接続されるコン
ピュータシステムとから構成される。
関する情報および個人識別情報を対にしてコンピュータ
ネットワークに送信する。また前記動画像生成装置は、
所定の観察対象領域における動画像データを逐次生成し
て前記コンピュータシステムに送信する。レポート情報
作成装置は、観察対象の動物の真の名前(すなわち動物
の飼育者などにより付けられた動物の本当の名前)を含
む文字情報または音声情報を作成して前記コンピュータ
システムに送信するように構成される。なおこのレポー
ト情報作成装置は、動画像生成装置と一体化することも
可能である。
ータシステムは、前記動画像生成装置により送信された
動画像を受信する手段と、前記情報送信装置からの送信
情報を受信するとともに、その受信情報の動物の名前の
部分がデータ入力用のフィールドに置き換えられたテン
プレートを作成する手段と、前記通信端末装置から送信
された名前と個人識別情報とを対にして登録するメモリ
と、前記メモリに名前および個人識別情報が登録された
ことを条件として前記通信端末装置からの個人識別情報
の送信を受け付け、前記動画像生成装置より受信した動
画像データを前記通信端末装置に送信する手段と、前記
動画像データの送信に応じて前記送信された個人識別情
報に対応する名前をテンプレートのフィールドにあては
めた情報を作成し、前記通信端末装置に送信する手段と
を具備する。
察対象の動物に好きな名前を付けた上で、通信端末装置
により前記名前と個人識別情報とを対にして送信する
と、コンピュータシステムでは、この送信情報をメモリ
に登録する。またコンピュータシステムは、動画像生成
装置が逐次生成する画像を取り込むとともに、情報収集
装置より観察対象の動物の真の名前を含む文字情報また
は音声情報を入力し、前記名前の部分がフィールドに置
き換えられたテンプレートを作成する。ここで通信端末
装置からメモリに登録された個人識別情報が送信されて
くると、コンピュータシステムは、動画像生成装置の生
成した動画像を送信するとともに、この送信に連動する
タイミングまたは通信端末装置からの指定に応じたタイ
ミングで、前記テンプレートのフィールドに個人識別情
報に対応する名前を当てはめた情報を作成し、通信端末
装置に送信する。よって利用者は、個人識別情報の送信
に応じて、名前を付けた動物の様子を示す動画像データ
とともに、自分の付けた名前で動物を呼び示す解説や報
告の送信を受けることになる。
も、コンピュータシステムに、動画像生成装置より送信
された動画像データを蓄積する動画像データベースを設
け、受信中の動画像データまたは過去の動画像データの
いずれかに切り替えるように構成することができる。
末装置での選択操作に応じていずれかの動画像生成装置
から受信した動画像データを送信するように構成するこ
ともできる。この場合に各動画像生成装置がそれぞれ個
別の動物を観察対象とするのであれば、情報作成装置
も、各動画像生成装置に対応させて複数設置する必要が
ある。さらに通信端末装置は、いずれかの観察位置を選
択して、その観察位置での観察対象となる動物に付けた
任意の名前を個人識別情報と対にしてコンピュータネッ
トワークに送信するように構成される。
に対応するコンピュータシステムは、各動画像生成装置
より送信された動画像を逐次受信する手段、各情報作成
装置からの送信情報を受信するとともに、各送信情報毎
にその受信情報の動物の真の名前がフィールドに置き換
えられたテンプレートを作成する手段、通信端末装置か
ら送信された名前と個人識別情報とをその装置の選択し
た観察位置の動画像生成装置に対応づけて登録するメモ
リ、メモリへの登録完了を条件として前記通信装置から
の個人識別情報の送信を受け付け、その個人識別情報に
対応する動画像生成装置から受信した動画像データを通
信端末装置に送信する手段、前記動画像データの送信に
応じて送信された個人識別情報に対応する名前を前記動
画像生成装置に対応する情報作成装置からの送信情報よ
り得たテンプレートのフィールドにあてはめた情報を作
成し、前記通信端末装置に送信する手段、の各手段を具
備するように構成される。
所定の動画像生成装置を選択し、その観察対象とする動
物の名前と個人識別情報を送信すると、この送信情報
は、選択された動画像生成装置に対応づけてコンピュー
タシステムのメモリに登録される。この登録後に通信端
末装置から個人識別情報を送信することにより、コンピ
ュータネットワークは、前記個人識別情報に対応する動
画像生成装置から受信した動画像データを通信端末装置
に送信するとともに、観察対象の動物に関するテンプレ
ートの名前の部分を通信端末装置から送信された名前に
置き換えた情報を作成し、通信端末装置に送信する。な
おこのシステムによれば、通信端末装置において複数の
動画像生成装置を順に選択することも可能である。ただ
し名前および個人識別情報は、動画像生成装置毎に異な
るものに設定する必要がある。ただし動画像データの送
信のために、個人識別情報と観察したい動物の名前(利
用者が付けた名前)とを送信するのであれば、個人識別
情報を同一にすることも可能である。
テムの適用例を示す。この実施例は、コンピュータネッ
トワーク上で仮想動物園を実施するための画像配信シス
テムであって、コンピュータネットワークを構成するイ
ンターネット4を介して任意の利用者が所有する通信端
末装置3からのアクセスを受け付け、各利用者に対し、
それぞれその人が指定した動物を観察できるような動画
像を送信している。
物の生活空間毎に設置された動画像生成装置2,サーバ
ー1,および各動画像生成装置2とサーバー1とを接続
する専用回線8によるLANとして構成される。動画像
生成装置2は、ディジタルビデオカメラ5(以下単に
「カメラ5」という。)と、動物の鳴き声などを採るた
めのマイク6と、前記カメラ5やマイク6からの信号を
取り込んで送信用のデータを生成するデータ処理装置7
とから成り、データ処理装置7において、音声が多重化
された時系列のディジタル画像データ(以下これを「動
画像データ」という。)を生成して専用回線8に出力す
るようにしている。
せて、檻やフェンスの上方位置、フェンス柵の近傍、飼
育部屋の天井など、日常の動物を観察できる可能性の高
い位置に光軸を固定した状態で支持され、マイク6も同
様に、動物の声を採りやすい位置に設置される。一方、
データ処理装置7は、制御回路,インターフェイス回
路,送受信回路などが実装された基板7Aと、この基板
7Aを収容する保護ケース7Bとから成り、カメラ5、
マイク6の設置場所の近傍に配備される。
るコンピュータであって、インターネット4および前記
LANの専用回線8の双方に対応する2種類の通信回路
を具備する。またサーバー1は、動画像の処理に関わる
プログラムを保存したり、各動画像生成装置2から送信
される動画像データを蓄積するために、大容量の不揮発
性メモリを搭載するほか、必要に応じて補助用のCPU
が組み込まれる場合もある。
ナルコンピュータであって、サーバー1が開設するホー
ムページを表示するためのディスプレイ9,インターネ
ット4に接続するためのモデム10,音声データを出力
するためのスピーカー11,選択操作やデータ入力を行
うためのキーボード12やマウス13などを具備する。
また通信端末装置3には、あらかじめ符号化された動画
像データを復号したり、画像と音声とを分離して出力さ
せるためのシステム環境を設定しておく必要がある。こ
の通信端末装置3は、図示しないプロバイダを介してイ
ンターネット4に接続され、前記サーバー1との間で情
報をやりとりする。
カメラ5、マイク6、およびデータ処理装置7は、終日
稼働しており、所定の撮像領域内における動画像データ
を逐次生成する。生成された動画像データは、前記専用
回線8を介してサーバー1に送信される。またサーバー
1は、前記メモリ内に設定された動画像データベース
に、過去の所定時間における動画像データを蓄積すると
ともに、別途、編集作業によって設定された動物の生態
や行動パターンを表す動画像のデータファイルを保存し
ている。
任意の通信端末装置3に接続されると、接続中の通信端
末装置3に対し、園内の動物を一覧表示していずれかの
動物の選択を受け付けるメニュー画面を提示する。通信
端末装置3側でいずれかの動物を選択する操作が行われ
ると、サーバー1は、この動物に対応する動画像生成装
置2から現在受信している動画像データを選択し、前記
通信端末装置3にリアルタイムで送信する。
末装置3からの指定操作に応じて、現在の動画像の表示
を中止し、代わりに前記動画像データベースから数時間
前の動画像や編集された動画像を読み出して通信端末装
置3に送信することが可能に設定される。
示す。このサーバー1には、内部の演算回路に設定され
たプログラムや通信回路などのハードウェアにより、各
動画像生成装置2に個別に設定される送信データ処理部
17のほか、データ入力部15,制御部16,送信部1
8などが設定される。
ット4を介して、通信端末装置3における観測対象の動
物の選択操作,表示させる動画像の指定操作,後記する
解説データの呼出し操作などを受け付けるためのもので
ある。制御部16は、前記動物の選択操作の内容に応じ
て作動させる送信データ処理部17を選択するととも
に、この選択した送信データ処理部17に、送信させる
データの種類などを指定するデータ(以下「指定デー
タ」という。)を受け渡す。
部17は、指定データに応じたデータを送信部18へと
送出する。送信部18は、受け取ったデータを、インタ
ーネット4を介してアクセス元の通信端末装置3に送信
する。なおこのデータ送信に先立ち、制御部16は、送
信部18に、情報表示画面を形成するためのレイアウト
情報を与え、通信端末装置3に送信させる。
動画像生成装置2との機能および両者の関係を示す。動
画像生成装置2のカメラ5はディジタル量の画像データ
を、マイク6はアナログ量の音声データを、それぞれ逐
次生成してデータ処理装置7に伝送する。データ処理装
置7は、画像および音声の処理機能を具備するコンピュ
ータを主体とするもので、画像入力部21,画像符号化
処理部22,画像パケット生成部23,音声信号入力部
24,音声符号化処理部25,音声パケット生成部2
6,送信部27などを構成として具備する。なお、ここ
でいう「音声データ」とは、主として動物の鳴き声、生
活音であり、場合によって飼育担当者などの発話が含ま
れるものとなる。
る画像データを逐次取り込むためのもので、画像符号化
処理部22は、取り込まれた画像データを1フレームず
つ順に符号化して画像パケット生成部23に与える。画
像パケット生成部23は、1フレーム分の符号化された
画像データを所定バイト毎に分割した画像パケットを生
成する。なおこの画像パケットには、画像データのほ
か、パケットの属性を示す情報(画像であることを意味
する符号など)やその画像データの生成された時刻を示
す情報などが含まれている。
声信号を取り込んでA/D変換する回路を含む。この変
換処理により得られたディジタル量の音声データは、音
声符号化処理部25に入力されて符号化される。音声パ
ケット生成部26は、この符号化された音声データを所
定バイト毎に分割して音声パケットを生成する。なおこ
の音声パケットも、前記画像パケットと同様に、パケッ
トの属性を示す情報(音声であることを示す符号など)
や音声データの生成された時刻を示す情報などを含んで
いる。
レットとを多重化するとともに、この多重化により得ら
れた動画像データを、前記専用回線8を介して送信デー
タ処理部17に逐次送信する。送信データ処理部17
は、前記送信部27より送られた動画像データを受信す
るための受信部28,受信したデータを一時保存するた
めの受信データバッファ29,前記した動画像データベ
ース30のほか、出力制御部31,切替部32,送信制
御部33,解説データベース34などを具備する。
タは、受信データバッファ29で所定時間保持されると
ともに、動画像データベース30に入力される。動画像
データベース30は、前記データ処理装置7より受信し
たままのデータ形式で動画像データを逐次蓄積するほ
か、前記編集された動画像を表す所定数のデータファイ
ルを保持する。これらデータファイルも、所定容量の動
画像データを前記送信された動画像データと同様の形式
で保存したものである。なお前記蓄積する動画像データ
については、たとえば過去24時間以内の動画像データ
にするなど、データの蓄積期間に限定を持たせるのが望
ましい。
め園側の飼育担当者などにより作成された動物の解説や
日常の様子などを示す解説データを保存するためのもの
である。なおこの解説データは、テキストデータまたは
音声データにより構成されるもので、前記画像データベ
ースや音声データベースと同様に、符号化およびパケッ
ト化された状態で保存される。
指定データを受け取って、受信中の動画像データ、また
は過去の所定時間帯の動画像データ、あるいはデータフ
ァイルに保存された動画像データのいずれを送信するか
を判別する。そして過去の動画像データまたはデータフ
ァイル内の動画像データを送信する場合は、動画像デー
タベース30から送信すべき時間帯のデータまたは所定
のデータファイルを読み出して切替部32に与える。
データが供給されている場合は、これを送信制御部33
に渡し、出力制御部31からの動画像データの供給がな
い場合は、前記受信データバッファ29より受信中の動
画像データを取り出して送信制御部33に渡す。送信制
御部33は、渡された動画像データを前記送信部18に
出力することにより前記通信端末装置3により指定され
た動画像の送信を実現する。さらに、前記指定データと
して解説データの呼出しを指示するデータが与えられた
とき、出力制御部31は、解説データベース34から指
定された解説データを読み出す。読み出された解説デー
タは、切替部32を介して送信制御部33に与えられ、
前記動画像データの送信の切れ目に送信部18に出力さ
れる。
連の処理手順を示す。この手順は、任意の通信端末装置
3によるアクセスを受け付けた時点、または通信端末装
置3において動画像の表示を終了させてメニュー画面に
戻る操作が行われた時点からスタートする。まず最初の
ST1では、前記園内の動物を一覧表示したメニュー画
面のデータを通信端末装置3に送信することにより、通
信端末装置3側に動物を選択できる環境を設定する。
上の所定の動物を選択する操作が行われると、通信端末
装置3からその選択結果を示すデータが送信されてく
る。サーバー1は、この送信データの内容を確認する
と、ST2からST3へと進んで、まず動画像表示用の
表示画面についてのレイアウト情報を通信端末装置3に
送る。ついでサーバー1は、選択された動物に対応する
送信データ処理部17をアクティブに設定することによ
り、前記選択された動物を観察対象とする動画像生成装
置2の動画像データを送信できる状態とし、リアルタイ
ムでの送信を開始する。
信端末装置3のディスプレイ画面上に表示される画面の
一例を示すもので、選択された動物(図示例では像)の
現時点の動画像を表示するための表示領域35のほか、
過去の動画像を時間単位で選択するための選択ウィンド
ウ36や、代表的な活動の様子を表す動画像を呼び出す
ための選択ボタン37などが設定されている。なお図
中、38は、初期のメニュー画面に戻るためのボタンで
あり、39は、前記解説データを呼び出すためのボタン
である。
後、利用者が何の操作も行わなければ、ST5,8,1
0がいずれも「NO」となる状態が繰り返されて、動画
像生成装置2の受信中の動画像データを送信する処理が
続く。これにより利用者は、現在の動物の様子をディス
プレイ画面上で逐次、確認することができる。
ィンドウ36のいずれかの時間を選択するか、または編
集画像の呼出しスイッチ37を操作すると、ST5が
「YES」となる。サーバー1は、この判定によりST
6に進み、前記動画像データベース30から指定された
データを読み出す。さらにつぎのST7では、前記受信
中の動画像データの送信を中止し、その代わりに動画像
データベース30から読み出した動画像データの送信を
開始する。
データの呼出しスイッチ39を操作すると、ST8が
「YES」となり、前記解説データベースの解説データ
を読み出して送信する。これにより通信端末装置3側で
は、図5中の点線で囲むような内容の解説データが、テ
キストまたは音声の形式で出力される。
メニューへの復帰スイッチ38を操作するか、またはイ
ンターネット4への接続を終了すると、ST10が「Y
ES」となってST11に進み、前記通信端末装置3に
対する動画像データの送信を終了する。
に対して実行されるもので、複数の通信端末装置3が接
続されている場合は、各装置に対し、同様の手順が時分
割で実行されることになる。
利用者は、動物園内の所望の動物を選択した上で、その
動物のリアルタイムの動画像をディスプレイ画面上に呼
び出すことができるので、実際に園に出向いて動物を観
察するのと同様の体験をすることができる。また必要に
応じて数時間前の動画像や編集された動画像を呼び出す
ことが可能であるので、夜間など動物が活動していない
時間帯にアクセスした場合にも、その動物が活動してい
る様子を観察することが可能となり、利用者に質の高い
サービスを提供することができる。なお編集された動画
像を用意するのに代えて、過去の動画像から各種行動が
撮像された時間帯を抽出し、その時間帯を前記呼出スイ
ッチ37にリンクさせるようにすれば、日毎に異なる動
画像を提供することができる。
置2を設置し、通信端末装置3において、使用する動画
像生成装置2を自由に選択できるようにすれば、利用者
は、所望の観察位置から動物を観察したり、各観察位置
からの動画像を一度に呼び出して種々の角度から動物を
観察することが可能となり、一層、興趣のある表示画面
を提供することができる。
は、不特定多数の人が利用する都合上、カメラ5の位置
や角度を固定している。勿論、定期的にカメラの向きを
変える程度の変更を行ってもよいが、原則として観察対
象領域が固定されるため、観察対象である動物が領域か
ら出ることがあると、利用者は動物を観察できなくな
る。
を解決するためのものである。まず図6の実施例は、サ
ーバー1において、現時点の動画像データに観察対象の
動物が入っているか否かにより、現時点の動画像データ
と過去の動画像データとを切り替えて送信するようにし
たものである。なお図6は、一単位分の送信データ処理
部17の構成を示すもので、サーバー1全体の構成は図
2に示したのと同様であり、また動画像生成装置2の構
成は図3と同様であるので、詳細な説明を省略する。
記図3に示した構成に加え、画像復号部41,差分処理
部42,マッチング処理部43,判定部44,マーキン
グ部45などを具備する。この実施例では、前記データ
処理装置7から送信された動画像データは、受信データ
バッファ29に格納されるとともに、画像復号部41に
与えられる。画像復号部41は、前記動画像データの各
パケットを属性毎に切り分けた後、画像パケット内の符
号化された画像データに復号処理を施してフレーム毎の
画像を復元する。
ーム分の画像から、前記動画像生成装置2の観察対象領
域の背景画像のデータを差し引く差分処理を実行する。
マッチング処理部43は、前記差分画像上に観察対象の
動物を抽出するための2次元モデルを走査し、各走査位
置毎に前記2次元モデルに対する差分画像の類似度を求
めつつ、前記動物の画像があるか否かを判別する。なお
差分処理に用いる差分画像は、あらかじめ動画像生成装
置2のカメラ5により動物のいない状態下で撮像を行っ
て得られたものであり、マッチング処理に用いられる2
次元モデルは、画像上に表れる動物の特徴部分の形状
(たとえば像であれば鼻など)を表すものである。これ
ら差分画像および2次元モデルは、具体的には、サーバ
ー1のメモリ内に保存される。
ために、たとえば色および形状の2つのパラメータによ
るマッチング処理を行ったり、特開平10−55446
号公報に記載された物体認識処理(2次元画像上の特徴
点を対象物の支持面を含む仮想水平面に透視変換し、そ
の透視変換画像上でマッチング処理を行うもの。)の技
術を適用してもよい。
の処理結果を受けて、観察対象領域内に動物が入ってい
るか否かを判定し、その判定結果(「動物あり」または
「動物なし」)を出力制御部31およびマーキング部4
5に出力する。
「動物あり」の判定結果が与えられたとき、受信データ
バッファ29から動画像データベース30に格納される
動画像データに対し、「有効」を意味するフラグを設定
する。出力制御部31は、前記判定部44より「動物な
し」の判定結果が与えられたとき、動画像データベース
30より前記フラグの設定された所定の動画像データを
読み出し、切替部32に与える。
に、出力制御部31から動画像データが与えられたとき
は、その動画像データを送信制御部33に渡し、出力制
御部31から動画像データが与えられていない状態下で
は、受信データバッファ29内の動画像データを読み出
して送信制御部33に出力する。受信データバッファ2
9は、少なくとも、前記画像復号処理から動物の有無判
定の処理が完了するまでに要する時間だけ動画像データ
を保持するように設定される。よって送信制御部33か
らは、前記「動物あり」の判定がなされている間の動画
像データがリアルタイムで出力される一方、「動物な
し」の判定がなされた場合は、過去の「動画像あり」の
判定がなされた動画像データが出力されるようになる。
スすることによって常に所望の動物を捉えた動画像を視
認することができる。特に夜間や動物が休息室にいると
きなど長時間動物の観察が不可能であっても、支障なく
動物の観察を行うことができる。
2つの観察位置を設定し、各観察位置にそれぞれカメラ
5とマイク6とを配置し(図中、観察位置毎に、a,b
に区別して示す。)、各カメラ5の観察対象領域内に動
物が入っているか否かにより、有効化するカメラ5およ
びマイク6を切り替えるようにしている。なおこの実施
例では、サーバー1は第1の実施例と同様の構成をとる
ので、図7では、動画像生成装置2についての構成のみ
を示す。
たようにカメラ5とマイク6とを2台ずつ具備するほ
か、データ処理装置7に、差分処理部46,マッチング
処理部47,判定部48,およびカメラ5,マイク6の
それぞれに対する切替部49,50を設定している。な
お、データ処理装置7のその他の構成については、第1
の実施例と同様であるので、同一の符号を付すことによ
り説明を省略する。
のカメラ5a,5bからの画像データを切替部49を介
して取り込んだ後、その画像データを差分処理部46お
よび画像符号化処理部22に与える。差分処理部46,
マッチング処理部47,判定部48は、いずれも前記第
2の実施例における送信データ処理部17側の差分処理
部42,マッチング処理部43,判定部44と同様の機
能を有するもので、これにより前記取込み中の画像に観
察対象の動物が入っているか否かが判定される。この判
定結果は、カメラ側の切替部49に与えられる。
なし」の判定が与えられたとき、選択中のカメラ5から
他方のカメラ5に接続を切り替える。またマイク側の切
替部50は、カメラ側の切替部に連動して、選択された
カメラ5に対応するマイク6に接続を切り替えるように
設定されている。これにより送信部27からサーバー1
に送信される動画像データには、観察対象の動物の画像
やその動物の鳴き声,生活音が高い確率で含まれるよう
になり、移動する動物を追跡しつつリアルタイムで動物
を観察することが可能となる。
ない。より多数の観察位置を設定すれば、動物の移動に
応じてカメラ5やマイク6を切り換えつつ、動物を追跡
することが可能となるので、利用者は、動物の行動や生
活環境などをより詳細に認識することができる。また広
範な移動空間をとる動物の観察も可能となる。また上記
図7の構成に加え、サーバー1側に前記図6の構成を設
定すれば、動物がいずれの観察対象領域にも入らない場
合でも、過去の動画像データによる動物の観察が可能と
なり、利用者へのサービスを向上させることができる。
各動物を観察するシステムを示したが、同様の構成のシ
ステムにより自然環境下における種々の動物を観察する
ことができる。勿論、動画像生成装置2の設置位置は陸
上に限らず、水中に設置することも可能である。
示す。この実施例のシステムは、普通の家庭で飼育され
ているペット(犬、猫など)を終日撮像し、インターネ
ット4を介して前記ペットの動画像を任意の通信端末装
置3に供給するもので、図1のシステムと同様の動画像
生成装置2やサーバー1を具備する。ただし、動画像生
成装置2とサーバー1との接続は、専用回線に限らず、
インターネット4を介して接続してもよい。
めに、設置される動画像生成装置2を1つと仮定する
が、実際のシステムでは、前記図1と同様に、複数の動
物に対しそれぞれ動画像生成装置2を設置し、利用者が
所望の動物を選択してその動画像を呼び出すことが可能
なように構成される。
画像を観察するにとどまらず、自分の気に入った動物に
名前を付け、サーバー1に登録することが可能である。
サーバー1は、設定された名前を利用者の個別識別情報
(具体的にはパスワード)に対応づけて管理するととも
に、以後は、パスワードの入力によって前記名前を付け
た動物の動画像データの呼出しができるように設定す
る。さらにこの実施例では、動物を実際に飼育している
家庭において、前記動画像生成装置2のマイク6を用い
て、動物の様子などを示す音声レポート情報をサーバー
1側に送信するとともに、サーバー1から各利用者に対
し、前記音声レポート情報を利用者に固有の情報に加工
して送信するようにしている。
装置2およびサーバー1側の送信データ処理部17の構
成を示す。なお、サーバー1全体の構成は、前記第1の
実施例と同様であるが、この実施例では、前記制御部1
6から送信データ処理部17に対し、送信すべきデータ
の種類を示す指定データのほか、利用者の通信端末装置
3より送信された前記動物の名前に関わる登録データ
や、パスワードを与えるようにしている。
の構成であるが、データ処理装置7に、モード設定スイ
ッチ57およびフラグ設定部58が組み込まれる。モー
ド設定スイッチ57は、通常のモードと前記した音声レ
ポート情報を入力するモードとを切り替えるための操作
スイッチである。フラグ設定部58は、この音声レポー
ト情報の入力モード下において、音声パケット生成部2
6の生成する音声パケットに後記するデータ抽出のため
のフラグを設定する。
成の受信部28,受信データバッファ29,動画像デー
タベース30,出力制御部31,切替部32,送信制御
部33を具備するほか、レポート情報抽出部51,音声
復号部52,テンプレート作成部53,テンプレートデ
ータベース54,名前データベース55,出力音声生成
部56などを備える。
ッファ29に格納された動画像データの中から前記フラ
グ付きの音声パケットを抽出し、さらにこのパケットか
ら前記レポート情報を表す音声データを取り出す。抽出
された音声データは、音声復号部52により元の形式に
復号された後、テンプレート作成部53に与えられる。
テンプレート作成部53は、前記音声データに対し音声
認識処理を行って、音声データ中に含まれる動物の真の
名前を抽出する。そしてこの名前を表すデータを入力用
のフィールドに置き換えたテンプレートを作成し、テン
プレートデータベース54に格納する。
ように、前記動物に対し各利用者が付けた名前が、利用
者のパスワードに対応づけて格納される。出力音声生成
部56は、前記制御部16より所定の利用者のパスワー
ドが与えられることにより作動して、前記名前データベ
ース55よりパスワードに対応する名前を読み出し、こ
れを前記テンプレートのフィールドにあてはめることに
より、出力用の音声レポート情報を作成する。なおここ
で生成される音声レポート情報は、符号化,パケット化
が施されたデータであって、出力制御部31に渡され
る。
に、前記制御部16より、送信すべきデータの種類を指
定する指定データが与えられる。この指定データが過去
の動画像データの送信を指定するものであれば、出力制
御部31は、前記動画像データベース30より指定され
た動画像データを読み出して切替部32に与えることに
より、前記過去の動画像データを通信端末装置3に送信
させる。また前記音声レポート情報の送信を指定する指
定データが与えられたとき、出力制御部31は、前記出
力音声生成部56より前記出力用の音声レポート情報を
取り込んで切替部32に与えることにより、前記音声レ
ポート情報を通信端末装置3に送信させる。なお出力制
御部31からのデータが与えられない状態下では、前記
第1の実施例と同様に、切替部32により受信データバ
ッファ29から動画像データが取り出されて、通信端末
装置3に送信されることになる。
おける処理の具体例を示す。図11は、前記飼育者によ
る音声レポート情報からテンプレートが作成される例を
示す。飼育者は、前記データ処理装置7のモード設定ス
イッチ57を操作して前記音声レポート情報の入力モー
ドを設定した後、図11(1)に示すように、マイク6
より音声レポート情報を入力する。この時点での音声レ
ポート情報は、動物を、飼育者自身が付けた真の名前
(図示例では「ジョン」)で示している。
り作成されたテンプレートの具体例であって、前記音声
レポート情報に含まれていた名前の部分(図中、点線枠
で示す。)は、任意のデータの入力が可能なフィールド
に置き換えられる。
の具体例であって、前記図5の実施例と同様に、動画像
の表示領域35、過去の動画像を呼び出すための選択用
ウィンドウ36、メニュー画面への復帰スイッチ38な
どに加え、音声レポート情報を呼び出すための呼出しス
イッチ60が設定されている。この呼出しスイッチ60
を操作すると、サーバー1より、前記テンプレートのフ
ィールドに利用者の付けた名前(図示例では「タロ
ー」)があてはめられた音声レポート情報61が送信さ
れ、通信端末装置3のスピーカー11より出力される。
なお音声レポート情報6については、所定のタイミング
で自動的に出力するようにしてもよい。
名前を付けた動物について、その動画像を自由に呼び出
して観察できるとともに、自分の付けた名前により動物
を指し示すレポート情報を受け取ることができるので、
動物に自分自身のペットのような親近感を抱いて楽しむ
ことができる。
よりレポート情報の作成機能を組み込んでいるが、これ
に代えて、飼育者が所有する通信端末装置によりレポー
ト情報を作成し、インターネット4を介してサーバー1
に送信するようにしてもよい。なお、この場合、レポー
ト情報は音声に限らず、テキストデータにより作成する
ことも可能である。
クを介して、利用者に所望の観察位置を選択させ、その
観察位置から逐次撮像を行うことによって得られた動画
像を提供するようにしたから、遠方にいる動物の日々の
生活状態を身近な場所にいるのと同様に観察できる。ま
た動画像は刻々更新されるので、利用者に何度でもアク
セスする気持ちを起こさせることができ、高い魅力のあ
るサービスを提供することができる。
表す動画像を提示するとともに、その動物の解説や現状
報告などを、利用者が動物に付けた名前により動物を表
しながら提示するので、利用者に、動物が自分自身のペ
ットであるかのような親近感を感じさせることができ、
実際にペットを飼えない環境にいる人に、楽しみを与え
ることができる。
明図である。
である。
テム構成を示す機能ブロック図である。
トである。
る。
テム構成を示す機能ブロック図である。
ム構成を示す機能ブロック図である。
ある。
信データ処理部のシステム構成を示す機能ブロック図で
ある。
である。
ある。
る。
Claims (5)
- 【請求項1】 動物の観察位置として設定された複数の
地点にそれぞれ設置された複数の動画像生成装置と、各
動画像生成装置に対し個別に通信可能に設定されるとと
もにコンピュータネットワークを介して任意の通信端末
装置に接続されるコンピュータシステムとから成り、 前記動画像生成装置は、所定の観察対象領域における動
画像データを逐次生成して前記コンピュータシステムに
送信し、 前記コンピュータシステムは、各動画像生成装置より送
信された動画像データを逐次受信するとともに、接続中
の通信端末装置においていずれかの観察位置を選択する
操作が行われたとき、前記選択された観察位置に設置さ
れた動画像生成装置から現在受信している動画像データ
を前記通信端末装置へと送信する動画像配信システム。 - 【請求項2】 前記コンピュータシステムは、各動画像
生成装置より受信した動画像データを蓄積する動画像デ
ータベースを具備し、前記通信端末装置において前記選
択された観察位置につき所定の時間帯が指定されたと
き、前記選択された観察位置において指定された時間帯
に生成された動画像データを動画像データベースから読
み出し、前記通信端末装置に送信するデータを前記動画
像データベースから読み出した動画像データに切り替え
る請求項1に記載された動画像配信システム。 - 【請求項3】 前記コンピュータシステムは、各動画像
生成装置より受信した動画像データを蓄積する動画像デ
ータベースを具備し、前記通信端末装置に送信中の動画
像データに前記動画像生成装置の観察対象とする動物が
含まれているか否かを判別するとともに、前記動画像デ
ータに前記動物が含まれていないと判別したとき、前記
動画像データベースから前記動物の画像を含む動画像デ
ータを読み出し、前記通信端末装置に送信するデータを
前記動画像データベースから読み出した動画像データに
切り替える請求項1に記載された動画像配信システム。 - 【請求項4】 前記動画像生成装置は、複数位置にそれ
ぞれ設置される複数の撮像手段と、各撮像手段のいずれ
かを接続してその撮像手段により得られた動画像データ
を前記コンピュータシステムに送信する接続切替手段
と、前記接続された撮像手段により得られた動画像デー
タに観察対象の動物の画像が含まれているか否かを判別
する手段と、前記動物の画像が含まれていると判別され
た動画像データが前記コンピュータシステムに送信され
るように前記接続切替手段の切替え動作を制御する手段
とを具備して成る請求項1に記載された画像配信システ
ム。 - 【請求項5】 動物の観察位置として設定された地点に
設置された動画像生成装置と、前記動物について音声ま
たは文字によるレポート情報を作成するレポート情報作
成装置と、前記動画像生成装置およびレポート情報作成
装置に通信可能に設定されるとともにコンピュータネッ
トワークを介して任意の通信端末装置に接続されるコン
ピュータシステムとから成り、 前記通信端末装置は、観察対象の動物の名前に関する情
報および個人識別情報を対にしてコンピュータネットワ
ークに送信し、 前記動画像生成装置は、所定の観察対象領域における動
画像データを逐次生成して前記コンピュータシステムに
送信し、 前記レポート情報作成装置は、観察対象の動物の真の名
前を含む文字情報または音声情報を作成して前記コンピ
ュータシステムに送信し、 前記コンピュータシステムは、 前記動画像生成装置により送信された動画像を逐次受信
する手段と、 前記情報作成装置からの送信情報を受信するとともに、
その受信情報の動物の名前の部分がデータ入力用のフィ
ールドに置き換えられたテンプレートを作成する手段
と、 前記通信端末装置から送信された名前と個人識別情報と
を対にして登録するメモリと、 前記メモリに名前および個人識別情報が登録されたこと
を条件として前記通信端末装置からの個人識別情報の送
信を受け付け、前記画像生成装置より受信した動画像デ
ータを前記通信端末装置に送信する手段と、 前記動画像データの送信に応じて前記送信された個人識
別情報に対応する名前をテンプレートのフィールドにあ
てはめた情報を作成し、前記通信端末装置に送信する手
段とを具備して成る動画像配信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000258444A JP3959432B2 (ja) | 2000-08-29 | 2000-08-29 | 動画像配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000258444A JP3959432B2 (ja) | 2000-08-29 | 2000-08-29 | 動画像配信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002077854A true JP2002077854A (ja) | 2002-03-15 |
JP3959432B2 JP3959432B2 (ja) | 2007-08-15 |
Family
ID=18746760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000258444A Expired - Fee Related JP3959432B2 (ja) | 2000-08-29 | 2000-08-29 | 動画像配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3959432B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011060130A (ja) * | 2009-09-11 | 2011-03-24 | Fuji Television Network Inc | 水族館リアルタイム図鑑画像表示システムおよび方法 |
JP2019159777A (ja) * | 2018-03-13 | 2019-09-19 | 関西電力株式会社 | サーバ |
JP7497093B1 (ja) | 2023-08-30 | 2024-06-10 | 三栄通信工業株式会社 | 情報処理装置及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06325180A (ja) * | 1993-05-14 | 1994-11-25 | Matsushita Electric Ind Co Ltd | 移動体自動追跡装置 |
JPH07105400A (ja) * | 1993-10-07 | 1995-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 動画再生装置 |
JPH07264572A (ja) * | 1994-03-17 | 1995-10-13 | Nippon Telegr & Teleph Corp <Ntt> | 映像情報提供システム |
JPH07288788A (ja) * | 1994-04-14 | 1995-10-31 | Hitachi Ltd | テレビ電話 |
JPH09233458A (ja) * | 1996-02-28 | 1997-09-05 | Toshiba Corp | 画像選択方法および画像選択装置 |
JPH10191143A (ja) * | 1996-10-25 | 1998-07-21 | Canon Inc | カメラ制御システム及びカメラサーバ及びカメラクライアント及び制御方法及び記憶媒体 |
JP2000227916A (ja) * | 1999-02-05 | 2000-08-15 | Fujitsu General Ltd | ペットデータベースシステム |
JP2000231354A (ja) * | 1998-12-07 | 2000-08-22 | Masanobu Kujirada | 遠隔水槽鑑賞システム、遠隔鳥籠鑑賞システム、及び、カメラ付きディスプレー |
-
2000
- 2000-08-29 JP JP2000258444A patent/JP3959432B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06325180A (ja) * | 1993-05-14 | 1994-11-25 | Matsushita Electric Ind Co Ltd | 移動体自動追跡装置 |
JPH07105400A (ja) * | 1993-10-07 | 1995-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 動画再生装置 |
JPH07264572A (ja) * | 1994-03-17 | 1995-10-13 | Nippon Telegr & Teleph Corp <Ntt> | 映像情報提供システム |
JPH07288788A (ja) * | 1994-04-14 | 1995-10-31 | Hitachi Ltd | テレビ電話 |
JPH09233458A (ja) * | 1996-02-28 | 1997-09-05 | Toshiba Corp | 画像選択方法および画像選択装置 |
JPH10191143A (ja) * | 1996-10-25 | 1998-07-21 | Canon Inc | カメラ制御システム及びカメラサーバ及びカメラクライアント及び制御方法及び記憶媒体 |
JP2000231354A (ja) * | 1998-12-07 | 2000-08-22 | Masanobu Kujirada | 遠隔水槽鑑賞システム、遠隔鳥籠鑑賞システム、及び、カメラ付きディスプレー |
JP2000227916A (ja) * | 1999-02-05 | 2000-08-15 | Fujitsu General Ltd | ペットデータベースシステム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011060130A (ja) * | 2009-09-11 | 2011-03-24 | Fuji Television Network Inc | 水族館リアルタイム図鑑画像表示システムおよび方法 |
JP2019159777A (ja) * | 2018-03-13 | 2019-09-19 | 関西電力株式会社 | サーバ |
JP7114283B2 (ja) | 2018-03-13 | 2022-08-08 | 関西電力株式会社 | 通信システム |
JP7497093B1 (ja) | 2023-08-30 | 2024-06-10 | 三栄通信工業株式会社 | 情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3959432B2 (ja) | 2007-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110850983B (zh) | 视频直播中的虚拟对象控制方法、装置和存储介质 | |
JP5201050B2 (ja) | 会議支援装置、会議支援方法、会議システム、会議支援プログラム | |
CN107756395A (zh) | 智能机器人的控制系统、方法和装置 | |
US7146095B2 (en) | Information providing system, information providing apparatus and information providing method as well as data recording medium | |
KR100841590B1 (ko) | 채팅 시스템, 통신장치, 그 제어방법 및 정보기억매체 | |
CN105049747B (zh) | 一种识别静态图像并转换为动态显示的系统 | |
US20130123987A1 (en) | Robotic system, robot control method and robot control program | |
US20010051535A1 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
JP2001245269A (ja) | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 | |
US8103382B2 (en) | Method and system for sharing information through a mobile multimedia platform | |
KR20200097637A (ko) | 시뮬레이션 모래상자 시스템 | |
US20060206823A1 (en) | Information providing system, information providing apparatus and information providing method as well as data recording medium | |
JP2014187559A (ja) | 仮想現実提示システム、仮想現実提示方法 | |
CN113163253B (zh) | 直播互动方法、装置、电子设备及可读存储介质 | |
CN1301486C (zh) | 用于合成图像的方法、设备和系统 | |
JP4270520B2 (ja) | ボイスメールシステム | |
CN105388786B (zh) | 一种智能提线木偶偶人控制方法 | |
JP2002077854A (ja) | 動画像配信システム | |
JP4095537B2 (ja) | 体験表示装置、体験表示方法及び体験表示プログラム | |
CN113728941B (zh) | 一种智能驯养宠物犬的方法及驯养系统 | |
CN114422862A (zh) | 服务视频生成方法、装置、设备、存储介质和程序产品 | |
KR101481996B1 (ko) | 행동기반 실감영상환경 제어 시스템 | |
JP7374430B2 (ja) | 動画像処理装置、動画像処理方法及び動画像処理プログラム | |
US20230239259A1 (en) | Message selection apparatus, message presentation apparatus, message selection method, and message selection program | |
JP4905651B2 (ja) | 情報分析装置、情報分析方法及び情報分析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031216 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050119 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070403 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |