JP4759851B2 - 伝送信号処理装置及び信号伝送方法 - Google Patents
伝送信号処理装置及び信号伝送方法 Download PDFInfo
- Publication number
- JP4759851B2 JP4759851B2 JP2001161656A JP2001161656A JP4759851B2 JP 4759851 B2 JP4759851 B2 JP 4759851B2 JP 2001161656 A JP2001161656 A JP 2001161656A JP 2001161656 A JP2001161656 A JP 2001161656A JP 4759851 B2 JP4759851 B2 JP 4759851B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- subject
- imaging camera
- moving body
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Circuits Of Receivers In General (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、例えばディジタル放送システム等を構成する伝送信号送信装置及び伝送信号受信装置に関する。また、その信号の伝送方法に関する。
【0002】
【従来の技術】
現在、データ圧縮符号化技術(例えば、MPEG(Moving Picture Experts Group )方式)を用いてテレビジョン信号(映像信号及び音声信号)を圧縮し、これをデータ多重化技術を用いて多重伝送するシステム、すなわちディジタル放送システムの運用が予定されている。
【0003】
ディジタル放送システムでは、圧縮符号化されたテレビジョン信号をトランスポートストリーム(TS:Transport Stream )と呼ばれるデータ形式のパケット(以下「TSパケット」という。)データに分割し、それらを多重化することにより、1回線への複数チャネルのテレビジョン信号の多重化を実現する。従って、複数のチャネルを1つの番組で使用すれば、撮像位置や撮像角度を異にする複数のテレビジョン信号の同時放送を行うこともできる。この同時放送では、視聴者が自由に撮像カメラ(具体的にはチャンネル)を選択できるため、視聴者の選択の自由度は格段に向上するものと期待されている。
【0004】
【発明が解決しようとする課題】
ところで、イベント番組やスポーツ番組のように被写体が移動する場合や被写体が広範囲に散在する場合(例えば、スポーツイベント(例えば、マラソン、競泳、格闘技)、モータスポーツ(例えば、自動車、バイク、自転車)、競馬、マリンスポーツ(例えば、ヨットレース、ボートレース、ダイビング)、コンサートの中継番組、現場での取材番組(例えば、リポーターを被写体とする場合)等)には、視聴者がその選択権を十分活用できるように、どの撮像カメラがどの辺りを撮像しているか、またどの撮像カメラが何を又は誰を写体としており、それら被写体が現場のどの辺りに位置するかといった情報が視聴者側に提供されることが望まれる。また、チャンネルを切り替えるためだけでなく、現場の状況をより的確に把握できるようにする上でも、これらの情報が視聴者側に提供されることが望まれる。
【0005】
【課題を解決するための手段】
かかる課題を解決するため、以下の手段を提案する。
【0018】
(1)例えばディジタル放送信号処理装置等の伝送信号処理装置(送信装置のみならず、撮像装置、記録装置、編集装置その他も含む。(2)の伝送信号処理装置も同じ。)として、被写体である移動体(人、動物、車両、船舶等)から受信されたGPS位置情報(緯度、経度、必要に応じて高度も含む。)と、撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部と、撮像カメラ別の被写体情報を、例えば対応するディジタル放送信号等の複数チャネルの映像信号を多重化して伝送される信号に多重化する多重化処理部とを備えるものを提案する。
【0019】
かかる機能をディジタル放送信号処理装置に搭載することにより、視聴者において、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別することができる。また視聴者側において、当該撮像カメラ別の被写体情報と視聴者が特定した被写体とのマッチングを逐次実行し、一致した撮像カメラの映像を選択的に画面上に表示させるようにすれば、特定の被写体のみを画面上に表示させることも可能となる(いわゆる追跡表示機能を実現できる)。
【0020】
またこのように、かかる機能をディジタル放送信号処理装置側に搭載することにより、視聴者側又は2次利用者側(例えば、蓄積型のサービス提供者やローカル局若しくは現場の中継車から映像の提供を受けたセンター局)においてカメラ別の被写体情報を生成する処理負担を軽減できる。
【0021】
因みに、このディジタル放送信号処理装置は、現場の又は現場から得られた映像信号や音声信号からディジタル放送信号を生成して出力する1次局側装置として用い得る。もっとも、撮像カメラ別の被写体情報をディジタル放送信号に多重する場所は問わないため、他のディジタル放送信号処理装置から受信したディジタル放送信号に情報を付加して配信する2次局側装置としても用い得る。
【0035】
(2)例えばディジタル放送信号処理装置等の伝送信号処理装置として、例えば受信又は再生されたディジタル放送信号等の複数チャネルの映像信号を多重化して伝送される信号から被写体である移動体(人、動物、車両、船舶等)のGPS位置情報(緯度、経度、必要に応じて高度も含む。)と撮像カメラ別の撮像範囲情報とを分離して、被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部と、撮像カメラ別の被写体情報を、伝送される信号に多重化する多重化処理部とを備えるものを提案する。
【0036】
かかる機能をディジタル放送信号処理装置に搭載することにより、1次局装置側で撮像カメラ別の被写体情報がディジタル放送信号に多重されていない場合でも、視聴者の側では、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別可能とすることができる。また視聴者側において、当該撮像カメラ別の被写体情報と視聴者が特定した被写体とのマッチングを逐次実行し、一致した撮像カメラの映像を選択的に画面上に表示させるようにすれば、特定の被写体のみを画面上に表示させることもできる(いわゆる追跡表示機能を実現できる)。
【0037】
因みに、このディジタル放送信号処理装置は、1次局側装置からディジタル放送信号の提供を受け、これを視聴者側に配信する2次局側装置(ディジタル蓄積型のサービスを提供するシステムやローカル局若しくは現場の中継車から映像の提供を受けるセンター局)として用い得る。
【0052】
(3)例えばディジタル放送信号処理装置等の伝送信号処理装置(受信装置のみならず、再生装置やブラウザ端末その他も含む。(4)〜(5)の伝送信号処理装置も同じ。)として、例えば受信又は再生されたディジタル放送信号等の複数チャネルの映像信号を多重化して伝送される信号から被写体である移動体(人、動物、車両、船舶等)のGPS位置情報(緯度、経度、必要に応じて高度も含む。)と撮像カメラ別の撮像範囲情報とを分離する分離部と、被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部とを備えるものを提案する。
【0053】
かかる機能をディジタル放送信号処理装置に搭載することにより、1次局装置側及び又は2次局装置側で、撮像カメラ別の被写体情報がディジタル放送信号に多重されていない場合でも、視聴者の側では、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別可能とすることができる。また視聴者側において、当該撮像カメラ別の被写体情報と視聴者が特定した被写体とのマッチングを逐次実行し、一致した撮像カメラの映像を選択的に画面上に表示させるようにすれば、特定の被写体のみを画面上に表示させることができる(いわゆる追跡表示機能を実現できる)。
【0054】
なお当該生成された撮像カメラ別の被写体情報は画面上に表示するだけでなく、ディジタル放送信号とは別に記憶媒体に記録したり、伝送路を通じて配信することもできる。
【0055】
(4)例えばディジタル放送信号処理装置等の伝送信号処理装置として、視聴者又は操作者が指定した被写体の識別情報と、例えば受信又は再生されたディジタル放送信号等の複数チャネルの映像信号を多重化して伝送される信号から分離された、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報とのマッチングを行い、一致する撮像カメラが存在する場合、当該撮像カメラに対応する映像を画面上に表示させる被写体追跡機能部を備えるものを提案する。
【0056】
かかる機能をディジタル放送信号処理装置に搭載することにより、特定の被写体のみを画面上に表示させることができる(いわゆる追跡表示機能を実現できる)。かかる編集動作により、映像の価値を高めることができる。また当該編集画像を記憶媒体に記録したり、伝送路を介して配信することもできる。
【0058】
(5)上記(4)に記載の伝送信号処理装置において、伝送される信号に、被写体である移動体に搭載された撮像カメラで撮像された映像が多重されている場合、被写体追跡機能部は、視聴者又は操作者が指定した移動体を被写体とする撮像カメラが存在しない間、当該移動体に搭載された撮像カメラで撮像された映像を画面上に表示させるものを提案する。
【0059】
かかる機能をディジタル放送信号処理装置に搭載することにより、視聴者等は自身の指定した移動体の追跡映像又はこれに搭載された撮像カメラの映像を見続けることができる。これにより、よりユーザフレンドリーなサービスの提供が可能となる。
【0072】
(6)例えばディジタル放送信号伝送方法等の信号伝送方法として、被写体である移動体から受信されたGPS位置情報と、撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成し、撮像カメラ別の被写体情報を、例えば対応するディジタル放送信号等の複数チャネルの映像信号を多重化して伝送される信号に多重化するものを提案する。
【0073】
かかるディジタル放送信号伝送方法を採用することにより、視聴者が移動体の識別情報を与えれば、視聴者が指定した移動体の追跡画面を楽しみながら番組を視聴可能なユーザフレンドリーなサービスを提供できる。
【0076】
【発明の実施の形態】
以下、上述の解決手段の実施形態例として、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【0077】
(1)ディジタル放送システム
(1−1)システム構成例
図1〜図4に、ディジタル放送システムの構成例を示す。図1と図2は、1次局から各視聴者に向けてディジタル放送信号を直接放送する形態の構成例である。これに対し、図3と図4は、1次局から放送されたディジタル放送信号を2次局内で一度蓄積後、又は、1次局から受信されたディジタル放送信号を2次局から各視聴者にディジタル放送信号を放送する形態の構成例である。なお、図1と図2の違い及び図3と図4の違いは、受信端末がインターネット網にアクセスして追加の情報を入手できるか否かである。
【0078】
図1〜図4に示す各図は、いずれも図5に示すようなサーキット場に設置された複数のアングル映像を同時放送する場合(すなわち、複数のチャネルを用いて行う放送を行う場合)を想定している。ここで、コース上を走行する各車両1には、GPS衛星2からのGPS信号を受信するためのGPS受信機3が搭載されているものとする。また、各GPS受信機で測量された車両位置(GPS情報(GPS位置情報(緯度、経度、必要に応じて高度)とGPS時間情報)は、車載のアンテナ4から1次局10のアンテナ(移動体別GPS情報受信部)12へ送信されるようになっている。このGPS情報を基に、1次局10は、各車両の現在位置、走行方向、速度などを把握できるようになっている。また、車両に撮像カメラが搭載されている場合には、その撮像信号もアンテナ4を通じて1次局10側に通知されるようになっている。
【0079】
1次局10側には、複数台の撮像カメラ11が接続されている。これら撮像カメラ11は、いずれもコース脇に設置された固定カメラである。もっとも、かかる同時放送を行わない場合には、撮像カメラ11は1台の場合もあり得る。撮像カメラ11と1次局10との接続は、ケーブル接続であっても良いし、無線回線を通じての接続でも良い。撮像カメラ11の位置情報は、当該カメラに搭載された又は近傍に配置されたGPS受信機より1次局10に与えられるものとする。
【0080】
このように、1次局には、車両1のGPS情報、撮像カメラ11の位置情報、撮像カメラ11の映像情報、車載カメラの映像情報等の情報が集まることになる。これらの情報を編集したものがディジタル放送信号として放送又は伝送される。因みに、複数台の撮像カメラ11を用意する場合でも、ディジタル放送信号が使用する帯域は、各撮像カメラの映像を編集した1チャンネル分のみである場合もあり得る。
【0081】
1次局10の他の詳細な構成は後述するが、この他、1次局10に搭載され得る機能としては、車両1の位置や撮像カメラ11の位置を地図上にマッピングするマッピング機能部13や、撮像カメラ11別の被写体情報を生成する被写体情報生成部14や、補助データとしてのドライバーやチームのプロファイル情報を生成するプロファイル情報生成部15がある。
【0082】
なお図1は、これら3つの機能部が全て1次局10内に存在する場合を表わしている。従って、図1の場合には、1次局10から送出されるディジタル放送データ中に、各撮像カメラの映像信号、車両1や撮像カメラ11の位置が地図上にマッピングされたマッピング地図情報、撮像カメラ別の被写体情報、プロファイル情報が多重されることになる。この構成の場合、受信機50は、これらの情報を自身の内部で生成する必要はなく、受信又は再生されたディジタル放送信号から分離して使用すれば良い。
【0083】
一方図2は、3つの機能部のうちマッピング機能部13と、プロファイル情報生成部15の2つのみを有する場合を表わしている。従って、図2の場合には、1次局10から送出されるディジタル放送データ中に、各撮像カメラの映像信号、車両1や撮像カメラ11の位置が地図上にマッピングされたマッピング地図情報、プロファイル情報が多重されることになる。かかる場合において、1次局10から放送されるディジタル放送信号中に撮像カメラ別の撮像範囲情報(図5において破線で囲んで示す情報。緯度や経度を用いて(必要に応じて高度も用いて)表わされる)と、各車両のGPS位置情報とが含まれていれば、受信機50側でカメラ別の被写体情報を生成することができ、特定の被写体の追跡表示を実現できる。また、受信機50は、プロファイル情報に埋め込まれているURL(Uniform Resource Locator)情報やメールアドレスを基に、通信回線を通じてインターネット網にあるデータベース70にアクセスできる機能が搭載されている。
【0084】
これに対し図3は、1次局10にプロファイル情報生成部15のみを設け、他の2つの機能については2次局30に設ける場合を表わしている。ここで、1次局と2次局の関係は、中継車とセンター局との関係の他、系列局とキー局との関係又はその反対の関係、放送局と蓄積型のオンデマンド放送サービス業者との関係などが考えられる。ただし、2次局30側でマッピング機能及びカメラ別被写体情報生成機能を実現するには、1次局10から出力されるディジタル放送信号中に車両1(移動体)のGPS位置情報や撮像カメラ11のGPS位置情報、撮像カメラ別の撮像範囲情報が含まれている必要がある。勿論、かかる機能を実行可能なマッピング機能部31と被写体情報生成部32が2次局30内にあることを前提とする。2次局30についての詳細構成も後述する。なお、2次局30内にプロファイル情報生成部33を設けることにより、2次局30側での固有の情報の付加も可能となる。
【0085】
また図4は、1次局10にマッピング機能部13が、2次局30にプロファイル情報生成部33が設けられている場合を表わしている。なお、特定の被写体を追跡するための機能は、2次局30から放送されるディジタル放送信号中に(ということは1次局10から送出されるディジタル放送信号中に)、各車両1(移動体)のGPS情報と撮像カメラ別の撮像範囲情報とが多重されていれば、受信機50側の機能にて実現可能である。
【0086】
以上、4つのシステム構成例を例示したが、発明が解決しようとする課題にて説明したように、その構成は必要とされる機能やシステムの特性に応じて種々の組み合わせが考えられる。
【0087】
(1−2)ディジタル放送信号送信装置(1次局)
図6に、1次局10として用いて好適なディジタル放送信号送信装置の構成例を示す。なお図6は、当該装置の主要な構成部分のみを機能的に表わしたものであり、その具体的な回路構成を拘束するものでない。
【0088】
図6の場合、1次局10は、撮像カメラ11(固定カメラであっても、可搬型の撮像カメラでも良い。また、移動体(車両1)に搭載した撮像カメラが存在する場合には、これも意味するものとする。)と、各移動体(車両1)からのGPS情報を受信する移動体別GPS情報受信部12と、マッピング地図情報を生成するマッピング部13と、撮像カメラ別の被写体情報を生成するカメラ別被写体情報生成部14と、プロファイル情報生成部15と、撮像カメラ11で撮像されたテレビジョン信号をMPEG方式その他の圧縮方式で圧縮符号化する符号化器(エンコーダー)16と、各データストリームや情報の多重化処理を実行する多重化部(MPX)17と、多重化部17の制御を行う制御部18と、地図情報を格納する地図データベース19と、撮像カメラ別の撮像範囲情報を保存する撮像範囲情報記憶部20と、多重化部17の多重化出力を伝送路(無線、有線を問わず。また、地上波、衛星波を問わない。)に送出するための送信部21とを有する。もっとも、図6に示す機能部の全てを搭載している必要はない。実際に搭載する機能の組み合わせは、適用するシステムに応じて異なる。
【0089】
なお、多重化部17は、図中上から順番に、撮像カメラ別の撮像範囲情報S1と、撮像カメラ別の被写体情報S2と、各移動体(車両1)のGPS情報(GPS位置情報、GPS時間情報)S3と、マッピング地図情報S4と、各撮像カメラのGPS情報(GPS位置情報、GPS時間情報)S5と、圧縮符号化された映像信号及び音声信号S6と、プロファイル情報S7とを入力し、制御部18の制御又は設定に従って、それらの任意の組み合わせでの多重化処理を実行し、ディジタル放送信号を生成する機能部として機能する。
【0090】
もっとも、撮像カメラ別の被写体情報S2を多重しない場合でも、視聴者が同等の機能を享受できるようにする上では、撮像カメラ別の撮像範囲情報S1と各移動体(車両1)のGPS情報(GPS位置情報、GPS時間情報)S3を多重するのが望ましい。また、マッピング地図情報S4を多重しない場合でも、視聴者が同等の機能を享受できるようにする上では、各移動体(車両1)のGPS情報S3及び又は各撮像カメラのGPS情報S5を多重するのが望ましい。
【0091】
なお、マッピング機能部13が、地図上に移動体の位置情報のみをマッピングするか否か、又は地図上に撮像カメラの位置情報のみをマッピングするか否かは1次局10を管理する運営者の判断による。
【0092】
また、カメラ別被写体情報生成部14は、被写体となる移動体(車両1)から受信されたGPS位置情報と、撮像カメラ別の撮像範囲情報(例えば、撮像範囲の四隅の緯度、経度の情報が与えられており、四隅を結ぶ線分の内側が撮像範囲として判別できるようになっている。)とをマッチングさせ、撮像範囲情報で指定されている領域に移動体が位置しているとき、当該移動体が現在被写体であることを示す情報を生成し、その反対に撮像範囲情報で指定されている領域に移動体が位置していないとき、当該移動体が現在被写体でないことを示す情報を生成する。
【0093】
この撮像カメラ別に各移動体について判断した結果が撮像カメラ別の被写体情報S2である。因みに、撮像範囲情報記憶部20に記憶される撮像カメラ別の撮像範囲情報は、撮像が開始される前におおよその情報が入力されるものとする。
【0094】
また、プロファイル情報生成部15が、文中にドライバーや選手に関連するホームページやメールアドレスへのリンク情報を挿入するか否かについても1次局10を管理する運営者の判断による。
【0095】
(1−3)ディジタル放送信号送信装置(2次局)
図7に、2次局30として用いて好適なディジタル放送信号送信装置の構成例を示す。なお図7は、当該装置の主要な構成部分のみを機能的に表わしたものであり、その具体的な回路構成を拘束するものでない。
【0096】
図7の場合、2次局10は、マッピング地図情報を生成するマッピング部31と、撮像カメラ別の被写体情報を生成するカメラ別被写体情報生成部32と、プロファイル情報生成部33と、1次局10から放送された又は伝送されたディジタル放送信号を受信する受信部34と、ディジタル放送信号をTSパケットに分離する分離部(DMPX)35と、分離されたTSパケットからTSストリームを合成する合成部36と、地図情報を格納する地図データベース37と、各データストリームや情報の多重化処理を実行する多重化部(MPX)38と、多重化部38の制御を行う制御部39と、ディジタル放送信号を蓄積する記憶部40と、受信機50側からの要求に応じ記憶部40から所望のディジタル放送信号を読み出すオンデマンド要求受信部41とを有する。もっとも、図7に示す機能部の全てを搭載している必要はない。実際に搭載する機能の組み合わせは、適用するシステムに応じて異なる。例えば、当該2次局30を蓄積型のオンデマンドサーバとして使用しないのであれば、記憶部40やオンデマンド要求受信部41は必要ない。
【0097】
なお、多重化部38は、図中上から順番に、TSストリームS11と、マッピング情報S12と、撮像カメラ別の被写体情報S13と、プロファイル情報S12とを入力し、制御部39の制御又は設定に従って、それらの任意の組み合わせでの多重化処理を実行し、ディジタル放送信号を生成する機能部として機能する。
【0098】
なお、マッピング部31が機能してマッピング地図情報S12を出力できる場合は、受信されたディジタル放送信号中に各移動体(車両1)のGPS情報及び又は各撮像カメラのGPS情報が多重されている場合又は別途これらの情報が与えられる場合である。また、撮像カメラ別の被写体情報を生成するカメラ別被写体情報生成部32が機能して撮像カメラ別の被写体情報S13を出力できる場合は、受信されたディジタル放送信号中に撮像カメラ別の撮像範囲情報と各移動体(車両1)のGPS情報とが多重されている場合である。
【0099】
また、プロファイル情報生成部33が、文中にドライバーや選手に関連するホームページやメールアドレスへのリンク情報を挿入するか否かについても2次局30を管理する運営者の判断による。
【0100】
(1−4)ディジタル放送信号受信装置
図8に、受信機50として用いて好適なディジタル放送信号受信装置の構成例を示す。なお図8は、当該装置の主要な構成部分のみを機能的に表わしたものであり、その具体的な回路構成を拘束するものでない。
【0101】
図8の場合、受信機50は、ディジタル放送信号を受信する受信部51(無線伝播路を経由して受信するか有線路を介して受信するかは問わない。)と、ディジタル放送信号をTSパケットに分離する分離部(DMPX)52と、分離されたTSパケットからTSストリームを合成する合成部53と、モード選択画面記憶部54と、マッピング部55と、カメラ別被写体情報生成部56と、ウインドウ合成部57と、ウインドウ合成部57の制御を行う制御部58と、リモートコントローラからの操作信号を受信する操作信号受信部59と、プロファイル情報に埋め込まれているURLやメールアドレスへのアクセスが要求されたとき、インターネット網へのアクセスを行うための通信部60と、映像出力部としてのモニタ61とを有する。もっとも、図8に示す機能部の全てを搭載している必要はない。実際に搭載する機能の組み合わせは、適用するシステムに応じて異なる。
【0102】
なお、ウインドウ合成部57は、モニタ61に出力するウインドウ画面を合成する。ここで、ウインドウ合成部53は、図中上から順番に、モード選択画面信号S21と、撮像カメラで撮像された映像信号S22と、マッピング地図情報S23(ディジタル放送信号に含まれていた場合)及びS25(受信機側で生成した場合)と、プロファイル情報S24と、ウェブ画像S26との合成を行う。それらをどのように合成して表示させるかは、視聴者の選択による。
【0103】
なお、マッピング部55が機能してマッピング地図情報S25を出力できる場合は、受信されたディジタル放送信号中に各移動体(車両1)のGPS情報及び又は各撮像カメラのGPS情報が多重されている場合や別途これらの情報が与えられる場合である。また、撮像カメラ別の被写体情報を生成するカメラ別被写体情報生成部56が機能して撮像カメラ別の被写体情報S27を出力できる場合は、受信されたディジタル放送信号中に撮像カメラ別の撮像範囲情報と各移動体(車両1)のGPS情報とが多重されている場合である。
【0104】
因みに、撮像カメラ別被写体情報生成部56が生成した撮像カメラ別の被写体情報S27は制御部58に与えられる。これは、制御部58において、特定の被写体を追跡表示する機能を実現するためである。
【0105】
図9に、制御部58が提供する被写体追跡機能を機能ブロックにより表わす。なお、図9は機能構成を概略的に表したものである。因みに、この機能はソフトウェア上の処理だけでなく、ハードウェア上の機能としても実現できる。図9では、制御部58により実現されるソフトウェア上の機能を、特定被写体追跡機能部58Aで表わす。
【0106】
特定被写体追跡機能部58Aは、視聴者が特定の移動体を被写体として追跡表示するモードが選択されたことを確認し、追跡すべき移動体の情報を受付けると、その識別情報と撮像カメラ別被写体情報生成部56が生成した撮像カメラ別の被写体情報S27とのマッチングを行い、指定された移動体を被写体として含む撮像カメラが存在するか判別する。
【0107】
ここで、当該移動体を被写体として含む撮像カメラが存在する場合には当該撮像カメラの映像がモニタ61上に表示されるように選択指示を出す。図9では、ウインドウ合成部57のかかる機能をメイン画面選択出力部57Aと表わしている。
【0108】
また、特定被写体追跡機能部58Aは、ディジタル放送信号中に移動体に搭載された撮像カメラからの映像が含まれている場合、どの固定カメラにも指定された移動体が被写体になっていない間、追跡すべき移動体に搭載されている撮像カメラの映像を画面上に表示させるような切り替え指示を与える。当該機能を設けることにより、視聴者は、固定カメラの映像と移動体に搭載されたカメラの映像とによって、注目する移動体に関する映像を十分に満喫することが可能となる。
【0109】
もっとも、移動体に撮像カメラが搭載されていない場合には、特定被写体追跡機能部58Aは、移動体の進行方向から次に当該移動体が被写体となる撮像カメラを予測しておき、移動体を被写体とする撮像カメラが存在しない間、当該予測した撮像カメラに切り替えるようにする。この機能によれば、移動体の進行方向とは無関係に設定されたデフォルト画像が表示される場合よりも違和感のない追跡画像を表示できる。
【0110】
また、制御部58は、視聴者からの操作信号からプロファイル情報に埋め込まれているURLやメールアドレスへアクセスが要求されていると判断した場合、指定されたURLへ通信部60を介してアクセスする。なお、ダウンロードされたウェブ画像は通信部60からウインドウ合成部57に与えられ、画面上に合成表示される。また、メールアドレスへのアクセス要求があった場合には、メールの作成画面を画面上に表示し、入力されたメールを通信部60からインターネット網上に送信する。
【0111】
(1−5)データベースの構成
図10に、データベース70の構成例を示す。なお、図10は、データベースの主要な構成部分のみを機能的に表わしたものである。
【0112】
図10の場合、データベース70は、通信部71と、データベース検索部72と、記憶部73とを有する。ここで、データベース検索部72は、指定されたURLにアクセスして格納されているウェブ画像をダウンロードするための手段である。なお、このデータベース70は、1次局10や2次局30の事業者が運営していても良いし、その他の事業者が運営しているものでも良い。
【0113】
もっとも、1次局10や2次局30の事業者であれば、図10に示すように、通常ウェブ画像73Aの他にディジタル放送用のウェブ画像73Bを用意することができる。ここで、ディジタル放送用のウェブ画像73Bとは、ウェブ画像がディジタル放送番組の視聴に支障がないように補助画面(全面表示でなく、また画面の大部分を用いない表示。一般には、分割画面として表示される。)に表示されることを想定して、文字や画像の視認性を向上するために大き目のフォントや画像の配置を工夫したものである。
【0114】
かかるディジタル放送用のウェブ画像73Bを用意することで、視聴者の視認性は格段に向上し、当該機能を意味あるものとできる。なお、これらの情報をPDAや携帯電話機に提供する場合には各ブラウザ端末用のウェブ画像を用意したり、変換ソフトを用意する。
【0115】
(2)表示画面例
図11〜図13に、モード選択画面やプロファイル情報等の表示例を示す。なお、これらの画面例はサーキット場で開催されるカーレースの模様を放送する番組を想定したものである。
【0116】
図11は、リモートコントローラ等によりモード選択が選択された場合に表示される画面例である。この画面の情報はモード選択画面記憶部54に記憶されている。前述のように図11はカーレース用のものであるが、各イベントに適した選択ボタンが表示されるように複数種類のモード選択画面情報がモード選択画面記憶部54に記憶されていることが望ましい。もっとも、これらのモード選択画面についても、番組を提供する事業者側が用意してディジタル放送信号に多重して送信する形態を採ることも可能である。この場合、番組の内容に適したボタン類を用意できるため、視聴者の操作性は向上する。
【0117】
モード選択画面におけるモード項目80の表示位置については、図11の場合、映像表示を妨げないように、ボタン状のモード項目80が画面の下欄に表示されている。勿論、これらの表示位置は画面の上欄でも良いし、左側でも良いし、右側でも良い。また、画面の中央に表示されても良い。
【0118】
図11で用意されているモード項目80は、マップ81と、ドライバー82と、カメラ83と、プロファイル84の4つである。ここで、マップ81は、画面上の所定領域(図12の場合は、画面の右側領域)に、移動体や撮像カメラの位置を地図上にマッピングした画面を表示させるのに使用する項目である。ドライバー82は、特定の車両を追跡表示させるために用意された項目であり、この項目が選択された場合には、モニタ61に出力される撮像カメラの映像が自動的に切り替えられる。カメラ83は、特定の固定カメラで撮像された映像を選択的に表示させるために用いられるボタンである。移動体や撮像カメラの位置を地図上で確認した上で、希望の映像を選択したい場合に便利である。プロファイル84は、ドライバーや車両に関する情報であって番組提供者が事前にディジタル放送信号に多重してあるものを見るのに使用されるボタンである。
【0119】
図12は、これらモード項目が選択された場合の表示例を表わしている。図12の場合、画面上には、主画面として選択されたチャンネルの映像85と、移動体である車両や撮像カメラの位置を地図上にマッピングしたマッピング画面86と、各車両のラップタイムや速度その他のタイムデータや、個人の戦績その他の個人情報を内容とするプロファイル画面87とが表示されている。
【0120】
このような画面の表示が可能なことにより、視聴者は同時に配信されてくる複数のチャネル画面を自由に切り替えて楽しめるだけでなく、必要な情報を入手したり、移動体や撮像カメラの位置関係など現場の様子を理解することができる。また、かかる理解を前提として、適切なタイミングで適切な位置で撮像された画像を選択したり、好みの方向の映像を迷うことなく選択することができる。因みに、ドライバーや撮像カメラの特定方法としては各項目にぶら下がっている選択項目の中から選ぶ方法の他、画面上にカーソルを表示してそのカーソルで特定(クリック)したものを選択する方法が考えられる。
【0121】
なお、プロファイル情報に関しては、階層的に用意されるのが一般的と考えられる。例えば、図12の画面上で▲1▼のドライバー又は車両のより詳細な情報を知りたいとの操作入力があった場合、受信機50は、図13に示すように、これにリンクされている情報を読み出して画面上に表示する。この画面で表示される内容も番組を提供する事業者側から提供される。
【0122】
ところで、視聴者によってはさらに詳しい情報や関連する情報を知りたい場合がある。このような視聴者のために、必要とする情報に簡単にアクセスできるように各移動体に関するURL88やメールアドレスを89プロファイル情報内に埋め込んでおけば、視聴者はリモートコントローラ等で当該項目を選択するだけで必要な情報を入手し、画面上に表示することができる。
【0123】
なお、このとき受信機50は、通信回線を介してインターネット網に接続し、必要な情報をダウンロードして画面上に表示する。一般には、番組放送の視聴の妨げとならないように、インターネットを通じて取得した情報はプロファイル情報の表示欄に重ねて表示する。このとき、URL88で指定されたウェブ画像がかかるディジタル放送画面での表示用に用意されたものである場合には、文字や図が比較的大きなフォントとレイアウトで表示されるため、分割画面での表示でも比較的見やすい表示とできる。
【0124】
(3)実施形態の効果
以上の実施形態によれば、マッピング機能、カメラ別被写体情報生成機能、プロファイル表示機能が設けられていることにより、これらの機能がいずれの場所で実行されるかにかかわらず、視聴者にとって一段と使い勝手の良いものとできる。
【0125】
例えば、移動体(この例では車両)や撮像カメラの位置を地図上で確認できるため、その位置関係を理解した上で放送内容を視聴することができる。また、このことから見たい映像を直接的に(すなわち、チャンネルを実際に切り替えてみるのではなく)指定し視聴することができる。
【0126】
また、受信機側でどの撮像カメラにどの移動体が被写体として撮像されているかの情報を把握できるようになっているため、視聴者は特定の移動体を指定するだけで指定された移動体の追跡画面を視聴できる。
【0127】
また、これらの画面で同時に各移動体に関するプロファイル情報の確認も可能となるため、放送番組を様々な観点から楽しむことが可能となる。さらにはインターネット上にある情報とのリンクも実現できるため、視聴者の要求に十分応えることができる。
【0128】
(4)他の実施形態
上述の実施形態においては、図5に示すように、サーキット場で開催されるカーレースを前提に説明したが、すでに述べたように適用可能な放送番組は、イベント番組やスポーツ番組のように被写体が移動する場合や被写体が広範囲に散在する場合(例えば、スポーツイベント(例えば、マラソン、競泳、格闘技)、モータスポーツ(例えば、自動車、バイク、自転車)、競馬、マリンスポーツ(例えば、ヨットレース、ボートレース、ダイビング)、コンサートの中継番組、現場での取材番組(例えば、リポーターを被写体とする場合)等)と広範囲に及ぶ。従って、各場合には上述の実施形態で説明したドライバーを選手やレポーター、アーティストに、車両をバイクやヨット等に読み替えて適用すれば良い。
【0129】
【発明の効果】
(1)請求項1に記載の発明によれば、撮像カメラ別の被写体情報が例えばディジタル放送信号等の伝送される信号に含まれるため、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別可能とできる。また、特定の被写体のみを画面上に表示させるといった応用も可能とできる。
【0130】
(2)請求項2に記載の発明によれば、撮像カメラ別の被写体情報が例えばディジタル放送信号等の伝送される信号に含まれない場合でも、これを生成して多重できるため、伝送される信号の付加価値をより高めることができる。
【0131】
(3)請求項3に記載の発明によれば、例えば受信又は再生されたディジタル放送信号等の伝送される信号から撮像カメラの被写体情報を生成できるため、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別可能とできる。
【0132】
(4)請求項4に記載の発明によれば、視聴者又は操作者が指定した被写体の移動に伴って、当該被写体を追跡するようにカメラ映像が自動的に切り替わる映像を得ることができる。
【0133】
(5)請求項5に記載の発明によれば、視聴者又は操作者が指定した被写体を撮像するカメラ映像がない期間、被写体である移動体に搭載された撮像カメラの映像を自動的に挿入でき、関連性の高い映像を自動作成できる。
【0134】
(6)請求項6に記載の発明によれば、撮像カメラ別の被写体情報が例えばディジタル放送信号等の伝送される信号に含まれるため、どの撮像カメラでどの移動体が被写体として撮像されているかを容易に判別可能とできる。また、特定の被写体のみを画面上に表示させるといった応用も可能とできる。
【図面の簡単な説明】
【図1】ディジタル放送システムの第1の構成例を示す図である。
【図2】ディジタル放送システムの第2の構成例を示す図である。
【図3】ディジタル放送システムの第3の構成例を示す図である。
【図4】ディジタル放送システムの第4の構成例を示す図である。
【図5】撮像対象の具体例と撮像カメラの撮像範囲の説明に供する図である。
【図6】ディジタル放送信号送信装置を1次局に使用する場合の機能ブロック構成図である。
【図7】ディジタル放送信号送信装置を2次局に使用する場合の機能ブロック構成図である。
【図8】ディジタル放送信号受信装置の機能ブロック構成図である。
【図9】特定被写体追跡機能の機能ブロック構成図である。
【図10】データベースの構成例を示す図である。
【図11】モード選択画面例を示す図である。
【図12】マルチ画面表示例(選択チャンネルの映像、マッピング地図情報、プロファイル情報)を示す図である。
【図13】詳細なプロファイル情報が表示された状態を示す図である。
【符号の説明】
1 車両、2 GPS衛星、3 GPS受信機、4 アンテナ、10 1次局、11 撮像カメラ、12 GPS情報受信部、13 マッピング機能部、14被写体情報生成部、15 プロファイル情報生成部、16 符号化器、17 多重化部、18 制御部、19 地図データベース、20 撮像範囲情報記憶部、21 送信部、30 2次局、31 マッピング機能部、32 被写体情報生成部、33 プロファイル情報生成部、34 受信部、35 分離部、36 合成部、37 地図データベース、38 多重化部、39 制御部、40 記憶部、41 オンデマンド要求受信部、50 受信機、51 受信部、52 分離部、53 合成部、54 モード選択画面記憶部、55 マッピング部、56 カメラ別被写体情報生成部、57 ウインドウ合成部、58 制御部、59 受信部、60 通信部、61 モニタ、70 データベース、71 通信部、72 データベース検索部、73 記憶部。
Claims (6)
- 被写体である移動体から受信されたGPS位置情報と、撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部と、
上記撮像カメラ別の被写体情報を、複数チャネルの映像信号を多重化して伝送される信号に多重化する多重化処理部とを備える
伝送信号処理装置。 - 複数チャネルの映像信号を多重化して伝送される信号から被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報とを分離して、被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部と、
上記撮像カメラ別の被写体情報を、上記伝送される信号に多重化する多重化処理部とを備える
伝送信号処理装置。 - 複数チャネルの映像信号を多重化して伝送される信号から被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報を分離する分離部と、
被写体である移動体のGPS位置情報と撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する撮像カメラ別被写体情報生成部とを備える
伝送信号処理装置。 - 視聴者又は操作者が指定した被写体の識別情報と、複数チャネルの映像信号を多重化して伝送される信号から分離された、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報とのマッチングを行い、一致する撮像カメラが存在する場合、当該撮像カメラに対応する映像を画面上に表示させる被写体追跡機能部を備える
伝送信号処理装置。 - 上記伝送される信号に、被写体である移動体に搭載された撮像カメラで撮像された映像が多重されている場合、上記被写体追跡機能部は、視聴者が指定した移動体を被写体とする撮像カメラが存在しない間、当該移動体に搭載された撮像カメラで撮像された映像を画面上に表示させる
請求項4記載の伝送信号処理装置。 - 被写体である移動体から受信されたGPS位置情報と、撮像カメラ別の撮像範囲情報とをマッチングさせ、撮像カメラ別に、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置しているとき当該移動体が現在被写体であることを示し、当該撮像カメラの撮像範囲情報で指定されている領域に上記移動体が位置していないとき当該移動体が現在被写体でないことを示す情報である撮像カメラ別の被写体情報を生成する処理と、
上記撮像カメラ別の被写体情報を、複数チャネルの映像信号を多重化して伝送される信号に多重化する処理とを備える
信号伝送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001161656A JP4759851B2 (ja) | 2000-07-13 | 2001-05-30 | 伝送信号処理装置及び信号伝送方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000213256 | 2000-07-13 | ||
JP2000213256 | 2000-07-13 | ||
JP2000-213256 | 2000-07-13 | ||
JP2001161656A JP4759851B2 (ja) | 2000-07-13 | 2001-05-30 | 伝送信号処理装置及び信号伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002094952A JP2002094952A (ja) | 2002-03-29 |
JP4759851B2 true JP4759851B2 (ja) | 2011-08-31 |
Family
ID=26595997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001161656A Expired - Fee Related JP4759851B2 (ja) | 2000-07-13 | 2001-05-30 | 伝送信号処理装置及び信号伝送方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4759851B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005266520A (ja) * | 2004-03-19 | 2005-09-29 | Olympus Corp | 撮像装置および撮像方法 |
JP2006174124A (ja) * | 2004-12-16 | 2006-06-29 | Nec Commun Syst Ltd | 映像配信再生システム、映像配信装置及び映像再生装置 |
JP2006352383A (ja) * | 2005-06-14 | 2006-12-28 | Onepass:Kk | 中継プログラムおよび中継システム |
JP2007142925A (ja) * | 2005-11-21 | 2007-06-07 | Nec Corp | 動画提供システム、サーバ、端末、画像提供方法及びプログラム |
JP4840814B2 (ja) * | 2006-11-22 | 2011-12-21 | 本田技研工業株式会社 | サポートナビゲータシステム |
JP5235492B2 (ja) * | 2008-05-15 | 2013-07-10 | シャープ株式会社 | 映像受信装置、映像配信システム及びプログラム |
JP5081804B2 (ja) * | 2008-12-25 | 2012-11-28 | 株式会社日立製作所 | 移動対象物の順位を示す表示システム |
EP2457181A4 (en) * | 2009-07-24 | 2013-01-23 | Digimarc Corp | IMPROVED AUDIO / VIDEO PROCESSES AND SYSTEMS |
JP5915558B2 (ja) * | 2013-01-30 | 2016-05-11 | カシオ計算機株式会社 | 画像選択装置、画像選択方法、画像配信システム及びプログラム |
JP6002191B2 (ja) * | 2014-10-06 | 2016-10-05 | 株式会社ユニモト | 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム |
EP3145199A4 (en) | 2014-05-16 | 2018-04-25 | Unimoto Incorporated | 360-degree video-distributing system, 360-degree video distribution method, image-processing device, and communications terminal device, as well as control method therefor and control program therefor |
JP6909513B2 (ja) * | 2018-10-29 | 2021-07-28 | みこらった株式会社 | スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末 |
JP7358078B2 (ja) * | 2019-06-07 | 2023-10-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及び、プログラム |
JP7338514B2 (ja) * | 2020-03-04 | 2023-09-05 | コベルコ建機株式会社 | 作業支援サーバ、作業支援方法 |
JP7105501B2 (ja) * | 2020-10-23 | 2022-07-26 | みこらった株式会社 | 競技観戦システム、競技観戦システムの映像収集提供装置及び映像収集提供装置用プログラム |
WO2022259322A1 (ja) * | 2021-06-07 | 2022-12-15 | 日本電信電話株式会社 | 表示制御装置、表示制御方法、及びプログラム |
WO2022259339A1 (ja) * | 2021-06-07 | 2022-12-15 | 日本電信電話株式会社 | 表示制御装置、表示制御方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3225434B2 (ja) * | 1996-04-23 | 2001-11-05 | 重之 山口 | 映像提示システム |
-
2001
- 2001-05-30 JP JP2001161656A patent/JP4759851B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002094952A (ja) | 2002-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100835453B1 (ko) | 디지털 방송 신호 처리 장치 및 디지털 방송 신호 처리 방법 | |
JP4759851B2 (ja) | 伝送信号処理装置及び信号伝送方法 | |
JP3725134B2 (ja) | 移動通信システム、移動通信端末、及びプログラム。 | |
US8477227B2 (en) | Monitoring and communication in a system having multiple imaging apparatuses | |
CN105165013B (zh) | 具有个性化内容的移动设备 | |
US6275529B1 (en) | Method of and apparatus for transmitting news data with script | |
KR101128848B1 (ko) | 멀티 앵글 모바일 방송 서비스를 제공하는 서버, 시스템 및방법 | |
EP1493994B1 (en) | Car navigation system | |
JP4548297B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2003199078A (ja) | イベントに関係した映像ストリームをイベントに居合わせている観客へ送信する伝送システム | |
JP2001333348A (ja) | 送信装置、受信装置、放送システムおよび放送方法 | |
JP3752443B2 (ja) | 移動受信機 | |
US20130117798A1 (en) | Augmenting content generating apparatus and method, augmented broadcasting transmission apparatus and method, and augmented broadcasting reception apparatus and method | |
JP2001155289A (ja) | 情報通信システムおよび方法 | |
JP2002228466A (ja) | ナビゲーション装置 | |
JP2004064511A (ja) | レース中継システム | |
JP3651748B2 (ja) | ディジタル放送システムの端末装置 | |
JP3994087B2 (ja) | 放送チューナ、放送システム、プログラム及び記録媒体 | |
JP3989198B2 (ja) | ビデオプリントシステムおよび受信装置 | |
JP2001111503A (ja) | 放送システム | |
JP3641136B2 (ja) | ディジタル放送システムとその端末装置 | |
JP2006148960A (ja) | 受信装置 | |
JP4018588B2 (ja) | 衛星放送システムと衛星放送受信装置 | |
JPH0951513A (ja) | Isdb用送信装置およびその受信装置 | |
TWI305091B (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080218 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081222 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110523 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |