JP2008263404A - 受信装置および受信方法 - Google Patents

受信装置および受信方法 Download PDF

Info

Publication number
JP2008263404A
JP2008263404A JP2007104625A JP2007104625A JP2008263404A JP 2008263404 A JP2008263404 A JP 2008263404A JP 2007104625 A JP2007104625 A JP 2007104625A JP 2007104625 A JP2007104625 A JP 2007104625A JP 2008263404 A JP2008263404 A JP 2008263404A
Authority
JP
Japan
Prior art keywords
value
content data
time information
count value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007104625A
Other languages
English (en)
Inventor
Takuma Aoyama
拓磨 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007104625A priority Critical patent/JP2008263404A/ja
Publication of JP2008263404A publication Critical patent/JP2008263404A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】タイムスタンプ値が不連続となったコンテンツであっても、なめらかに再生することを可能とする。
【解決手段】制御部19は、レジスタ部25に格納されているタイムスタンプ値STMとカウント値CLKとを比較し、両者が一致する場合に、所定のデータ単位例えば1パケットをコンテンツバッファ24からデマルチプレクサ13に対して出力するように、タイミングを制御する。STMとCLKの差がしきい値THより大であると判定されると、クロック値CLKがタイムスタンプ値STMに強制的に一致される。CLK=STMとされるので、コンテンツバッファ24からデマルチプレクサ13に対して直ちにコンテンツデータが出力される。
【選択図】図2

Description

この発明は、ネットワーク上の蓄積部に蓄積されているコンテンツデータを受信して再生するのに使用される受信装置および受信方法に関する。
コンテンツデータ例えばMPEG2(Moving Picture Experts Group Phase 2)で符号化された映像データと音声データを多重化したファイルを伝送する場合に、タイムスタンプ付きトランスポートストリーム(以下、タイムスタンプ付きTSと適宜称する)の形式が使用される。タイムスタンプは、例えばトランスポートストリームのパケット毎に付加され、タイムスタンプが付加されたコンテンツデータの再生のタイミングを制御するための時間情報である。
タイムスタンプ付きTSを受信した受信装置は、基準クロックをカウントするカウンタを備えている。受信したトランスポートストリームから分離したタイムスタンプの値と、カウンタのカウント値とが一致する場合に、当該トランスポートストリームの映像および音をデコーダに対して出力するようになされている。サービスの保証がないネットワーク上にあるコンテンツデータをベストエフォート型で取得する場合、受信したデータをそのままデコーダに供給すると、正常な再生がされない場合が生じうるので、タイムスタンプを付加してデータを伝送することがなされる。
例えば下記特許文献1には、復号処理部と表示制御部とを独立させ、復号処理部からの復号画像をバッファに蓄積し、バッファ内の画像を表示制御部に供給する構成とし、表示を一定時間間隔で更新しながら、復号が間に合わないときには、フレームを間引き、復号が速いときには復号を停止することが記載されている。
特開平10−13794号公報
特許文献1に記載のものは、タイムスタンプ付きTSにおける問題点、すなわち、付加されているタイムスタンプの値が不連続の場合にその不連続の箇所において、正常に映像・音声が出力されない問題を解決するものではなかった。タイムスタンプの不連続は、二つのコンテンツを編集によって接続した場合のエラー、ネットワークにおける遅延によるエラー等によって生じる。タイムスタンプが不連続な箇所では、カウンタのカウント値が分離されたタイムスタンプ値に等しくなるまでの期間、画像が出力されず、黒い画面が表示されてしまう問題があった。
したがって、この発明の目的は、受信したストリームに付加されているタイムスタンプが不連続の場合であっても、黒い画面が表示されることを回避することが可能な受信装置および受信方法を提供することにある。
上述した課題を解決するために、この発明は、ネットワーク上に存在する蓄積部からコンテンツデータを受信して再生する受信装置において、
コンテンツデータは、該コンテンツデータを再生するタイミングを制御するための時間情報を有し、
基準クロックによってカウントを行うカウンタと、
受信したコンテンツデータを復号する復号部と、
受信したコンテンツデータから分離した時間情報の値と、カウンタのカウント値とが一致する場合に、コンテンツデータを出力する出力部と、
受信したコンテンツデータから分離した時間情報の値と、カウント値との差を求め、求められた差をしきい値と比較し、差がしきい値より小なる場合には、カウント値を順次変化させて時間情報の値と、カウント値とを一致させ、差がしきい値より大なる場合には、カウント値を強制的に時間情報の値と一致させる制御部と
を有する受信装置である。
この発明は、ネットワーク上に存在する蓄積部から、該コンテンツデータを再生するタイミングを制御するための時間情報を有するコンテンツデータを受信するステップと、
受信したコンテンツデータから時間情報を分離するステップと、
基準クロックをカウントすることによって生成したカウント値を取得するステップと、
分離された時間情報の値とカウント値との差を求め、求められた差をしきい値と比較するステップと、
差がしきい値より小の場合に、分離された時間情報の値と一致するように、カウント値を順次変化させるステップと、
差がしきい値より大の場合に、カウント値を分離された時間情報の値に強制的に一致させるステップと、
分離された時間情報の値とカウント値とが一致する場合に、コンテンツデータを出力するステップと
を有する受信方法である。
この発明は、編集によってタイムスタンプ値が不連続となったコンテンツであっても、受信装置において、黒い画面が出力されず、なめらかに再生することができる。また、多少のネットワーク遅延が発生するような環境下においても、受信装置において、なめらかに再生することができる。
以下、図面を参照してこの発明の一実施の形態について説明する。図1は、一実施の形態による受信装置3の全体的構成を示す。受信装置3は、地上ディジタルテレビジョン放送を受信することが可能な構成を有している。アンテナ11で受信されたRF信号がフロントエンド部12に供給される。地上ディジタル放送受信装置の場合では、フロントエンド部12は、アンテナ11から入力される放送信号から、所定のUHFチャンネルを選択し、直交復調、FFT、デインターリーブ、ビタビ復号、トランスポートストリームの再生等の処理を行い、トランスポートストリームをデマルチプレクサ13に出力する。
デマルチプレクサ13は、フロントエンド部12から出力されるトランスポートストリームから、番組の音声および映像に相当するAV信号を分離してMPEG(Moving Picture Experts Group)のビデオデコーダ14およびオーディオデコーダ15に出力する。また、デマルチプレクサ13は、トランスポートストリームから、EPG(Electorical Program Guide)、基本データ等のデータ信号を分離して、バス18を介して制御部19に出力する。さらに、デマルチプレクサ13は、後述するように、ベストエフォート型で受信されたネットワーク2上のオーディオ・ビジュアルコンテンツ(以下、単に、AVコンテンツと称する)を分離してビデオデコーダ14およびオーディオデコーダ15に供給する。
ビデオデコーダ14は、デマルチプレクサ13から入力されたビデオ信号をデコードし、その結果得られる映像信号を表示部(例えばLCD(Liquid Crystal Display) 、PDP(Plasma Display Panel)等のFPD(Flat Panel Display))16に対して供給して再生する。オーディオデコーダ15は、デマルチプレクサ13から入力されたオーディオ信号をデコードし、その結果得られるオーディオ信号をオーディオ出力部(例えばアンプおよびスピーカ)17に対して供給して再生する。なお、この発明は、表示部を備えていない受信装置に対しても適用できる。さらに、通常のテレビジョン受信機の構成に限らず、フロントエンド部を内蔵またはチューナカードとして備えるノート型パーソナルコンピュータ、1セグメント放送を受信するための携帯端末、携帯電話等に対してもこの発明を適用することができる。
制御部19は、CPU(Central Processing Unit)によって構成され、ユーザ操作を受
け付けて対応する操作コマンドを生成する操作入力部20、制御用プログラムが記憶されているROM(Read Only Memory)21、および各種のデータを記憶するRAM(Random Access Memory)22が接続されている。制御部19は、ROM21に記憶されたプログラムやデータを必要に応じて読み出し、RAM22をワークメモリとして用いながら、バス18を介して受信装置3の各部を制御する。また、制御部19には、バス18を介して、通信部23が接続されている。
操作入力部20は、リモートコントローラからの信号を受信して復号する受信部や受信装置の筐体外面等に設けられる操作ボタン等から成り、ユーザの操作を受け付けて、対応する操作信号を制御部19に出力する。通信部23は、例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)等に基づき、ネットワーク2上の蓄積部1
と所定のデータを通信する。
ネットワーク2は、インターネット、LAN(Local Area Network)等である。具体的には、家庭内LAN例えばDLNA(Digital Living Network Alliance)に基づくホーム
LANを介して家庭内サーバとしての蓄積部1と通信可能に構成されている。また、ネットワーク2は、有線、無線の何れの接続であっても良い。蓄積部1からのAVコンテンツは、トランスポートストリームの形態で受信装置に受信される。この場合、タイムスタンプ付きTSの形態で、AVコンテンツが蓄積部1から受信装置に対して送信される。
タイムスタンプ付きTSは、MPEG1/2/4の映像と音声を多重化したファイルを伝送するために使用される。図3に示すように、188バイト固定長の例えばMPEG2トランスポートストリームパケットの先頭に4バイト(32ビット)の時間情報としてのタイムスタンプが付加される。タイムスタンプは、初期値から順次インクリメントする値である。
上述した受信装置3において、蓄積部1からAVコンテンツを受信するための構成を図2を参照してより詳細に説明する。ネットワーク2およびネットワークインターフェースとしての通信部23を介してAVコンテンツがタイムスタンプ付きTSの形態で受信される。
受信されたAVコンテンツを格納するためのコンテンツバッファ24が備えられている。制御部19によって、コンテンツバッファ24に格納されたコンテンツからタイムスタンプ値STMが分離され、レジスタ部25に分離されたタイムスタンプ値STMが保持される。コンテンツバッファ24は、受信したストリームを一時的に蓄え、制御部19の指示するタイミングでもって、ストリームのパケットをデマルチプレクサ13に対して出力する。コンテンツバッファ24から出力されるパケットは、タイムスタンプを有しないものである。デマルチプレクサ13は、パケットのIDに基づいて分離したパケットをビデオデコーダ14またはオーディオデコーダ15に対して出力する。一例として、デマルチプレクサ13より後の構成は、受信されたテレビジョン信号の処理と共通とされている。なお、簡単のため、テレビジョン信号と受信したストリームとを切り替える処理、システムデータの処理等については、その説明を省略する。
受信装置3は、内部に所定周波数例えば27MHzのクロックを発生する安定なクロック発生器26を有し、発生されたクロックをカウンタ27がカウントする。カウンタ27が初期値からカウント動作を行い、カウンタ27のカウント値CLKが制御部19によってレジスタ部25に格納される。
制御部19は、レジスタ部25に格納されているタイムスタンプ値STMと、カウント値CLKとを比較し、タイムスタンプ値CLKに一致する1パケットをコンテンツバッファ24からデマルチプレクサ13に対して出力するように、タイミングを制御する。
デマルチプレクサ13によって分離されたビデオデータがビデオデコーダ14において復号され、復号されたビデオ信号が表示部16において表示される。また、デマルチプレクサ13によって分離されたオーディオデータがオーディオデコーダ15において復号され、復号されたオーディオ信号がオーディオ出力部17によって再生される。
図4のフローチャートを参照してこの発明の一実施の形態の動作について説明する。このフローチャートに示される制御は、受信装置3の制御部19によってなされ、受信データの所定長例えばパケット毎に繰り返される。コンテンツバッファ24に蓄積されているデータ量が監視されており、データ量が不足することが検出されると、新たなコンテンツデータがネットワーク2を介して蓄積部1から取得される。この処理がファイルの終端を示すEOF(End Of File)が検出されるまで繰り返される。最初のステップS1において
、蓄積部1に蓄積されているAVコンテンツをネットワーク2を介して取得し、コンテンツバッファ24に格納する。なお、所望のAVコンテンツを選択的に受信するために、蓄積部1に蓄積されているAVコンテンツのリストを表示し、リストの中で所望のAVコンテンツを指定し、指定されたAVコンテンツが蓄積部1から受信装置3に対して配信されるように制御するユーザーインターフェースが提供される。また、AVコンテンツのタイムスタンプ付きTSには、コンテンツデータと、コンテンツ管理用のデータとの両方が含まれている。
ステップS2において、コンテンツバッファ24に格納されたAVコンテンツからタイムスタンプ値STMが分離され、レジスタ部25に保持される。ステップS3において、カウンタ27が発生するクロック値CLKが取得され、取得されたクロック値CLKがレジスタ部25に格納される。
ステップS4において、タイムスタンプ値STMとクロック値CLKとの差(STM−CLK)がしきい値THより大であるか否かが判定される。一例として、差の絶対値が使用される。クロック値CLKがタイムスタンプ値STMに一致するまで、クロック値CLKを変化(インクリメント)させる間、画像および音声がコンテンツバッファ24から出力されない。(STM−CLK)がしきい値THより小である場合は、この出力がされない期間の長さが許容できる程度短くなるようにしきい値THが設定されている。
ステップS4において、(STM−CLK)がしきい値THより小であると判定されると、ステップS5において、差をなくすようにクロック値CLKがインクリメントされる。若し、STM=CLKであれば、クロック値CLKは、インクリメントされないように制御される。ステップS6において、(CLK=STM)であるか否かが判定される。そうでない場合には、再びステップS5において、クロック値CLKがインクリメントされる。
ステップS6において、(CLK=STM)であると判定されると、ステップS7において、画像および音声がコンテンツバッファ24からデマルチプレクサ13に対して出力される。そして、ビデオデコーダ14およびオーディオデコーダ15によって、ビデオ信号およびオーディオ信号が復号され、表示部16で再生画像が表示され、オーディオ出力部17によってオーディオが再生される。
ステップS4において、(STM−CLK)がしきい値THより大であると判定されると、ステップS8において、クロック値CLKがタイムスタンプ値STMに強制的に一致される。例えば制御部19によって、カウンタ27に対してタイムスタンプ値STMがプリセットされる。また、ソフトウェア処理において、オフセット値を設定することで、強制的に両者を一致させても良い。CLK=STMとされるので、ステップS7において、画像および音声がコンテンツバッファ24からデマルチプレクサ13に対して出力される。そして、ビデオデコーダ14およびオーディオデコーダ15によって、ビデオ信号およびオーディオ信号が復号され、表示部16で表示され、オーディオ出力部17にて再生される。
この発明の一実施の形態におけるステップS8((CLK=STM)とする)によって、映像および音声が再生されるまでの時間がかかり、黒の画面が表示され、音声が聞こえなくなる期間が生じることを防止することができる。
理解を容易とするために、単純な例で説明すると、ネットワーク2を介して受信したトランスポートストリームのタイムスタンプ値STMが(1,2,3,10,5,・・・)のように、不連続が存在している場合、クロック値CLKが(1,2,3,・・・)と変化した場合、(STM−CLK)が(0,0,0,7)となる。タイムスタンプ値STM=10は、正しくは、4であるべきものがエラーにより10となった例である。例えば(TH=5)に設定されている場合、(STM−CLK=7)がしきい値THより大と判定される。
その結果、直ちにクロック値CLK=10とされる。したがって、タイムスタンプ値として(10)の値を持つAVコンテンツデータも待ち時間なく出力され、再生される。次に、クロック値CLK=11となる。したがって、(STM−CLK=−6)となり、その絶対値がしきい値THより大であると判定され、クロック値CLK=STM=5とされる。したがって、タイムスタンプ値として(5)の値を持つデータも待ち時間なく再生される。このように、タイムスタンプが不連続になってしまったコンテンツであっても、なめらかに再生することができる。
以上、この発明の一実施の形態について説明したが、この発明は、一実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施の形態では、タイムスタンプがエラーによって不連続となる例について説明したが、タイムスタンプの値が正しいが、不連続となる場合に対してこの発明を適用しても良い。また、上述した一実施の形態では、コンテンツバッファからのコンテンツデータの出力のタイミングを制御しているが、他の構成要素例えばビデオデコーダ、オーディオデコーダからの復号データを出力のタイミングを制御するようにしても良い。また、時間情報としてのタイムスタンプが188バイトの固定長毎に付加されているが、他のデータ長毎に付加されていても良い。さらに、ホームネットワークに限らず、インターネットを介してコンテンツデータを受信する場合にこの発明を適用しても良い。
この発明の一実施の形態による受信装置の構成を示すブロック図である。 この発明の一実施の形態におけるAVコンテンツ受信再生部の構成をより詳細に示すブロック図である。 この発明の一実施の形態におけるタイムスタンプ付きTSの説明に使用する略線図である。 この発明の一実施の形態におけるAVコンテンツ受信再生動作の流れを説明するためのフローチャートである。
符号の説明
1 蓄積部
2 ネットワーク
3 受信装置
13 デマルチプレクサ
14 ビデオデコーダ
15 オーディオデコーダ
19 制御部
24 コンテンツバッファ
25 レジスタ部
27 カウンタ

Claims (5)

  1. ネットワーク上に存在する蓄積部からコンテンツデータを受信して再生する受信装置において、
    コンテンツデータは、該コンテンツデータを再生するタイミングを制御するための時間情報を有し、
    基準クロックによってカウントを行うカウンタと、
    受信したコンテンツデータを復号する復号部と、
    受信したコンテンツデータから分離した上記時間情報の値と、上記カウンタのカウント値とが一致する場合に、コンテンツデータを出力する出力部と、
    受信したコンテンツデータから分離した上記時間情報の値と、上記カウント値との差を求め、求められた上記差をしきい値と比較し、上記差が上記しきい値より小なる場合には、上記カウント値を順次変化させて上記時間情報の値と、上記カウント値とを一致させ、上記差が上記しきい値より大なる場合には、上記カウント値を強制的に上記時間情報の値と一致させる制御部と
    を有する受信装置。
  2. 上記コンテンツデータがトランスポートストリームであって、上記時間情報が上記トランスポートストリームのパケット毎に付加される請求項1記載の受信装置。
  3. 上記出力部として、受信したコンテンツデータを格納するコンテンツバッファを有し、
    上記コンテンツバッファに格納されたコンテンツデータから上記時間情報を分離する請求項1記載の受信装置。
  4. 上記時間情報の値と上記カウント値とが一致する場合に、上記コンテンツバッファから上記コンテンツデータを出力する請求項3記載の受信装置。
  5. ネットワーク上に存在する蓄積部から、該コンテンツデータを再生するタイミングを制御するための時間情報を有するコンテンツデータを受信するステップと、
    受信したコンテンツデータから上記時間情報を分離するステップと、
    基準クロックをカウントすることによって生成したカウント値を取得するステップと、
    分離された上記時間情報の値と上記カウント値との差を求め、求められた上記差をしきい値と比較するステップと、
    上記差が上記しきい値より小の場合に、上記分離された上記時間情報の値と一致するように、上記カウント値を順次変化させるステップと、
    上記差が上記しきい値より大の場合に、上記カウント値を上記分離された上記時間情報の値に強制的に一致させるステップと、
    上記分離された上記時間情報の値と上記カウント値とが一致する場合に、コンテンツデータを出力するステップと
    を有する受信方法。
JP2007104625A 2007-04-12 2007-04-12 受信装置および受信方法 Pending JP2008263404A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007104625A JP2008263404A (ja) 2007-04-12 2007-04-12 受信装置および受信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007104625A JP2008263404A (ja) 2007-04-12 2007-04-12 受信装置および受信方法

Publications (1)

Publication Number Publication Date
JP2008263404A true JP2008263404A (ja) 2008-10-30

Family

ID=39985572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007104625A Pending JP2008263404A (ja) 2007-04-12 2007-04-12 受信装置および受信方法

Country Status (1)

Country Link
JP (1) JP2008263404A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9172995B2 (en) 2010-09-27 2015-10-27 Renesas Electronics Corporation Transcoding device, transcoding method and program thereof
JP2022541207A (ja) * 2019-07-15 2022-09-22 華為技術有限公司 音声起動方法及び電子デバイス

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237437A (ja) * 1992-12-18 1994-08-23 Sony Corp データ再生装置
JPH08331511A (ja) * 1995-03-31 1996-12-13 Toshiba Corp 動画像再生装置及び動画像再生処理回路
JPH1188878A (ja) * 1997-09-11 1999-03-30 Matsushita Electric Ind Co Ltd 不連続トランスポートストリームパケット処理装置
JP2002290910A (ja) * 2001-03-23 2002-10-04 Toshiba Corp マルチメディア情報記録再生装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237437A (ja) * 1992-12-18 1994-08-23 Sony Corp データ再生装置
JPH08331511A (ja) * 1995-03-31 1996-12-13 Toshiba Corp 動画像再生装置及び動画像再生処理回路
JPH1188878A (ja) * 1997-09-11 1999-03-30 Matsushita Electric Ind Co Ltd 不連続トランスポートストリームパケット処理装置
JP2002290910A (ja) * 2001-03-23 2002-10-04 Toshiba Corp マルチメディア情報記録再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9172995B2 (en) 2010-09-27 2015-10-27 Renesas Electronics Corporation Transcoding device, transcoding method and program thereof
JP2022541207A (ja) * 2019-07-15 2022-09-22 華為技術有限公司 音声起動方法及び電子デバイス
JP7426470B2 (ja) 2019-07-15 2024-02-01 華為技術有限公司 音声起動方法及び電子デバイス

Similar Documents

Publication Publication Date Title
US7975285B2 (en) Broadcast receiver and output control method thereof
JP4990762B2 (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
US20080259962A1 (en) Contents reproducing apparatus
KR20010050828A (ko) 데이터 처리 장치 및 데이터 처리 방법, 및 기록 매체
CN108810656B (zh) 一种实时直播ts流的去抖处理方法及处理系统
US20070286245A1 (en) Digital signal processing apparatus and data stream processing method
KR20210029829A (ko) 미디어 스트림 재생들 사이를 트랜지션하는 동안 트랜지션 프레임들의 동적 재생
JP2009272945A (ja) 同期再生装置
US11528389B2 (en) Method and system for synchronizing playback of independent audio and video streams through a network
US20090019513A1 (en) Method and apparatus for changing channel in digital broadcasting receiver
JP2008263404A (ja) 受信装置および受信方法
JPWO2017082059A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US8767122B2 (en) Reproduction controlling method and receiving apparatus
US20140068658A1 (en) Advertisement embedded system, advertisement embedded method, and recording medium thereof
JP2006101391A (ja) 放送受信装置、放送受信方法及び放送受信プログラム
JP4953707B2 (ja) デジタル放送受信機
JP2002290910A (ja) マルチメディア情報記録再生装置
EP2326085B1 (en) Signal processing device and signal processing method
JP4552200B2 (ja) デジタル放送受信装置
US8085663B2 (en) Data processing apparatus and data processing method
KR101262949B1 (ko) 디지털 방송수신기의 서비스채널 변경 장치 및 방법
JP2009212588A (ja) スクランブル解除装置
WO2011096158A1 (ja) 無線通信装置および無線通信方法
JP4767097B2 (ja) 再生装置
JP2008172781A (ja) データ伝送方法及び電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204