JP2011234418A - Av装置及びインターフェース方式 - Google Patents

Av装置及びインターフェース方式 Download PDF

Info

Publication number
JP2011234418A
JP2011234418A JP2011172901A JP2011172901A JP2011234418A JP 2011234418 A JP2011234418 A JP 2011234418A JP 2011172901 A JP2011172901 A JP 2011172901A JP 2011172901 A JP2011172901 A JP 2011172901A JP 2011234418 A JP2011234418 A JP 2011234418A
Authority
JP
Japan
Prior art keywords
audio
information
processing
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011172901A
Other languages
English (en)
Other versions
JP5248663B2 (ja
Inventor
Takanobu Mukaide
隆信 向出
Masahiko Mawatari
正彦 馬渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011172901A priority Critical patent/JP5248663B2/ja
Publication of JP2011234418A publication Critical patent/JP2011234418A/ja
Application granted granted Critical
Publication of JP5248663B2 publication Critical patent/JP5248663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】音声を再生可能な機能を有するものであって、自己が音声の聴取に供さないようにユーザによって設定されているかを、送信側となる電子機器に容易に判断させることを可能として、ユーザの取り扱いを便利するようにしたAV装置を提供すること。
【解決手段】実施の形態によれば、AV装置は、受信手段と処理手段と記憶手段と制御手段とを備える。受信手段は、デジタル音声信号を受信する。処理手段は、受信手段で受信されたデジタル音声信号に所定の信号処理を施す。記憶手段は、処理手段での信号処理に要する時間を示す情報が格納されており、音声がミュート状態に設定されたとき、処理手段での信号処理に要する時間を示す情報を通常では取り得ない値に書き替えて格納される。制御手段は、記憶手段に格納された情報を外部要求に応じて出力する。
【選択図】 図2

Description

この発明の実施の形態は、外部接続された電子機器に対して例えば映像や音声等の信号を送信または受信するAV装置に関する。また、この発明の実施の形態は、上記したAV装置を複数接続するためのインターフェース方式に関する。
周知のように、デジタル映像信号を伝送するための規格として、DVI(digital visual interface)規格が普及している。そして、近年では、このDVI規格をさらに改良したデジタル信号伝送規格として、HDMI(high definition multimedia interface)規格が採用されるようになってきている。
このHDMI規格には、例えば、デジタル映像信号のブランキング期間にデジタル音声信号を多重化して音声伝送を行なうことが可能であること、デジタル映像信号をRGB信号の形態で伝送する他に、YCbCr信号の形態またはそれより高画質なYPbPr信号の形態で伝送することが可能であること、USB(universal serial bus)ライクの小型のHDMIコネクタで接続することが可能であること等々、DVI規格にない種々の規定が盛り込まれている。
また、VDI規格やHDMI規格では、一方の電子機器から他方の電子機器に映像や音声等の信号を伝送する場合、送信側となる電子機器が受信側となる電子機器からEDID(extended display identification data)を取得することにより、受信側の電子機器が有するディスプレイの受信仕様に合わせた形態で信号を出力することができるようになっている。
さらに、DVI規格やHDMI規格では、送信側となる電子機器に複数の信号出力ポートを設置し、各信号出力ポートにそれぞれ受信側となる電子機器を接続することにより、送信側となる電子機器から受信側となる複数の電子機器に、同時に、同じ信号を、または、信号変換した別のフォーマットの信号を、伝送することが可能である。これにより、受信側となる第1の電子機器で映像のみを表示させ、受信側となる第2の電子機器で音声のみを再生させるような使用形態を実現することができる。
例えば、HDMI規格を採用した場合、送信側となる電子機器としてDVD(digital versatile disk)等の光ディスクを再生する光ディスク再生装置を想定し、受信側となる複数の電子機器として大画面の高精細ディスプレイと2チャンネルステレオスピーカとを備えたテレビジョン受信機と、5.1チャンネル音声再生機能を備えたAV(audio video)アンプとを想定すると、テレビジョン受信機により高画質での映像表示を行ない、AVアンプにより高音質での音声再生を行なうといった使用形態が可能となる。
ところで、上記のような使用形態を実現する場合、テレビジョン受信機による表示映像とAVアンプによる再生音声とを同期させる必要がある。この場合、テレビジョン受信機とAVアンプとには、それぞれ、その映像信号及び音声信号の処理に要する時間が上記EDIDデータとして記録されている。
このため、光ディスク再生装置は、テレビジョン受信機及びAVアンプからそれぞれEDIDデータを取得し、テレビジョン受信機の映像信号処理に要する時間とAVアンプの音声信号処理に要する時間とを用いて、表示映像と再生音声とを同期させるように制御することが可能となる。
しかしながら、現状において、このような同期制御を行なうためには、ユーザが、送信側の電子機器である光ディスク再生装置に対して、どの信号出力ポートに接続されている電子機器で映像表示を行ない、どの信号出力ポートに接続されている電子機器で音声再生を行なうのかを入力設定する必要があり、取り扱いが煩雑になっている。
特許文献1には、送信機器に複数の受信機器を接続してHDMI規格に準拠した映像及び音声データを送信する際、受信機器から取得したEDIDデータに基づいて、映像及び音声再生が可能な受信機器には映像及び音声データを送信し、映像再生のみが可能な受信機器には映像データのみを送信し、音声再生のみが可能な受信機器には音声データのみを送信するようにした構成が開示されている。
また、特許文献2には、チューナと録画再生装置とモニタとを縦列的に接続し、映像信号の受け側から送り側に対して受け取りたい映像信号の仕様を要求することができるとともに、録画再生装置が停止モードにある場合には、チューナから出力される映像信号を直接モニタに伝送するようにした構成が開示されている。
さらに、特許文献3には、AV機器間を結合する規格としてIEEE1394が示されており、DVDプレーヤとTVモニタとAVアンプとがそれにて結合されており、TVモニタの映像表示処理の処理遅延情報を得る手段と、その情報をAVアンプが取得して音声遅延を調整する手段とが記載されている。
また、特許文献4では、AV機器相互間を結合する規格としてHDMI規格が示されており、映像モニタとAVアンプ、AVアンプとDVDプレーヤとがそれにて結合されており、モニタの映像表示処理遅延時間を取得する手段と、音声信号を遅延する手段とが記載されている。
特開2005−57714号公報 特開2006−19857号公報 特開2002−344898号公報 特開2006−33436号公報
音声を再生可能な機能を有するものであって、自己が音声の聴取に供さないようにユーザによって設定されているかを、送信側となる電子機器に容易に判断させることを可能として、ユーザの取り扱いを便利するようにしたAV装置を提供することを目的とする。
また、自己に接続された受信側となる各電子機器が、それぞれ音声の聴取に供さないようにユーザによって設定されているかを自動的に判断し、受信側となる各電子機器に与える音声信号に、その判断結果に対応した処理を施すことにより、ユーザの取り扱いを便利にし得るようにしたAV装置を提供することを目的とする。
さらに、受信側となる各AV装置がそれぞれ音声の聴取に供さないようにユーザによって設定されているかを、送信側となるAV装置が自動的に判断し、受信側となる各AV装置に与える音声信号に、その判断結果に対応した処理を施すことにより、ユーザの取り扱いを便利にし得るようにしたインターフェース方式を提供することを目的とする。
実施の形態によれば、AV装置は、受信手段と処理手段と記憶手段と制御手段とを備える。受信手段は、デジタル音声信号を受信する。処理手段は、受信手段で受信されたデジタル音声信号に所定の信号処理を施す。記憶手段は、処理手段での信号処理に要する時間を示す情報が格納されており、音声がミュート状態に設定されたとき、処理手段での信号処理に要する時間を示す情報を通常では取り得ない値に書き替えて格納される。制御手段は、記憶手段に格納された情報を外部要求に応じて出力する。
実施の形態におけるHDMI規格に準拠した信号伝送システムの一例を説明するために示すブロック構成図。 同実施の形態における受信側のAV装置となるテレビジョン受信機の信号処理系を説明するために示すブロック構成図。 同実施の形態におけるテレビジョン受信機の主要な処理動作を説明するために示すフローチャート。 同実施の形態における受信側のAV装置となるAVアンプの信号処理系を説明するために示すブロック構成図。 同実施の形態における送信側のAV装置となる光ディスク再生装置の信号処理系を説明するために示すブロック構成図。 同実施の形態における光ディスク再生装置の主要な処理動作を説明するために示すフローチャート。 同実施の形態におけるHDMI規格に準拠した信号伝送システムの他の例を説明するために示すブロック構成図。 同信号伝送システムの他の例における送信側のAV装置となるSTBの信号処理系を説明するために示すブロック構成図。 同信号伝送システムの他の例における送信側のAV装置となる光ディスク再生装置の信号処理系を説明するために示すブロック構成図。
以下、実施の形態について図面を参照して詳細に説明する。図1は、この実施の形態で説明するHDMI規格に準拠した信号伝送システムの全体的な構成を示している。すなわち、図1において、符号11は光ディスク再生装置である。この光ディスク再生装置11は、信号伝送システムにおける送信側のAV装置となっている。
この光ディスク再生装置11は、例えばDVD等の光ディスクに記録されたデータを読み取り、デジタルの映像信号及び音声信号を再生している。そして、この光ディスク再生装置11で再生されたデジタルの映像信号及び音声信号は、HDMI規格に準拠した形態のデジタルデータに変換されて、受信側となる複数(図示の場合は2つ)のAV装置に出力される。
この実施の形態では、受信側となる2つのAV装置として、大画面で高精細な映像表示が可能なフラットパネルディスプレイを有し、ステレオ2チャンネルの音声再生も可能なテレビジョン受信機12と、例えば5.1チャンネル等のマルチチャンネルで高音質な音声再生機能を有し、小画面での映像表示も可能なAVアンプ13とを例示している。
図2は、上記テレビジョン受信機12の信号処理系を示している。なお、図2においては、テレビジョン放送信号を受信し選局して復調する部分の構成については、簡単のため記載を省略している。すなわち、上記光ディスク再生装置11からHDMI規格に準拠した形態で出力されたデジタルデータは、TMDS信号伝送路14を介してテレビジョン受信機12の入力端子15に供給される。
この入力端子15に供給されたデジタルデータは、HDMI受信部16に供給されてデジタルの映像信号と音声信号とに分離される。このうち、デジタルの映像信号は、再生部17を構成する映像処理部18に供給されて所定の映像信号処理が施された後、フラットパネルディスプレイ19にて映像表示される。
また、HDMI受信部16で分離されたデジタルの音声信号は、上記再生部17を構成する音声処理部20に供給されて所定の音声信号処理が施された後、ステレオ2チャンネルに対応したスピーカ21にて音声再生される。
なお、このHDMI受信部16では、分離したデジタルの音声信号に後述する調整遅延データCDL(control delay)が含まれている場合には、デジタルの音声信号を調整遅延データCDLで指定された時間だけ遅延させて出力する機能を備えている。
そして、このテレビジョン受信機12は、上記した再生動作を含むその全ての動作を制御部22によって統括的に制御している。この制御部22は、CPU(central processing unit)22aを内蔵しており、操作部22bからの操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部22は、メモリ部22cを利用している。このメモリ部22cは、主として、CPU22aが実行する制御プログラムを格納したROM(read only memory)と、CPU22aに作業エリアを提供するRAM(random access memory)と、各種の設定情報及び制御情報等が格納させる不揮発性メモリとを有している。
そして、この制御部22は、EDIDメモリ23に接続されている。このEDIDメモリ23には、テレビジョン受信機12の受信仕様(映像表示能力・音声再生・表示能力)を示す情報の他に、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1D、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1D等が、EDIDとして記録されている。
ここで、上記制御部22は、ユーザが、上記操作部22bを操作して、例えば映像ミュート状態に設定したとき、つまり、フラットパネルディスプレイ19における映像表示を停止させる状態に設定したとき、テレビジョン受信機12が映像の視認に供さない状態に設定されたことを示す情報をEDIDメモリ23に書き込むようにしている。
このテレビジョン受信機12が映像の視認に供さない状態に設定されたことを示す情報を、EDIDメモリ23に書き込むことは、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dを、通常では取りえない値、例えば“0”に書き替えることにより容易に実現される。
また、上記制御部22は、ユーザが、上記操作部22bを操作して、例えば音声ミュート状態に設定したとき、つまり、スピーカ21における音声再生を停止させる状態に設定したとき、テレビジョン受信機12が音声の聴取に供さない状態に設定されたことを示す情報をEDIDメモリ23に書き込むようにしている。
このテレビジョン受信機12が音声の聴取に供さない状態に設定されたことを示す情報を、EDIDメモリ23に書き込むことは、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dを、通常では取りえない値、例えば“0”に書き替えることにより容易に実現される。
すなわち、上記映像処理部18での映像信号処理に要する時間VD1及び音声処理部20での音声信号処理に要する時間AD1は、通常、例えば1msec単位でEDIDメモリ23に格納されており、最低でも1msecであって、“0”になることはありえないものである。このため、時間情報VD1D及びAD1Dが“0”であることは、通常では取りえない値と定義することができる。
なお、例えば、時間VD1及びAD1が5msec以下にはならないことが予め分かっているシステムであれば、5msec以下を通常では取りえない値と定義することが可能となる。
そして、このEDIDメモリ23に格納された各種の情報は、送信側のAV装置である光ディスク再生装置11からの要求によりEDIDメモリ23から読み出され、出力端子24及びDDC(display data channel)通信路25を介して、光ディスク再生装置11に送信される。
このため、光ディスク再生装置11では、テレビジョン受信機12のEDIDメモリ23から情報を取得し、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dが“0”になっていることにより、テレビジョン受信機12が映像の視認に供さない状態に設定されていることを容易に識別することができる。
また、光ディスク再生装置11では、テレビジョン受信機12のEDIDメモリ23から情報を取得し、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dが“0”になっていることにより、テレビジョン受信機12が音声の聴取に供さない状態に設定されていることを容易に識別することができる。
図3は、上記したテレビジョン受信機12におけるEDIDメモリ23の時間情報VD1D,AD1Dを書き替える動作をまとめたフローチャートを示している。すなわち、処理が開始(ステップS1)されると、制御部22は、ステップS2で、テレビジョン受信機12の主電源が投入されたか否かを判別し、主電源が投入されていないと判断された場合(NO)、処理を終了(ステップS9)する。
また、上記ステップS2で主電源が投入されたと判断された場合(YES)、制御部22は、ステップS3で、ユーザによって映像ミュート状態に設定されたか否かを判別する。そして、映像ミュート状態に設定されたと判断された場合(YES)、制御部22は、ステップS4で、EDIDメモリ23に格納されている、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dを“0”に設定する。
一方、上記ステップS3で映像ミュート状態に設定されていないと判断された場合(NO)、制御部22は、ステップS5で、EDIDメモリ23に格納されている、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dを、本来の値に設定する。
そして、上記ステップS4またはS5の後、制御部22は、ステップS6で、ユーザによって音声ミュート状態に設定されたか否かを判別する。そして、音声ミュート状態に設定されたと判断された場合(YES)、制御部22は、ステップS7で、EDIDメモリ23に格納されている、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dを“0”に設定して、ステップS2の処理に戻される。
また、上記ステップS6で音声ミュート状態に設定されていないと判断された場合(NO)、制御部22は、ステップS8で、EDIDメモリ23に格納されている、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dを、本来の値に設定して、ステップS2の処理に戻される。
上記した受信側のAV装置となるテレビジョン受信機12によれば、ユーザによって映像ミュート状態に設定された場合、EDIDメモリ23に格納された、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dを“0”に設定し、ユーザによって音声ミュート状態に設定された場合、EDIDメモリ23に格納された、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dを“0”に設定するようにしている。
このため、テレビジョン受信機12は、そのEDIDメモリ23に格納されている時間情報VD1D,AD1Dを、送信側のAV装置である光ディスク再生装置11に取得させることにより、テレビジョン受信機12が映像または音声の視聴に供さない状態に設定されていることを容易に識別させることができる。
なお、テレビジョン受信機12としては、その操作部22bの音声ミュートキーを操作した場合に音声ミュート状態に設定されるだけでなく、操作部22bの音量調整操作子を最小の音量に対応する位置に絞り込んだ場合にも、音声ミュート状態に設定される。すなわち、映像ミュートや音声ミュートと表現している上記は、主に視聴に供与していない状態を意味しているのである。
図4は、上記AVアンプ13の信号処理系を示している。すなわち、上記光ディスク再生装置11からHDMI規格に準拠した形態で出力されたデジタルデータは、TMDS信号伝送路26を介してAVアンプ13の入力端子27に供給される。
この入力端子27に供給されたデジタルデータは、HDMI受信部28に供給されてデジタルの映像信号と音声信号とに分離される。このうち、デジタルの映像信号は、再生部29を構成する映像処理部30に供給されて所定の映像信号処理が施された後、小画面のディスプレイ31にて映像表示される。
また、HDMI受信部28で分離されたデジタルの音声信号は、上記再生部29を構成する音声処理部32に供給されて所定の音声信号処理が施された後、5.1チャンネルに対応したスピーカ33にて音声再生される。
なお、このHDMI受信部28では、分離したデジタルの音声信号に後述する調整遅延データCDLが含まれている場合には、デジタルの音声信号を調整遅延データCDLで指定された時間だけ遅延させて出力する機能を備えている。
そして、このAVアンプ13は、上記した再生動作を含むその全ての動作を制御部34によって統括的に制御している。この制御部34は、CPU34aを内蔵しており、操作部34bからの操作情報に基づいて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部34は、メモリ部34cを利用している。このメモリ部34cは、主として、CPU34aが実行する制御プログラムを格納したROMと、CPU34aに作業エリアを提供するRAMと、各種の設定情報及び制御情報等が格納させる不揮発性メモリとを有している。
そして、この制御部34は、EDIDメモリ35に接続されている。このEDIDメモリ23には、AVアンプ13の受信仕様(映像表示能力・音声再生能力)を示す情報の他に、映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2D、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2D等が、EDIDとして記録されている。
ここで、上記制御部34は、ユーザが、上記操作部34bを操作して、例えば映像ミュート状態に設定したとき、つまり、ディスプレイ31における映像表示を停止させる状態に設定したとき、AVアンプ13が映像の視認に供さない(実際、映像表示はしているかもしれないが、ユーザは主にテレビジョン受信機12を見ている)状態に設定されたことを示す情報をEDIDメモリ35に書き込むようにしている。
このAVアンプ13が映像の視認に供さない状態に設定されたことを示す情報を、EDIDメモリ35に書き込むことは、映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2Dを、通常では取りえない値、例えば“0”に書き替えることにより容易に実現される。
また、上記制御部34は、ユーザが、上記操作部34bを操作して、例えば音声ミュート状態に設定したとき、つまり、スピーカ33における音声再生を停止させる状態に設定したとき、AVアンプ13が音声の聴取に供さない状態に設定されたことを示す情報をEDIDメモリ35に書き込むようにしている。
このAVアンプ13が音声の聴取に供さない状態に設定されたことを示す情報を、EDIDメモリ35に書き込むことは、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dを、通常では取りえない値、例えば“0”に書き替えることにより容易に実現される。
すなわち、上記映像処理部30での映像信号処理に要する時間VD2及び音声処理部32での音声信号処理に要する時間AD2は、通常、例えば1msec単位でEDIDメモリ35に格納されており、最低でも1msecであって、“0”になることはありえないものである。このため、時間情報VD2D及びAD2Dが“0”であることは、通常では取りえない値と定義することができる。
なお、例えば、時間VD2及びAD2が5msec以下にはならないことが予め分かっているシステムであれば、5msec以下を通常では取りえない値と定義することが可能となる。
そして、このEDIDメモリ35に格納された各種の情報は、送信側のAV装置である光ディスク再生装置11からの要求によりEDIDメモリ35から読み出され、出力端子36及びDDC通信路37を介して、光ディスク再生装置11に送信される。
このため、光ディスク再生装置11では、AVアンプ13のEDIDメモリ35から情報を取得し、映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2Dが“0”になっていることにより、AVアンプ13が映像の視認に供さない状態に設定されていることを容易に識別することができる。
また、光ディスク再生装置11では、AVアンプ13のEDIDメモリ35から情報を取得し、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dが“0”になっていることにより、AVアンプ13が音声の聴取に供さない状態に設定されていることを容易に識別することができる。
上記した受信側のAV装置となるAVアンプ13によれば、ユーザによって映像ミュート状態に設定された場合、EDIDメモリ35に格納された、映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2Dを“0”に設定し、ユーザによって音声ミュート状態に設定された場合、EDIDメモリ35に格納された、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dを“0”に設定するようにしている。
このため、AVアンプ13は、そのEDIDメモリ35に格納されている時間情報VD2D,AD2Dを、送信側のAV装置である光ディスク再生装置11に取得させることにより、AVアンプ13が映像または音声の視聴に供さない状態に設定されていることを容易に識別させることができる。
なお、AVアンプ13としては、その操作部34bの音声ミュートキーを操作した場合に音声ミュート状態に設定されるだけでなく、操作部34bの音量調整操作子を最小の音量に対応する位置に絞り込んだ場合にも、音声ミュート状態に設定される。あるいは、ヘッドフォンで聴取する状態であり、主に映像表示しないとしてユーザ設定されている場合等にも、音声ミュート状態に設定される。
図5は、上記光ディスク再生装置11の信号処理系を示している。すなわち、DVD等の光ディスク38は、ディスク再生部39を構成するディスクドライブ部40に装着されて、そこに記録されたデータが読み取られる。このディスクドライブ部40で読み取られたデータは、映像復号部41及び音声復号部42にそれぞれ供給される。
このうち、映像復号部41は、入力されたデータから映像成分を取り出して復号化処理を施すことにより、デジタルの映像信号を生成している。また、音声復号部42は、入力されたデータから音声成分を取り出して復号化処理を施すことにより、デジタルの音声信号を生成している。
そして、上記音声復号部42で生成されたデジタルの音声信号は、遅延調整部43に供給されて後述する所定量の遅延処理が施される。また、この遅延調整部43は、入力されたデジタルの音声信号に遅延処理を施す際の遅延量を調整している。
ここで、上記映像復号部41で生成されたデジタルの映像信号は、2つのHDMI送信部44,45の各一方の入力端に供給されている。そして、HDMI送信部44の他方の入力端には、音声復号部42から出力されたデジタルの音声信号と、遅延調整部43から出力されたデジタルの音声信号とが、選択部46を構成するスイッチ47によって選択的に供給されるようになっている。
また、HDMI送信部45の他方の入力端には、音声復号部42から出力されたデジタルの音声信号と、遅延調整部43から出力されたデジタルの音声信号とが、選択部46を構成するスイッチ48によって選択的に供給されるようになっている。
そして、上記HDMI送信部44は、入力されたデジタルの映像信号と音声信号とを時間的に多重化して、HDMI規格に準拠した形態のデジタルデータに変換し、入出力ポート49の出力端子49a及び前記TMDS信号伝送路14を介してテレビジョン受信機12に出力している。
また、上記HDMI送信部45は、入力されたデジタルの映像信号と音声信号とを時間的に多重化して、HDMI規格に準拠した形態のデジタルデータに変換し、入出力ポート50の出力端子50a及び前記TMDS信号伝送路26を介してAVアンプ13に出力している。
そして、この光ディスク再生装置11は、上記した再生動作を含むその全ての動作を制御部51によって統括的に制御している。この制御部51は、CPU51aを内蔵しており、操作部51bからの操作情報に基づいて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部51は、メモリ部51cを利用している。このメモリ部51cは、主として、CPU51aが実行する制御プログラムを格納したROMと、CPU51aに作業エリアを提供するRAMと、各種の設定情報及び制御情報等が格納させる不揮発性メモリとを有している。
また、この制御部51は、入出力ポート49の入力端子49bを介して、テレビジョン受信機12のEDIDメモリ23から読み出した情報を伝送するためのDDC通信路25に接続されている。さらに、この制御部51は、入出力ポート50の入力端子50bを介して、AVアンプ13のEDIDメモリ35から読み出した情報を伝送するためのDDC通信路37に接続されている。
これにより、制御部51は、テレビジョン受信機12のEDIDメモリ23に格納された情報と、AVアンプ13のEDIDメモリ35に格納された情報とを、それぞれ取得することができる。
図6は、上記光ディスク再生装置11が、テレビジョン受信機12のEDIDメモリ23に格納された情報と、AVアンプ13のEDIDメモリ35に格納された情報とに基づいて、映像表示を行なうAV装置と音声再生を行なうAV装置とを自動的に判断し、表示映像と再生音声が同期するように制御する動作をまとめたフローチャートを示している。
なお、ここでの動作説明では、ユーザが、テレビジョン受信機12のフラットパネルディスプレイ19による表示映像の視認と、AVアンプ13のスピーカ33による再生音声の聴取とを行なうように設定している例を説明する。
すなわち、この場合、ユーザは、テレビジョン受信機12を音声ミュート状態、つまり、テレビジョン受信機12を音声の聴取に供さない状態に設定し、AVアンプ13を映像ミュート状態、つまり、AVアンプ13を映像の視認に供さない状態に設定している。
このため、テレビジョン受信機12のEDIDメモリ23では、その音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1Dが“0”に設定され、AVアンプ13のEDIDメモリ35では、その映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2Dが“0”に設定されている。
ここで、処理が開始(ステップS10)されると、光ディスク再生装置11の制御部51は、ステップS11で、2つの入出力ポート49,50の両方にそれぞれ受信側となるAV装置(この場合、テレビジョン受信機12及びAVアンプ13)が接続されたか否かを判別する。
そして、接続されたと判断された場合(YES)、制御部51は、ステップS12で、テレビジョン受信機12に要求してそのEDIDメモリ23に格納された情報を取得し、ステップS13で、AV装置13に要求してそのEDIDメモリ35に格納された情報を取得する。
その後、制御部51は、ステップS14で、各EDIDメモリ23,35から取得した情報のうち、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1D、音声処理部20での音声信号処理に要する時間AD1を示す時間情報AD1D、映像処理部30での映像信号処理に要する時間VD2を示す時間情報VD2D、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dの各値を識別する。
この場合、先に述べたように、時間情報AD1D及びVD2Dが“0”であり、時間情報VD1D及びAD2Dが所定の値を有している。これにより、制御部51は、テレビジョン受信機12が音声の聴取に供さない状態に設定され、AVアンプ13が映像の視認に供さない状態に設定されている、つまり、テレビジョン受信機12による映像表示と、AVアンプ13による音声再生とが行なわれるように設定されていると判断することができる。
このため、制御部51は、ステップS15で、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dと、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dとの差分を遅延調整部43に供給して、テレビジョン受信機12のフラットパネルディスプレイ19で表示される映像と、AVアンプ13のスピーカ33で再生される音声とが同期されるように、音声復号部42から出力されたデジタルの音声信号を遅延させて、処理を終了(ステップS16)する。
遅延調整部43では、音声処理部32から出力される音声信号を映像処理部18から出力される映像信号に同期させるように、つまり、信号処理に要する時間の短い方を長い方に合わせるように、時間情報VD1Dから時間情報AD2Dを減算した時間分だけ、音声復号部42から出力されたデジタルの音声信号を遅延すべく、遅延調整部43で、時間情報VD1Dから時間情報AD2Dを減算した時間分を遅延させている。
そして、光ディスク再生装置11の映像復号部41から出力されたデジタルの映像信号は、HDMI送信部44,45を介してテレビジョン受信機12及びAVアンプ13に供給されるが、AVアンプ13は映像ミュート状態に設定されているので、テレビジョン受信機12のフラットパネルディスプレイ19での映像表示に供される。
また、音声復号部42及び遅延調整部43から出力されるデジタルの各音声信号は、選択部46のスイッチ47によって選択され、HDMI送信部44を介してテレビジョン受信機12に供給されるが、テレビジョン受信機12は音声ミュート状態に設定されているので、そこでの音声再生には供されないことになる。
一方、音声復号部42及び遅延調整部43から出力されるデジタルの各音声信号は、選択部46のスイッチ48によって選択され、HDMI送信部45を介してAVアンプ13に供給され、そこでの音声再生に供される。
この場合、スイッチ48が、図5に示すように、遅延調整部43から出力されるデジタルの音声信号をHDMI送信部45に供給するように切り替えられているとすると、AVアンプ13には、表示映像と同期するために必要な量の遅延処理が既に施されたデジタルの音声信号が供給される。このため、AVアンプ13では、供給されたデジタルの音声信号をそのまま信号処理してスピーカ33で音声再生させれば、音声を映像と同期させることが可能となる。このことを伝達させる手段が、AVアンプ13側に伝達する調整遅延データCDLで、この場合は、“0”となる。光ディスク再生装置11側で調整遅延データCDLを計算し、遅延を調整し、後段での調整値CDLを計算して送っている。
また、上記スイッチ48が、図5と逆に、音声復号部42から出力されるデジタルの音声信号をHDMI送信部45に供給するように切り替えられているとすると、AVアンプ13には、遅延処理が施されずに調整遅延データCDLが多重化された信号がHDMI伝送として供給されることになる。
この場合、AVアンプ13のHDMI受信部28では、入力されたデジタルデータからデジタルの映像信号と音声信号とを分離した後、HDMI信号に対して、そこに多重化されている調整遅延データCDLに基づいた遅延処理を施して出力するように機能している。このため、AVアンプ13では、HDMI受信部28によって、表示映像と同期するために必要な量の遅延処理が施されたデジタルの音声信号を信号処理してスピーカ33で音声再生させることにより、音声を映像と同期させることが可能となる。
上記選択部46の各スイッチ47,48は、制御部51の制御に基づいて切り替えられる。例えば、制御部51は、受信側となる外部のAV装置から取得したEDIDに基づいて各AV装置の性能を識別し、その識別結果に応じて各スイッチ47,48の切り替えを制御することができる。
上記した光ディスク再生装置11によれば、受信側となるテレビジョン受信機12及びAVアンプ13のEDIDメモリ23,35に格納された時間情報VD1D、AD1D、VD2D、AD2Dに基づいて、テレビジョン受信機12が音声の聴取に供さないようにユーザによって設定され、AVアンプ13が映像の視認に供さないようにユーザによって設定されていることを自動的に識別し、テレビジョン受信機12によって表示される映像と、AVアンプ13によって再生される音声とが同期されるように制御したので、ユーザにとっての取り扱いを非常に便利にすることができる。
なお、上記した光ディスク再生装置11では、復号化処理の施されたデジタルの音声信号をAVアンプ13に供給して音声再生させるようにしたが、例えば、復号化処理される前の圧縮された形態のデジタルの音声信号をAVアンプ13に供給し、AVアンプ13で音声信号に復号化処理を施すように構成しても良いことはもちろんである。
図7は、HDMI規格に準拠した信号伝送システムの他の例を示している。すなわち、この信号伝送システムでは、送信側となるAV装置としてSTB(set top box)52を備えている。
そして、このSTB52で生成されたデジタルの映像信号及び音声信号は、HDMI規格に準拠した形態のデジタルデータに変換された後、上記光ディスク再生装置11を中継装置として介して、受信側のAV装置となるテレビジョン受信機12及びAVアンプ13に供給され、映像表示及び音声再生に供される。
図8は、上記STB52の信号処理系を示している。すなわち、アンテナ53で受信されたテレビジョン放送信号は、入力端子54を介して選局・復号部55に供給される。この選局・復号部55は、入力されたテレビジョン放送信号から所定のチャンネルの信号を選局し、その選局した信号に復号化処理を施すことにより、デジタルの映像信号及び音声信号を生成している。
そして、この選局・復号部55で生成されたデジタルの映像信号及び音声信号は、HDMI送信部56に供給される。このHDMI送信部56は、入力されたデジタルの映像信号と音声信号とを時間的に多重化して、HDMI規格に準拠した形態のデジタルデータに変換し、出力端子57及びTMDS信号伝送路58を介して光ディスク再生装置11に出力している。
そして、このSTB52は、上記した受信動作を含むその全ての動作を制御部59によって統括的に制御している。この制御部59は、CPU59aを内蔵しており、操作部59bからの操作情報に基づいて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部59は、メモリ部59cを利用している。このメモリ部59cは、主として、CPU59aが実行する制御プログラムを格納したROMと、CPU59aに作業エリアを提供するRAMと、各種の設定情報及び制御情報等が格納させる不揮発性メモリとを有している。
また、この制御部59は、入力端子60を介して、光ディスク再生装置11に設けられた後述するEDIDメモリから読み出した情報を伝送するためのDDC通信路61に接続されている。
図9は、中継装置として使用される場合の光ディスク再生装置11の信号処理系を示している。図9において、図5と同一部分には同一符号を付して示している。すなわち、上記STB52からTMDS信号伝送路58を介して供給されるHDMI規格に準拠した形態のデジタルデータは、入出力ポート62の入力端子62aを介してHDMI受信部63に供給される。
このHDMI受信部63は、入力されたデジタルデータをデジタルの映像信号と音声信号とに分離している。そして、このHDMI受信部63から出力されるデジタルの映像信号及び音声信号は、上記選択部46に供給される。
この場合、上記選択部46は、HDMI受信部63から出力されるデジタルの映像信号及び音声信号を、HDMI送信部44,45にそれぞれ供給することと、上記ディスク再生部39の映像復号部41から出力されるデジタルの映像信号をHDMI送信部44,45にそれぞれ供給するとともに、音声復号部42から出力されるデジタルの音声信号と遅延調整部43から出力されるデジタルの音声信号とに対して、先に図5で説明したような切り替えを行なってHDMI送信部44,45にそれぞれ供給することとを選択的に行なえるように、その機能が拡張されている。
また、光ディスク再生装置11は、EDIDメモリ64を内蔵している。そして、前述したように、テレビジョン受信機12が音声ミュート状態に設定され、AVアンプ13が映像ミュート状態に設定されている場合、制御部51は、テレビジョン受信機12のEDIDメモリ23から取得した映像表示に関わる情報を書き写し、また、映像処理部18での映像信号処理に要する時間VD1を示す時間情報VD1Dに、光ディスク再生装置11における選択部46の映像信号の遅延時間VD3を示す情報を加算した時間情報VD3Dを、EDIDメモリ64に記録する。
さらに、制御部51は、AVアンプ13のEDIDメモリ35から取得した音声表示に関わる情報を書き写し、また、音声処理部32での音声信号処理に要する時間AD2を示す時間情報AD2Dに、光ディスク再生装置11における選択部46の音声信号の遅延時間AD3を示す情報を加算した時間情報AD3Dを、EDIDメモリ64に記録する。
そして、このEDIDメモリ64に格納された時間情報VD3D及びAD3Dは、送信側のAV装置であるSTB52からの要求によりEDIDメモリ64から読み出され、入出力ポート62の前記DDC通信路61を介して、STB52に送信される。
すると、STB52の制御部59は、光ディスク再生装置11のEDIDメモリ64から取得した時間情報VD3Dと、STB52の選局・復号部55での映像処理遅延時間との和、及び時間情報AD3DとTB52の選局・復号部55での音声処理遅延時間との和の差分を演算し、その差分に対応した時間を示す情報を調整遅延データCDLとしてHDMI送信部56に出力する。これにより、HDMI送信部56では、調整遅延データCDLをデジタル信号に多重化して出力している。
このため、光ディスク再生装置11のHDMI受信部63では、入力されたデジタルデータからデジタルの映像信号と音声信号とを分離した後、デジタルの音声信号に対して、そこに多重化されている調整遅延データCDLに基づいた遅延処理を施して、AVアンプ13に出力するように機能する。このため、AVアンプ13では、表示映像と同期するために必要な量の遅延処理が既に施されたデジタルの音声信号を信号処理してスピーカ33で音声再生させることにより、音声を映像と同期させることが可能となる。
上記のように中継装置として光ディスク再生装置11を使用した場合でも、テレビジョン受信機12が音声の聴取に供さないようにユーザによって設定され、AVアンプ13が映像の視認に供さないようにユーザによって設定されていることを自動的に識別することができる。
そして、送信側のAV装置であるSTB52から出力されるデジタルデータに対して、中継装置となる光ディスク再生装置11による信号遅延も考慮した上で、テレビジョン受信機12によって表示される映像と、AVアンプ13によって再生される音声とが同期されるように制御することができ、ユーザにとっての取り扱いを非常に便利にすることができる。
なお、光ディスク再生装置11を中継装置として使用する上記の説明では、光ディスク再生装置11のHDMI受信部63が、デジタルの音声信号に対してそこに含まれる調整遅延データCDLに基づいた遅延処理を施すこととしたが、これに限らず、調整遅延データCDLが多重化されたデジタルの音声信号をそのままAVアンプ13まで中継し、AVアンプ13のHDMI受信部28で、デジタルの音声信号に対してそこに含まれる調整遅延データCDLに基づいた遅延処理を施すようにしても良いものである。
また、STB52に復号化処理の施されたデジタルの音声信号を遅延させる遅延回路を内蔵し、光ディスク再生装置11のEDIDメモリ64から取得した時間情報VD3DとSTB52の選局・復号部55での映像処理遅延時間との和、及び時間情報AD3DとSTB52の選局・復号部55での音声処理遅延時間との和の差分に対応した時間だけ、デジタルの音声信号を遅延させてSTB52から出力させるようにすることも可能である。
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。また、上記した実施の形態では、HDMIをあげたが、送信側に受信側の状態を伝送できる他のインターフェース規格、例えばIEEE1394を利用する場合においても可能である。
11…光ディスク再生装置、12…テレビジョン受信機、13…AVアンプ、14…TMDS信号伝送路、15…入力端子、16…HDMI受信部、17…再生部、18…映像処理部、19…フラットパネルディスプレイ、20…音声処理部、21…スピーカ、22…制御部、23…EDIDメモリ、24…出力端子、25…DDC通信路、26…TMDS信号伝送路、27…入力端子、28…HDMI受信部、29…再生部、30…映像処理部、31…ディスプレイ、32…音声処理部、33…スピーカ、34…制御部、35…EDIDメモリ、36…出力端子、37…DDC通信路、38…光ディスク、39…ディスク再生部、40…ディスクドライブ部、41…映像復号部、42…音声復号部、43…遅延調整部、44,45…HDMI送信部、46…選択部、47,48…スイッチ、49,50…入出力ポート、51…制御部、52…STB、53…アンテナ、54…入力端子、55…選局・復号部、56…HDMI送信部、57…出力端子、58…TMDS信号伝送路、59…制御部、60…入力端子、61…DDC通信路、62…入出力ポート、63…HDMI受信部、64…EDIDメモリ。

Claims (8)

  1. デジタル音声信号を受信する受信手段と、
    前記受信手段で受信されたデジタル音声信号に所定の信号処理を施す処理手段と、
    前記処理手段での信号処理に要する時間を示す情報が格納されており、音声がミュート状態に設定されたとき、前記処理手段での信号処理に要する時間を示す情報を通常では取り得ない値に書き替えて格納される記憶手段と、
    前記記憶手段に格納された情報を外部要求に応じて出力する制御手段とを具備するAV装置。
  2. 前記記憶手段は、音声がミュート状態に設定されたとき、前記処理手段での信号処理に要する時間を示す情報を、当該時間が“0”であることを示す値に書き替えて格納される請求項1記載のAV装置。
  3. 前記受信手段は、前記デジタル音声信号をHDMI規格に準拠した形態のデジタルデータとして受信する請求項1記載のAV装置。
  4. 前記記憶手段は、EDIDメモリである請求項1記載のAV装置。
  5. それぞれが入力されたデジタル音声信号に所定の信号処理を施す機能を有する複数の第1のAV装置に、前記信号処理に要する時間情報を示すもので、音声がミュート状態に設定されたとき通常では取り得ない値に書き替えられる情報を格納させる第1の手段と、
    前記複数の第1のAV装置にデジタル音声信号を送信して音声再生に供させる第2のAV装置に対し、前記第1の手段で前記第1のAV装置に格納された情報を取得させる第2の手段と、
    前記第2の手段で取得された情報に基づいて、前記複数の第1のAV装置それぞれの音声ミュートについての設定状態を判断し、前記第2のAV装置から送信されるデジタル音声信号に、前記判断結果に対応した所定の信号処理を施す第3の手段とを具備することを特徴とするインターフェース方式。
  6. 前記第3の手段は、前記第2の手段で取得された情報に基づいて、前記複数の第1のAV装置のうち音声再生可能な第1のAV装置を判別する請求項5記載のインターフェース方式。
  7. それぞれが入力されたデジタル音声信号に所定の信号処理を施す機能を有する複数の第1のAV装置に、前記信号処理に要する時間情報を示すもので、音声がミュート状態に設定されたとき通常では取り得ない値に書き替えられる情報を格納させる第1の手段と、
    前記複数の第1のAV装置にデジタル音声信号を送信して音声再生に供させる第2のAV装置に対し、前記第1の手段で前記第1のAV装置に格納された情報を取得させる第2の手段と、
    前記第2の手段で取得された情報に基づいて、前記複数の第1のAV装置それぞれの音声ミュートについての設定状態を判断し、前記第2のAV装置へデジタル音声信号を送信する第3のAV装置が取得する情報に関して、前記判断結果に対応した所定の情報処理を施す第3の手段とを具備するインターフェース方式。
  8. 前記第3の手段は、前記複数の第1のAV装置の音声の動作状態にある側の情報を選択して前記第3のAV装置が取得するEDID情報とする請求項7記載のインターフェース方式。
JP2011172901A 2011-08-08 2011-08-08 インターフェース方式 Active JP5248663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011172901A JP5248663B2 (ja) 2011-08-08 2011-08-08 インターフェース方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011172901A JP5248663B2 (ja) 2011-08-08 2011-08-08 インターフェース方式

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008279710A Division JP4837018B2 (ja) 2008-10-30 2008-10-30 Av装置

Publications (2)

Publication Number Publication Date
JP2011234418A true JP2011234418A (ja) 2011-11-17
JP5248663B2 JP5248663B2 (ja) 2013-07-31

Family

ID=45323168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011172901A Active JP5248663B2 (ja) 2011-08-08 2011-08-08 インターフェース方式

Country Status (1)

Country Link
JP (1) JP5248663B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP2004007389A (ja) * 2002-03-29 2004-01-08 Hitachi Ltd 音声処理装置、音声処理システム、音声出力装置および映像表示装置
JP2006033436A (ja) * 2004-07-16 2006-02-02 Sony Corp 映像音声処理システム、アンプ装置および音声遅延処置方法
WO2006025441A1 (ja) * 2004-09-02 2006-03-09 Pioneer Corporation 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP4575324B2 (ja) * 2006-03-29 2010-11-04 株式会社東芝 Av装置及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP2004007389A (ja) * 2002-03-29 2004-01-08 Hitachi Ltd 音声処理装置、音声処理システム、音声出力装置および映像表示装置
JP2006033436A (ja) * 2004-07-16 2006-02-02 Sony Corp 映像音声処理システム、アンプ装置および音声遅延処置方法
WO2006025441A1 (ja) * 2004-09-02 2006-03-09 Pioneer Corporation 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP4575324B2 (ja) * 2006-03-29 2010-11-04 株式会社東芝 Av装置及びその制御方法

Also Published As

Publication number Publication date
JP5248663B2 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
JP4575324B2 (ja) Av装置及びその制御方法
US8903523B2 (en) Audio processing device, audio processing method, and program
US8446533B2 (en) Television apparatus and method for controlling the same
US8451388B2 (en) Audio processing apparatus and audio processing method for processing according to detected mode
KR101306706B1 (ko) 디지털 티브이와 연결된 외부기기 자동 설정 장치 및 방법
US10230918B2 (en) Controlling sound output based on an output mode of a device
JP2012119924A (ja) 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
JP4837018B2 (ja) Av装置
JP5291532B2 (ja) Avシステム、オーディオシステム及び映像表示装置
JP2007235519A (ja) 映像音声同期方法及び映像音声同期システム
JP5248663B2 (ja) インターフェース方式
JP2009017187A (ja) 映像音声再生装置、映像音声再生システム及び映像音声再生方法
JP2009021663A (ja) 映像音声再生装置、映像音声再生システム及び映像音声再生方法
KR100640832B1 (ko) 디지털 티브이
JP5127992B2 (ja) 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
JP2012095122A (ja) テレビジョン受像機
JP2013098752A (ja) 映像処理装置及び映像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130410

R151 Written notification of patent or utility model registration

Ref document number: 5248663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250