JP2006211254A - 情報処理装置および回収基板 - Google Patents

情報処理装置および回収基板 Download PDF

Info

Publication number
JP2006211254A
JP2006211254A JP2005020053A JP2005020053A JP2006211254A JP 2006211254 A JP2006211254 A JP 2006211254A JP 2005020053 A JP2005020053 A JP 2005020053A JP 2005020053 A JP2005020053 A JP 2005020053A JP 2006211254 A JP2006211254 A JP 2006211254A
Authority
JP
Japan
Prior art keywords
unit
signal
state
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005020053A
Other languages
English (en)
Other versions
JP2006211254A5 (ja
JP4640579B2 (ja
Inventor
Takeyuki Fujii
建行 藤井
Tetsujiro Kondo
哲二郎 近藤
Kazutaka Ando
一隆 安藤
Naoki Kobayashi
小林  直樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005020053A priority Critical patent/JP4640579B2/ja
Priority to US11/339,041 priority patent/US7616263B2/en
Priority to KR1020060007745A priority patent/KR101247291B1/ko
Priority to EP06001608A priority patent/EP1686788A3/en
Priority to CNB2006100045351A priority patent/CN100493164C/zh
Publication of JP2006211254A publication Critical patent/JP2006211254A/ja
Publication of JP2006211254A5 publication Critical patent/JP2006211254A5/ja
Application granted granted Critical
Publication of JP4640579B2 publication Critical patent/JP4640579B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/50Culture of aquatic animals of shellfish
    • A01K61/51Culture of aquatic animals of shellfish of gastropods, e.g. abalones or turban snails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414Vertical resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Zoology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】構成を複雑とすることなく、個々のユーザの嗜好にあった出力の質調整を容易に行い得るようにする。
【解決手段】画質変更部21は、入力画像信号に対して、調整された解像度とノイズ除去度で解像度創造処理を行う。倍率変更部31は、設定されたズーム率に基づいて、入力画像信号に対して、画像を拡大または縮小する処理を行う。変更部(処理本体部)12に、蓄積部41を持つ回収基板部14が着脱自在に接続されている。蓄積部41は、画像信号源の切替、放送チャネルの切替、ズーム率、解像度、ノイズ除去度の変更に係る制御命令を、履歴として蓄積する。回収基板部14を回収し、蓄積部41の蓄積内容に基づいて、各状態における、ユーザに対応した出力の質調整情報(解像度、ノイズ除去度の予測調整値、調整範囲情報)を得ることができる。
【選択図】 図1

Description

この発明は、例えばテレビ受信機等に適用して好適な情報処理装置および回収基板に関する。
詳しくは、この発明は、処理本体部に着脱自在に接続される回収基板部に、入力される情報信号の状態や情報信号による出力の状態の設定の履歴および情報信号による出力の質の調整の履歴を蓄積する蓄積部を備えることによって、この回収基板部を回収し、蓄積部の蓄積内容に基づいて、設定手段で設定される各状態の、ユーザに対応した出力の質調整情報を得ることができ、構成を複雑とすることなく、個々のユーザの嗜好にあった出力の質調整を容易に行い得るようにした情報処理装置および回収基板に係るものである。
最近、ズーム機能を有するテレビ受信機が提案されている。このテレビ受信機においては、ユーザは、自分自身が好むズーム倍率に画像を拡大または縮小して表示させることができる。
画像を拡大または縮小した場合、MTF(Modulation Transfer Function)も変化する。例えば、特許文献1には、拡大または縮小の倍率に応じた補正係数を用意しておき、その補正係数に基づいてMTFを調整することが記載されている。
特許第2789560号公報
しかし、特許文献1に記載される技術では、倍率に応じて一義的に定まる補正係数に基づいて画質を調整するものであり、個々のユーザの嗜好に合った画質を提供することが難しかった。
この発明の目的は、構成を複雑とすることなく、個々のユーザの嗜好にあった出力の質調整を容易に行い得るようにすることにある。
この発明に係る情報処理装置は、処理本体部と、この処理本体部に着脱自在に接続される回収基板部とを有し、処理本体部は、入力される情報信号を、この情報信号による出力の質が所定の質となるように処理する信号処理部と、この信号処理部における所定の質をユーザが調整するための調整手段と、入力される情報信号の状態および情報信号による出力の状態の少なくともいずれかをユーザが設定するための設定手段とを備え、回収基板部は、設定手段による設定の履歴および調整手段による調整の履歴を蓄積する蓄積部を備えるものである。
また、この発明に係る回収基板は、入力される情報信号を、この情報信号による出力の質が所定の質となるように処理する信号処理部と、この信号処理部における所定の質をユーザが調整するための調整手段と、入力される情報信号の状態および情報信号による出力の状態の少なくともいずれかをユーザが設定するための設定手段とを備える情報処理装置に着脱自在に接続される回収基板であって、設定手段による設定の履歴および調整手段による調整の履歴を蓄積する蓄積部を備えるものである。
この発明においては、回収基板部(回収基板)は処理本体部(情報処理装置)に着脱自在に接続される。処理本体部では、信号処理部で、入力される情報信号が、この情報信号による出力の質が所定の質となるように処理される。
情報信号は、例えば、画像信号、音声信号などである。情報信号が画像信号であるとき、情報信号による出力の質とは、例えば画像信号による画像の解像度、ノイズ除去度等である。情報信号が音声信号であるとき、情報信号による出力の質とは、例えば音声信号による音声のノイズ除去度等である。
また、この処理本体部では、調整手段により、ユーザが、信号処理部における所定の質を調整できるようにされている。同様に、この処理本体部では、設定手段により、ユーザが、入力される情報信号の状態および情報信号による出力の状態の少なくともいずれかを設定できるようにされている。
例えば、入力される情報信号の入力状態は、この情報信号が得られる放送チャネルの切替状態およびこの情報信号を得る情報信号源の切替状態の少なくともいずれかとされる。また例えば、情報信号による出力の状態は、情報信号が画像信号であるとき、例えば画像信号による画像のズーム状態とされる。
回収基板部は蓄積部を備えている。この蓄積部に、入力される情報信号の状態や情報信号による出力の状態の設定の履歴および情報信号による出力の質の調整の履歴が蓄積されている。この回収基板部を回収し、蓄積部の蓄積内容に基づいて、設定手段で設定される各状態の、ユーザに対応した出力の質調整情報を得ることができる。
例えば、質調整情報は、設定手段で設定される各状態に対応した、情報信号による出力の質の予測調整値とされる。また例えば、質調整情報は、設定手段で設定される各状態に対応した、出力の質の調整範囲の情報とされる。例えば、この調整範囲は、予測調整値が略中心となる一定範囲とされる。質調整情報が予測調整値であるとき、設定手段で設定される状態の予測調整値に対応した出力の質となるように信号処理部を制御することで、自動的にユーザの嗜好にあった出力の質となる。また、質調整情報が調整範囲情報であるとき、その情報を用いることで、ユーザは自分が嗜好する出力の質に簡単かつ確実に調整できる。
この質調整情報は、例えばメモリカード等を用いることで、処理本体部に提供できる。なお、回収基板部が、予測調整値を保持する第1の保持部、規制情報を保持する第2の保持部を備える構成とすることで、メモリカード等を用いることなく、この回収基板部により質調整情報を処理本体部に提供できる。
例えば、回収基板部または処理本体部が、設定手段で所定の状態に設定されるとき、回収基板部の第1の保持部に保持されている、この所定の状態の予測調整値に対応した出力の質となるように信号処理部を制御する制御手段を備える構成とすることで、設定手段により所定の状態に設定される都度、ユーザの嗜好に合った出力の質に自動的に調整される。
例えば、信号処理部は、入力情報信号に基づいて、出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択部と、係数種データおよび調整手段による調整値を用いて推定式の係数データを生成する係数データ生成部と、データ選択部で選択された複数の情報データおよび係数データ生成部で生成された係数データを用い、推定式に基づいて、出力情報信号における注目位置の情報データを算出して得る演算部とを有する構成とされる。この場合、設定手段で設定される各状態に対応した係数種データは、その各状態の調整範囲にある質の学習データを用いて生成されたものとされる。例えば、回収基板部は、この係数種データを保持する第3の保持部を備える構成とされる。
この発明によれば、処理本体部(情報処理装置)に着脱自在に接続される回収基板部(回収基板)に、入力される情報信号の状態や情報信号による出力の状態の設定の履歴および情報信号による出力の質の調整の履歴を蓄積する蓄積部を備えるものであり、この回収基板部を回収し、蓄積部の蓄積内容に基づいて、設定手段で設定される各状態の、ユーザに対応した出力の質調整情報を得ることができ、構成を複雑とすることなく、個々のユーザの嗜好にあった出力の質調整を容易に行い得るようにできる。
この発明の実施の形態について説明する。図1は、この発明を適用した画像処理装置の原理的構成を示している。この画像処理装置1は、入力装置11、変更部12、出力デバイス13、および回収基板部14により構成されている。
入力装置11は、画像信号を入力信号として変更部12に入力する。変更部12は、入力された画像信号を処理し、出力信号として出力デバイス13に出力し、この出力デバイス13に画像を表示させる。
入力装置11は、例えばテレビチューナ、DVD(Digital Versatile Disk)プレーヤ、VCR(Video Cassette Recorder)等からなる。ユーザは、テレビチューナ、DVDプレーヤ、VCR等の画像信号源の切替状態、テレビチューナにおける放送チャネルの切替状態を、入力される画像信号の状態として任意に設定できる。
変更部12は、画質変更部21と倍率変更部31とを有している。画質変更部21は、つまみ22,24を有している。ユーザはつまみ22を操作することで解像度を調整でき、調整された解像度の値は表示部23に表示される。同様に、ユーザはつまみ24を操作することでノイズ除去度を調整でき、調整されたノイズ除去度の値は表示部25に表示される。倍率変更部31は、つまみ32を有している。ユーザはつまみ32を操作することで、画像信号による出力の状態としてのズーム率(ズーム状態)を設定でき、設定されたズーム率の値は表示部33に表示される。
回収基板部14は、上述した処理本体部を構成する変更部12に着脱自在に接続される。この回収基板部14、蓄積部41を有している。この蓄積部41は、少なくとも画像信号源の切替、放送チャネルの切替、ズーム率、解像度、ノイズ除去度の変更に係る制御命令を、履歴として蓄積する。
図1に示す画像処理装置1の動作を説明する。入力装置11から入力された画像信号は、変更部12を介して出力デバイス13に供給され、出力デバイス13において対応する画像が表示される。ユーザは、この画像を見て、画像をより拡大または縮小したいとき、つまみ32を操作してズーム率を設定する。設定されたズーム率は、表示部33に表示される。倍率変更部31は、設定されたズーム率に基づいて、入力装置11より入力された画像信号に対して、その画像を拡大または縮小する処理を行い、処理の結果得られた画像信号を出力デバイス13に出力する。これにより、出力デバイス13には、ユーザが設定したズーム率の画像が表示される。
同様にして、ユーザは、つまみ22を操作することで解像度を調整し、またつまみ24を操作することでノイズ除去度を調整する。調整された解像度とノイズ除去度の値は、それぞれ表示部23と表示部25に表示される。画質変更部21は、入力装置11から入力された画像信号に対して、調整された解像度とノイズ除去度で、例えば解像度創造処理を行う。処理後の画像信号は、さらに、倍率変更部31で、設定されたズーム率に基づいて画像の縮小または拡大の処理が行われ、出力デバイス13に供給される。このようにして、出力デバイス13には、ユーザが設定したズーム率で、ユーザが調整した解像度、ノイズ除去度の解像度創造処理が行われた画像が表示される。
回収基板部14の蓄積部41には、ズーム率の変更、解像度、ノイズ除去度の変更、さらには画像信号源の切替、放送チャネルの切替などに係る制御命令が履歴として蓄積される。
この回収基板部14を回収することで、蓄積部41の蓄積内容に基づいて、各状態におけるユーザに対応した出力の質調整情報を得ることができる。ここで、各状態は、画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される。
例えば、この質調整情報として、各状態に対応した画像信号による出力の質の予測調整値、ここでは解像度、ノイズ除去度の予測調整値を得ることができる。また例えば、この質調整情報として、各状態に対応した、出力の質の調整範囲の情報、ここでは解像度、ノイズ除去度の調整範囲の情報を得ることができる。この調整範囲は、例えば予測調整値が略中心となる一定範囲とされる。
この各状態に対応した、解像度、ノイズ除去度の予測調整値およびその調整範囲の求め方については後述する。
このように求められたユーザに対応した出力の質調整情報(解像度、ノイズ除去度の予測調整値、および解像度、ノイズ除去度の調整範囲情報)については、カードメモリなどで変更部12に提供して利用できるが、本実施の形態においては、回収基板部14に、当該質調整情報を保持する保持部(図1には図示せず)を設けており、これに保持されて変更部12に提供される。
例えば、所定の状態に設定されるとき、回収基板部14の保持部に保持されている、この所定の状態の解像度、ノイズ除去度の予測調整値に対応した解像度、ノイズ除去度で解像度創造処理が行われるように画質変更部21が制御され、ユーザの嗜好に合った解像度、ノイズ除去度の解像度創造処理が行われた画像が表示されるようになる。
また例えば、所定の状態に設定されるとき、回収基板部14の保持部に保持されている、この所定の状態の解像度、ノイズ除去度の調整範囲情報により調整範囲が規制されることで、ユーザは自分が嗜好する解像度、ノイズ除去度に簡単かつ確実に調整できるようになる。
図2は、この発明を適用した画像処理装置の具体的な構成を示している。この画像処理装置51は、テレビチューナ61、入力切替部62、倍率画質変更部63、画質設定部64、音質設定部65、モニタ66、受光部67、制御部68、リムーバブルメディア69、および回収基板部70により構成されている。回収基板部70は、図1の回収基板部14に対応したものであり、さらに蓄積部81、情報取得部82および係数メモリ83により構成されている。そして、これらの各部は、バス60により相互に接続され、必要な制御命令が、各部に供給されるようになされている。
テレビチューナ61は、図示せぬアンテナを介して受信した地上波、衛星等からの放送信号を復調し、画像信号と音声信号を入力切替部62に出力する。入力切替部62にはまた、図示せぬDVDプレーヤまたはVCRなどから出力された画像信号と音声信号も入力されている。ここで、テレビチューナ61、DVDプレーヤ、VCR等は、それぞれ、画像信号源を構成している。入力切替部62は、制御部68からの指令に基づいて、入力された画像信号と音声信号のうち、所定の画像信号源(ソース)のものを選択し、選択された画像信号を倍率画質変更部63に供給するとともに、選択された音声信号を音質設定部65に出力する。
倍率画質変更部63は、入力された画像信号の倍率と画質を、制御部68からの制御命令に基づいて変更し、画質設定部64に出力する。すなわち、倍率画質変更部63は、図1における変更部12に対応する機能を有する。倍率画質変更部63は、入力された画像信号に対して、解像度、ノイズ除去度の画質変更処理およびズーム率の変更処理を行う。
画質設定部64は、倍率画質変更部63で変更される以外の画質、例えば、明るさ、色合いなどの設定を行う。画質設定部64により明るさや色合いが調整された画像信号は、モニタ66に供給される。音質設定部65は、入力された音声信号の音質を制御部68からの制御命令に基づいて調整設定し、モニタ66に出力する。モニタ66は、入力された画像信号に対応する画像を表示するとともに、入力された音声信号に対応する音声を、内蔵するスピーカから出力する。
制御部68は、例えば、マイクロコンピュータなどにより構成される。受光部67は、図示せぬリモートコントローラからの赤外線信号を受光し、その赤外線信号に対応する信号を制御部68に出力する。リムーバブルメディア69は、必要に応じて装着され、記録されているプログラムなどを制御部68に供給する。制御部68は、受光部67より供給された信号に基づいて、対応する制御命令を生成し、バス60を介して各部に出力する。
回収基板部70の情報取得部82は、例えば、マイクロコンピュータなどにより構成され、バス60を介して入力された制御命令に基づいて、蓄積部81および倍率画質変更部63の動作を制御する。蓄積部81(図1の蓄積部41に対応する)は、情報取得部82により取得された制御命令を履歴として蓄積する。
情報取得部82は、不揮発性メモリ82aを備えている。この不揮発性メモリ82aに、上述した各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)の、出力の質調整情報(解像度、ノイズ除去度の予測調整値、および解像度、ノイズ除去度の調整範囲情報)が保持されている。この不揮発性メモリ82aは、第1の保持部および第2の保持部を構成している。
情報取得部82は、制御命令がズーム倍率の変更、画像信号源の切替、あるいは放送チャネルの切替に係るものであって、所定の状態に設定されるとき、その所定の状態に対応した、解像度、ノイズ除去度の予測調整値を、不揮発性メモリ82aから読み出して倍率画質変更部63に送信し、この倍率画質変更部63の画質変更部で、その解像度、ノイズ除去度の予測調整値に対応した解像度創造処理が行われるように制御する。
なお、この制御は、処理本体部側にある制御部68で行うようにしてもよい。この場合、制御部68は、所定の状態に設定されるとき、その所定の状態に対応した、解像度、ノイズ除去度の予測調整値を、不揮発性メモリ82aから読み出して倍率画質変更部63に送る。
係数メモリ83は、不揮発性メモリからなり、倍率画質変更部63の画質変更部で用いる、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)における、各クラスの係数種データを保持する。
ここで、倍率画質変更部63の画質変更部の構成例を説明する。図3は、この画質変更部の構成例を示している。
この画質変更部は、画像信号Vaが入力される入力端子201と、この入力端子201に入力された画像信号Vaを処理する処理部202と、この処理部202で得られた画像信号Vbを出力する出力端子203と、処理部202の動作を制御する制御部204とを有している。
制御部204は、バス60で送られてくる制御命令などに基づいて、処理部202の動作を制御する。例えば、制御部204は、図示せずも、MPU、このMPUの動作プログラム等が記憶されたROM、このMPUの作業領域を構成するRAM等を備えた構成とされている。
処理部202は、例えば、525i信号というSD(Standard Definition)信号である画像信号Vaを、1050i信号というHD(High Definition)信号である画像信号Vbに変換する。525i信号は、1フレームのライン数が525本である、インタレース方式の画像信号である。1050i信号は、1フレームのライン数が1050本である、インタレース方式の画像信号である。
図4は、525i信号および1050i信号のあるフレーム(F)の画素位置関係を示すものであり、奇数(o)フィールドの画素位置を実線で示し、偶数(e)フィールドの画素位置を破線で示している。大きなドットが525i信号の画素であり、小さいドットが1050i信号の画素である。図4からわかるように、1050i信号の画素データとしては、525i信号のラインに近い位置のラインデータL1,L1′と、525i信号のラインから遠い位置のラインデータL2,L2′とが存在する。ここで、L1,L2は奇数フィールドのラインデータ、L1′,L2′は偶数フィールドのラインデータである。また、1050i信号の各ラインの画素数は、525i信号の各ラインの画素数の2倍である。
図3に戻って、処理部202は、バッファメモリ211と、予測タップ選択部212と、クラスタップ選択部213とを有している。バッファメモリ211は、入力端子201に入力された画像信号Vaを一時的に記憶する。タップ選択部212,213は、それぞれ、バッファメモリ211に記憶されている画像信号Vaに基づいて、画像信号Vbにおける注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
図5Aは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図5Bは、クラスタップのデータとして抽出される複数の画素データ(実線部分)のパターン例を示している。なお、この図5A,Bでは、注目位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドから抽出することも考えられる。
また、処理部202は、クラス検出部214を有している。このクラス検出部214は、クラスタップ選択部213で抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Vbにおける注目位置の画素データが属するクラスを示すクラスコードCLを取得する。例えば、データ圧縮処理としては、ADRC(Adaptive Dynamic Range Coding)、DPCM(予測符号化)、VQ(ベクトル量子化)等を利用できる。本実施の形態では、ADRC、例えば1ビットADRCを利用している。
まず、KビットADRCを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値MAXと最小値MINの差分であるダイナミックレンジDR=MAX−MINを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値MINを減算し、その減算値をDR/2Kで除算(量子化)し、クラスタップを構成するそれぞれの画素データをKビットに再量子化し、それを所定の順番で並べたビット列をクラスコードCLとする。
したがって、1ビットADRCを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値MINを減算し、その減算値をDR/2で除算し、クラスタップに含まれるそれぞれの画素データを1ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードCLとして出力する。
また、処理部202は、係数データ生成部215を有している。後述する推定予測演算部217では、予測タップとしての複数の画素データxiと、係数データWiとを用い、(1)式の推定式に基づいて、画像信号Vbにおける注目位置の画素データyが求められる。この(1)式において、nは、予測タップとしての複数の画素データxiの個数である。
Figure 2006211254
上述した係数メモリ83に保持される係数種データは、上述した推定式の係数データWiを生成するための、画質パラメータr,zを含む生成式の係数データである。(2)式は、その生成式の一例を示しており、wijが係数種データである。ここで、画質パラメータrは解像度を決めるパラメータであり、画質パラメータzはノイズ除去度を決めるパラメータである。この係数種データwijは、画像信号Vaを(525i信号)を、画像信号Vb(1050i信号)に変換するための情報である。
Figure 2006211254
上述の図4に示すように、525i信号を1050i信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、525i信号の1画素に対応して1050i信号の4画素を得る必要がある。
図6は、奇数、偶数フィールドにおける1050i信号を構成する2×2の単位画素ブロックUB内の4画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックUB内の4画素HD1〜HD4の位置は、それぞれ、中心予測タップSD0の位置から、水平方向にk1〜k4、垂直方向にm1〜m4だけずれている。偶数フィールドの場合、単位画素ブロックUB内の4画素HD1′〜HD4′の位置は、それぞれ、中心予測タップSD0′の位置から、水平方向にk1′〜k4′、垂直方向にm1′〜m4′だけずれている。
そのため、上述した各クラスの係数種データwijは、8種類の出力画素(HD1〜HD4,HD1′〜HD4′)にそれぞれ対応した係数種データwijからなっている。結局、係数メモリ83には、クラスおよび出力画素の組み合わせ毎に、係数種データwijが格納されている。
この係数種データwijは、画像信号Vbに対応した教師信号としての画像信号Vb′と画像信号Vaに対応した生徒信号としての画像信号Va′とから学習によって予め生成されたものである。この係数種データwijの生成方法の詳細については後述する。
係数データ生成部215は、奇数、偶数の各フィールドにおいて、クラス検出部214で得られたクラスコードCLが表すクラスの、4出力画素(図6のHD1〜HD4、またはHD1′〜HD4′)にそれぞれ対応した4画素分の係数種データwijを係数メモリ83から取得し、さらに制御部204から供給される画質パラメータr,zの値を用い、(2)式の生成式に基づいて、4画素分の係数データWiを生成する。
ここで、係数メモリ83から取得する係数種データwijは、現在の画像信号源の切替状態、テレビチューナ61の放送チャネルの切替状態、ズーム率による現在状態に対応した係数種データwijとされる。また、制御部204から係数データ生成部215に供給される画質パラメータr,zの値は、以下の値とされる。すなわち、画像信号源の切替、放送チャネルの切替、あるいはズーム倍率の変更により、所定の状態に設定されるときは、上述したように情報取得部82から送られてくる解像度、ノイズ除去度の予測調整値とされる。またその後、ユーザの操作により解像度、ノイズ除去度の値が調整されるときは、その調整後の解像度、ノイズ除去度の値とされる。
なお、ユーザの操作により解像度、ノイズ除去度の調整が行われるが、制御部204は、バス60を介して情報取得部82の不揮発性メモリ82aから、現在の状態に対応した調整範囲情報を取得し、その調整範囲情報に基づいてユーザによる解像度、ノイズ除去度の調整範囲を規制する。例えば、この調整範囲を、解像度、ノイズ除去度の予測調整値を略中心とする一定範囲に規制する。
また、処理部202は、推定予測演算部217を有している。この推定予測演算部217は、画像信号Vbにおける注目位置に存在する単位画素ブロックUB毎に画素データを求める。すなわち、推定予測演算部217は、予測タップ選択部212で抽出される単位画素ブロックUB内の4画素(注目画素)に対応した、予測タップのデータxi、および係数データ生成部215で生成される、その単位画素ブロックUB内の4画素に対応した4画素分の係数データWiを用い、その単位画素ブロックUBを構成する4画素の画素データy1〜y4を、それぞれ上述した(1)式の推定式で、個別に演算する。
また、処理部202は、後処理部218を有している。この後処理部218は、推定予測演算部217より順次出力される、単位画素ブロックUB内の4画の画素データy1〜y4を線順次化し、1050i信号のフォーマットで出力する。
次に、図3に示す画質変更部の動作を説明する。
SD信号である画像信号Vaが入力端子201に入力され、この画像信号Vaはバッファメモリ211に一時的に記憶される。そして、この画像信号Vaに基づき、クラス分類適応処理により、画像信号Vbを構成する各画素データが生成される。
すなわち、クラスタップ選択部213では、バッファメモリ211に記憶されている画像信号Vaに基づいて、画像信号Vbにおける注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出部214に供給される。
クラス検出部214では、クラスタップのデータとしての複数の画素データに、例えば1ビットADRCのデータ圧縮処理が施されて、画像信号Vbにおける注目位置の画素データが属するクラスを示すクラスコードCLが得られる。このクラスコードCLは係数データ生成部215に供給される。
この係数データ生成部215では、奇数、偶数の各フィールドにおいて、クラスコードCLで示されるクラスの、4出力画素(図6のHD1〜HD4、またはHD1′〜HD4′)にそれぞれ対応した4画素分の係数種データwi0〜wi9が、係数メモリ83から取得される。また、この係数データ生成部215には、制御部204から画質パラメータr,zの値が供給される。そして、この係数データ生成部215では、各フィールドにおいて、4画素分の係数種データwi0〜wi9および画質パラメータr,zの値が用いられ、上述の(2)式の生成式に基づいて、4出力画素分の係数データWiが生成される。この係数データWiは、推定予測演算部217に供給される。
また、予測タップ選択部212では、バッファメモリ211に記憶されている画像信号Vaに基づいて、画像信号Vbにおける注目位置の周辺に位置する複数の画素データxiが、予測タップのデータとして選択的に抽出される。この複数の画素データxiは、推定予測演算部217に供給される。推定予測演算部217では、予測タップ選択部212で抽出された予測タップのデータとしての複数の画素データxiと、係数データ生成部215で生成された4出力画素分の係数データWiとから、画像信号Vbにおける注目位置に存在する単位画素ブロックUB内の4画素(注目画素)の画素データy1〜y4が、上述の(1)式の推定式に基づいて、個別に演算される。
この推定予測演算部217より順次出力される、画像信号Vbを構成する各単位画素ブロックUB内の4画素の画素データy1〜y4は、後処理部218に供給される。この後処理部218では、推定予測演算部217より順次供給される単位画素ブロックUB内の4画素のデータy1〜y4が線順次化され、1050i信号のフォーマットで出力される。つまり、後処理部218からは画像信号Vb(1050i信号)が得られ、この画像信号Vbは出力端子203に出力される。
図7は、回収基板部70の情報取得部82の構成例を示している。この情報取得部82は、CPU101、ROM102、RAM103、不揮発性メモリ82aおよび入出力インタフェース(入出力I/F)104で構成され、これらはバス105に接続されている。ROM102は、CPU101の動作プログラム等を記憶している。RAM103は、CPU101の作業領域を構成している。不揮発性メモリ82aには、上述したように、各状態の出力の質調整情報が保持されている。入出力I/F104は、バス60との間の入出力のインタフェース処理を行う。
次に、図2の画像処理装置51の動作について説明する。
ユーザがリモートコントローラを操作して、例えば、所定のチャネルのテレビ放送の受信を指令すると、その指令に対応する赤外線信号が、受光部67により受信され、対応する信号が、制御部68に供給される。制御部68は、この信号に基づいて、バス60を介してテレビチューナ61に、指定されたチャネルの受信を指令する制御命令を出力する。テレビチューナ61は、この制御命令を受信したとき、指定されたチャネルの放送信号を受信し、これを復調して画像信号と音声信号を入力切替部62に出力する。制御部68は、いま、テレビ放送の受信が指令されているので、バス60を介して入力切替部62にテレビチューナ61の出力を選択するように制御命令を出力する。入力切替部62は、この制御命令に基づいて、テレビチューナ61から供給された画像信号と音声信号を選択し、この画像信号を倍率画質変更部63に供給し、この音声信号を音質設定部65に供給する。
倍率画質変更部63は、入力された画像信号を、倍率および画質の変更が指示されていなければ、そのまま画質設定部64に出力する。画質設定部64は、倍率画質変更部63より供給された画像信号の明るさと色合いを、バス60を介して制御部68から供給される制御命令に基づいて、指定された値に調整、設定し、モニタ66に出力する。音質設定部65は、バス60を介して、制御部68から供給される制御命令に基づいて、入力切替部62により供給される音声信号の音質を調整、設定し、モニタ66に出力する。
このようにして、モニタ66からは、指定されたチャネルのテレビ放送の画像と音声が出力される。
ユーザがリモートコントローラを制御してズーム率、あるいは解像度、ノイズ除去度の変更を指令すると、制御部68は、バス60を介して、倍率画質変更部63を制御する。倍率画質変更部63は、この制御に基づいて、変更されたズーム率で圧縮または縮小の処理を行った画像信号を生成するとともに、変更された解像度、ノイズ除去度を満足する解像度創造処理を行う。これにより、モニタ66には、ユーザが指定したズーム率で、ユーザが指定した解像度とノイズ除去度の解像度創造処理を行った画像が表示される。
この場合、倍率画質変更部63では、入力される画像信号の状態およびモニタ66に表示される画像信号による画像のズーム状態に応じて、解像度、ノイズ除去度の調整範囲が規制される。この調整範囲の規制は、情報取得部82の不揮発性メモリ82aに保持されている調整範囲情報に基づいて行われる。ここで、情報取得部82の不揮発性メモリ82aに、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)の、ユーザに対応した調整範囲情報が保持されていれば、ユーザは解像度、ノイズ除去度の調整を希望する値に簡単かつ確実に調整できる。
また、ユーザがリモートコントローラを制御して、テレビチューナ61のチャネルを変更し、あるいは入力切替部62で選択する画像信号源を切り替えるように指令した場合、倍率画質変更部63に入力される画像信号の状態が変化する。また、あるいはユーザがリモートコントローラを制御してズーム率の変更を指令した場合、モニタ66に表示される画像信号による画像のズーム状態が変化する。
このような状態の変化がある場合、回収基板部70の情報取得部82からバス60を介して倍率画質変更部63に、変化後の状態に対応した解像度、ノイズ除去度の予測調整値が送信される。倍率画質変更部63は、送られてくる解像度、ノイズ除去度の予測調整値を満足する解像度創造処理を行う。これにより、モニタ66には、変化後の状態に対応した解像度とノイズ除去度の解像度創造処理を行った画像が表示される。
ここで、情報取得部82の不揮発性メモリ82aに、各変化状態の、ユーザに対応した解像度、ノイズ除去度の予測調整値が保持されていれば、変化後の状態でモニタ66に表示される画像の解像度およびノイズ除去度は自動的にユーザの嗜好にあったものとなる。すなわちこの場合、変化後の状態で、ユーザの手を煩わせることなく、ユーザの嗜好にあった解像度およびノイズ除去度を提供できる。
ここで、例えば、テレビチューナ61により、図8に示すような画像が受信された場合について述べる。ユーザが1倍、2倍、または3倍のズーム率を指定すると、それぞれ、図9A、図9B、または図9Cに示すような画像がモニタ66に表示される。すなわち、ユーザが、2倍のズーム率を指定した場合には、図9Aにおける2倍ズームの画角F2の画像が、図9Bに示すように拡大して表示され、3倍のズーム率が指定された場合には、図9Aにおける3倍ズームの画角F3の画像が図9Cに示すように拡大して表示される。
そして、各ズーム率において、画像の解像度およびノイズ除去度は自動的にユーザの嗜好にあったものに調整される。図10A,Bは、1倍のズーム率を指定した場合において解像度が自動調整された画像の例を示している。図10Aは、解像度が比較的小さい値に調整された場合の画像を示し、図10Bは、それより大きい値に解像度が調整された場合の画像を示している。
また、回収基板部70では、情報取得部82により、バス60を介して入力された制御命令が蓄積部81に順次蓄積されていく。図11のフローチャートは、情報取得部82の動作を示している。
まず、ステップST11で処理を開始し、ステップST12で、待機状態にする。そして、ステップST13で、バス60より制御命令を受信したか否かを判定する。制御命令を受信していないときは、ステップST12に戻って待機状態にする。
制御命令を受信したときは、ステップST14で、前回取得した制御命令と同一か否かを判定する。この判定は、受信した制御命令をバッファ(RAM103に設けられている)に記憶されている制御命令と比較することで行われる。
同一であるときは、ステップST12に戻って待機状態にする。同一でないときは、ステップST15に進む。このステップST15では、受信した制御命令を蓄積部81に記憶する。そして、ステップST16で、その制御命令を、上述したステップST14で使用するために、バッファに記憶する。
次に、ステップST17で、受信した制御命令が、画像信号源の切替、放送チャネルの切替、またはズーム率の変更に係るものであって、状態(入力される画像信号の状態および画像のズーム状態)を変化させるものであるか否かを判定する。状態を変化させるものでないときは、ステップST12に戻って待機状態にする。
状態を変化させるものであるときは、ステップST18に進む。このステップST18では、変化後の状態に対応した解像度、ノイズ除去度の予測調整値を不揮発性メモリ82aから読み出し、倍率画質変更部63に送信する。そして、その後に、ステップST12に戻って待機状態にする。
次に、回収基板部70の蓄積部81の蓄積内容に基づいて、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)の、ユーザに対応した解像度、ノイズ除去度の予測調整値を求める方法を説明する。
まず、蓄積部81から、入力される画像信号の各状態にそれぞれ対応したズーム率、解像度値、ノイズ除去度値のデータを抽出する。
図12A,Bは、この場合の処理例を示している。図12Aは蓄積部に蓄積されているデータ(制御命令)を示している。入力される画像信号がテレビチューナ61から出力される8チャネルの画像信号である状態においては、例えば図12Bに枠を付して示すように、「チャネル8」に係るデータ(ズーム率、解像度値、ノイズ除去度値)を抽出していく。入力される画像信号のその他の状態においても、同様にして、データを抽出する。
次に、入力される画像信号の各状態において、蓄積部81から抽出されたデータをズーム率毎に分ける。これにより、入力される画像信号の状態およびズーム率(ズーム状態)の各組み合わせ毎に、解像度値およびノイズ除去度値のデータ群を得る。
次に、上述の各組み合わせ毎に、データ群に含まれる複数の解像度値の重心を求め、その重心を解像度の予測調整値とする。同様に、上述の各組み合わせ毎に、データ群に含まれる複数のノイズ除去度値の重心を求め、その重心をノイズ除去度の予測調整値とする。なお、解像度、ノイズ除去度の重心を求める際に、例えば日付に基づいて重み付けされる。
図13は、ある組み合わせにおける解像度値およびノイズ除去度値のデータ群を表している。ここでは、色が濃いほど時間的に新しいデータあることを表し、色が薄いほど時間的に古いデータであることを表している。この場合、色が濃い新しいデータほど大きな係数で重み付けされて、解像度およびノイズ除去度の重心が演算される。V21は、演算結果としての解像度の重心であり、この重心が解像度の予測調整値となる。N21は、演算結果としてのノイズ除去度の重心であり、この重心がノイズ除去度の予測調整値となる。
次に、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)の、ユーザに対応した解像度、ノイズ除去度の調整範囲を求める方法を説明する。
まず、上述したように、各状態の、ユーザに対応した解像度、ノイズ除去度の予測調整値を求める。そして、各状態毎に、解像度、ノイズ除去度の予測調整値を略中心とする一定範囲を解像度、ノイズ除去度の調整範囲とする。
例えば、図14の座標範囲A1に示すように、解像度の調整範囲が40〜150であり、ノイズ除去度の調整範囲が70〜120であるときのユーザ調整値が、解像度については小さな値側に偏っており、ノイズ除去度については大きな値側に偏っており、解像度の予測調整値V21が65で、ノイズ除去度の予測調整値N21が105と求められるとする。このとき、図14の座標範囲A2に示すように、解像度の調整範囲は20〜130と求められ、ノイズ除去度の調整範囲は80〜130と求められる。このように求められた調整範囲により、ユーザは、より小さな解像度値に調整が可能となり、またより大きなノイズ除去度値に調整が可能となる。したがって、ユーザは、自分の嗜好にあった解像度とノイズ除去度となるように、簡単かつ確実に調整できる。
図15は、解像度、ノイズ除去度の調整範囲がズーム率によらず一定である場合の、各ズーム率における解像度、ノイズ除去度のユーザ調整値(「+印」で図示)の分布例を示している。この場合、ズーム率が大きくなるほど、解像度のユーザ調整値は小さな値側に、ノイズ除去度のユーザ調整値は大きな値側に寄っていき、ユーザの調整範囲は実質的に狭くなっていると思われる。
この場合、図16に実線枠で示すように、解像度、ノイズ除去度の調整範囲が求められる。これにより、ズーム率が大きい場合にも、ユーザに実質的に広い調整範囲を提供できる。なお、図16の破線枠は、図15に対応した解像度、ノイズ除去度の調整範囲を示している。
次に、回収基板部70の係数メモリ83が保持する、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)における、各クラスの係数種データの生成方法を説明する。この係数種データは、学習によって生成される。ここでは、(2)式の生成式における係数データである係数種wi0〜wi9を求める例を示すものとする。
ここで、以下の説明のため、(3)式のように、tj(j=0〜9)を定義する。
0=1,t1=r,t2=z,t3=r2,t4=rz,t5=z2,t6=r3
7=r2z,t8=rz2,t9=z3
・・・(3)
この(3)式を用いると、(2)式は、(4)式のように書き換えられる。
Figure 2006211254
最終的に、学習によって未定係数wijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、(1)式および(2)式を用いて、Eは(5)式で表される。ここで、xikはSD信号のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応するk番目のHD信号の画素データを表している。
Figure 2006211254
最小二乗法による解法では、(5)式のwijによる偏微分が0になるようなwijを求める。これは、(6)式で示される。
Figure 2006211254
ここで、(7)式、(8)式のように、Xipjq、Yipを定義すると、(6)式は、行列を用いて、(9)式のように書き換えられる。
Figure 2006211254
Figure 2006211254
この(9)式が、係数種データwi0〜wi9を算出するための正規方程式である。この正規方程式を掃き出し法(Gauss-Jordanの消去法)等の一般解法で解くことにより、係数種データwi0〜wi9を求めることができる。
図17は、ある状態における係数種データの生成方法の概念を示している。
教師信号としてのHD信号から、生徒信号としての複数のSD信号を生成する。ここで、HD信号からSD信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるSD信号を生成する。
解像度の異なるSD信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるSD信号とボケ具合の小さな画像が得られるSD信号があった場合、ボケ具合の大きな画像が得られるSD信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるSD信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
また、解像度の異なるSD信号の各々に対してノイズを加えることで、ノイズの加わったSD信号を生成する。ノイズを加える量を可変することでノイズ量が異なるSD信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたSD信号とノイズを少し加えたSD信号とがあった場合、ノイズをたくさん加えたSD信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたSD信号による学習でノイズ除去効果の弱い係数種データが生成される。
ノイズを加える量としては、例えば(10)式のように、SD信号の画素値xに対して、ノイズnを加えてノイズの加わったSD信号の画素値x′を生成する場合、Gを可変することでノイズ量を調整する。
x′=x+G・n ・・・(10)
例えば、周波数特性を可変する画質パラメータrの値を、上述したある状態で求められた解像度の調整範囲の最小値Vminから最大値Vmaxまで所定ステップΔVで複数段階に可変し、またノイズを加える量を可変する画質パラメータzの値を、上述したある状態で求められたノイズ除去度の調整範囲の最小値Nminから最大値Nmaxまで所定ステップΔNで複数段階に可変して、複数種類のSD信号を生成する。この複数種類のSD信号とHD信号との間で学習を行って、係数種データを生成する。この画質パラメータr,zは、図3の画質変更部における係数データ生成部215に供給される画質パラメータr,zに対応したものである。
次に、上述した係数種データwi0〜wi9を生成するための係数種データ生成装置250について説明する。図18は、この係数種データ生成装置250の構成を示している。
この係数種データ生成装置250は、入力端子251と、SD信号生成部252とを有している。入力端子251は、上述した画像信号Vbに対応した、教師信号としての画像信号Vb′を入力するための端子である。SD信号生成部252は、この画像信号Vb′に対して、水平および垂直の間引き処理を行って、上述した画像信号Vaに対応した、生徒信号としての画像信号Va′を生成する。このSD信号生成部252には、画質パラメータr,zが供給される。画質パラメータrの値に対応して、画像信号Vb′から画像信号Va′を生成する際に使用する間引きフィルタの周波数特性が可変される。また、画質パラメータzの値に対応して、画像信号Va′に加えるノイズの量が可変される。
また、係数種データ生成装置250は、予測タップ選択部253と、クラスタップ選択部254とを有している。これらタップ選択部253,254は、それぞれ、SD信号生成部252で生成された画像信号Va′に基づいて、画像信号Vb′における注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択部253,254は、それぞれ、上述した処理部202(図3参照)のタップ選択部212,213に対応している。
また、係数種データ生成装置250は、クラス検出部255を有している。このクラス検出部255は、クラスタップ選択部254で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Vb′における注目位置の画素データが属するクラスを示すクラスコードCLを生成する。このクラス検出部255は、上述した処理部202のクラス検出部214に対応している。
また、係数種データ生成装置250は、教師タップ選択部256を有している。この教師タップ選択部256は、画像信号Vb′に基づいて、当該画像信号Vb′における注目位置の画素データを選択的に抽出する。
また、係数種データ生成装置250は、正規方程式生成部257を有している。この正規方程式生成部257は、教師タップ選択部256で選択的に抽出された、画像信号Vb′における各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して予測タップ選択部253で選択的に抽出された、予測タップのデータとしての複数の画素データxiと、各注目位置の画素データyにそれぞれ対応してクラス検出部255で生成されたクラスコードCLと、画質パラメータr,zの値とから、クラス毎に、係数種データwi0〜wi9を得るための正規方程式((9)式参照)を生成する。
この場合、1個の画素データyとそれに対応する複数個の画素データxiとの組み合わせで1個の学習データが生成される。教師信号としての画像信号Vb′と、それに対応した生徒信号としての画像信号Va′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部257では、各クラスの係数種データwi0〜wi9を得るための正規方程式がそれぞれ生成される。
またこの場合、正規方程式生成部257では、出力画素(図6のHD1〜HD4,HD1′〜HD4′)毎に、正規方程式が生成される。すなわち、HD1〜HD4,HD1′〜HD4′に対応した正規方程式は、それぞれ、中心予測タップSD0,SD0′からのずれ値がHD1〜HD4,HD1′〜HD4′と同じ関係にある画素データyから構成される学習データを用いて生成される。結局、正規方程式生成部257では、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を得るための正規方程式が生成される。
また、係数種データ生成装置250は、係数種データ決定部258と、係数種メモリ259とを有している。係数種データ決定部258は、正規方程式生成部257から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を求める。係数種メモリ259は、係数種データ決定部258で求められた係数種データwi0〜wi9を格納する。
次に、図18に示す係数種データ生成装置250の動作を説明する。
入力端子251には、教師信号としての画像信号Vb′が入力される。この画像信号Vb′に対して、SD信号生成部252で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Va′が生成される。この場合、SD信号生成部252には画質パラメータr,zが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Va′が順次生成されていく。
クラスタップ選択部254では、画像信号Va′に基づいて、画像信号Vb′における注目位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部255に供給される。そして、クラス検出部255では、各画素データに対してADRC等のデータ圧縮処理が施されて、画像信号Vb′における注目位置の画素データが属するクラスを示すクラスコードCLが生成される。このクラスコードCLは、正規方程式生成部257に供給される。
予測タップ選択部253では、画像信号Va′に基づいて、画像信号Vb′における注目位置の周辺に位置する複数の画素データxiが予測タップのデータとして選択的に抽出される。この複数の画素データxiは、正規方程式生成部257に供給される。また、教師タップ選択部256では、画像信号Vb′に基づいて、当該画像信号Vb′における注目位置の画素データyが選択的に抽出される。この画素データyは、正規方程式生成部257に供給される。
正規方程式生成部257では、画像信号Vb′における各注目位置を対象として、当該各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応した、予測タップのデータとしての複数の画素データxiと、各注目位置の画素データyが属するクラスを示すクラスコードCLと、SD信号生成部252に供給されている画質パラメータr,zの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9を得るための正規方程式((9)式参照)が生成される。
そして、係数種データ決定部258では、正規方程式生成部257から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9が求められる。この係数種データwi0〜wi9は、係数種メモリ259に格納される。
このように、図18に示す係数種データ生成装置250においては、回収基板部70の係数メモリ83に格納すべき、係数種データwi0〜wi9を生成できる。
上述したように、図2に示す画像処理装置51の回収基板部70の蓄積部81には、ズーム率の変更、解像度、ノイズ除去度の変更、さらには画像信号源の切替、放送チャネルの切替などに係る制御命令が履歴として蓄積されるものである。したがって、この回収基板部70を回収し、蓄積部81の蓄積内容に基づいて、各状態(画像信号源の切替、放送チャネルの切替、ズーム率の変更によって変化する、入力される画像信号の状態および画像信号による画像のズーム状態の組み合わせで構成される)における、ユーザに対応した出力の質調整情報(解像度、ノイズ除去度の予測調整値、その調整範囲情報)を得ることができる。この場合、画像処理装置51内で出力の質調整情報を求める処理を行うものではなく、画像処理装置51自体の構成を複雑にしないで済む。
なお、上述実施の形態においては、画像信号による画像の質として解像度、ノイズ除去度の例を示したものであるが、画像の質はこれに限定されるものではない。例えば、明るさ、コントラスト、色温度なども考えられる。
また、上述実施の形態においては、入力される画像信号の状態として、画像信号源の切替、放送チャネルの切替によるものを示したが、その他の状態であってもよい。例えば、入力される画像信号のノイズレベルなども考えられる。
また、上述実施の形態においては、画像信号による画像の状態として、ズーム状態を示したが、その他の状態であってもよい。例えば、出力デバイスとして、例えばCRTディスプレイ、LCD、PDP等の切替ができるものでは、その切替状態であってもよい。
また、上述実施の形態においては、情報信号が画像信号であるものを示したが、この発明は情報信号が音声信号であるものにも同様に適用できる。この場合、入力される音声信号の状態として、音声信号源の切替、放送チャネルの切替、あるいはノイズレベルによるものが考えられる。また、音声信号による音声の状態として、音量などが考えられる。また、音声信号による音声の質としてノイズ除去度、解像度等が考えられる。
この発明は、回収基板部に、入力される情報信号の状態や情報信号による出力の状態の設定の履歴および情報信号による出力の質の調整の履歴を蓄積する蓄積部を備え、この回収基板部を回収し、蓄積部の蓄積内容に基づいて、ユーザに対応した、各状態の出力の質調整情報を得ることができるようにしたものであり、画像表示装置、音響装置等に適用できる。
実施の形態としての画像処理装置の原理的構成を示すブロック図である。 実施の形態としての画像処理装置の具体的な構成を示すブロック図である。 画質変更部の構成例を示すブロック図である。 SD信号とHD信号の画素位置関係を示す図である。 予測タップ、クラスタップのパターン例を示す図である。 HD信号の単位画素ブロック内の4画素の中心予測タップからの位相ずれを示す図である。 回収基板部の情報取得部の構成例を示すブロック図である。 入力画像の例を示す図である。 出力画像の例を示す図である。 出力画像の例を示す図である。 情報取得部の動作を示すフローチャートである。 蓄積データの抽出処理を説明するための図である。 解像度、ノイズ除去度の予測調整値の求め方を説明するための図である。 解像度、ノイズ除去度の調整範囲の求め方を説明するための図である。 ズーム率と、解像度、ノイズ除去度のユーザ調整値との関係例を示す図である。 解像度、ノイズ除去度の、求められた調整範囲を示す図である。 係数種データの生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。
符号の説明
1・・・画像処理装置、11・・・入力装置、12・・・変更部、13・・・出力デバイス、14・・・回収基板部、21・・・画質変更部、22,24・・・つまみ、23,25・・・表示部、31・・・倍率変更部、32・・・つまみ、33表示部、41・・・蓄積部、51・・・画像処理装置、60・・・バス、61・・・テレビチューナ、62・・・入力切替部、63・・・倍率画質変更部、64・・・画質設定部、65・・・音質設定部、66・・・モニタ、67・・・受光部、68・・・制御部、69・・・リムーバブルメディア、70・・・回収基板部、81・・・蓄積部、82・・・情報取得部、82a・・・不揮発性メモリ、83・・・係数メモリ

Claims (10)

  1. 処理本体部と、該処理本体部に着脱自在に接続される回収基板部とを有し、
    上記処理本体部は、
    入力される情報信号を、該情報信号による出力の質が所定の質となるように処理する信号処理部と、
    上記信号処理部における上記所定の質をユーザが調整するための調整手段と、
    上記入力される情報信号の状態および上記情報信号による出力の状態の少なくともいずれかをユーザが設定するための設定手段とを備え、
    上記回収基板部は、
    上記設定手段による設定の履歴および上記調整手段による調整の履歴を蓄積する蓄積部を備える
    ことを特徴とする情報処理装置。
  2. 上記入力される情報信号の入力状態は、該情報信号が得られる放送チャネルの切替状態および該情報信号を得る情報信号源の切替状態の少なくともいずれかである
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 上記情報信号は画像信号であり、
    上記情報信号による出力の状態は、画像信号による画像のズーム状態である
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 上記回収基板部は、
    上記設定手段で設定される各状態に対応した、上記情報信号による出力の質の予測調整値を保持する第1の保持部をさらに備える
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 上記回収基板部または上記処理本体部は、上記設定手段で所定の状態に設定されるとき、上記回収基板部の第1の保持部に保持されている、該所定の状態の予測調整値に対応した出力の質となるように上記信号処理部を制御する制御手段をさらに備える
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 上記回収基板部は、
    上記設定手段で設定される各状態に対応した、上記調整手段による上記出力の質の調整範囲の情報を保持する第2の保持部をさらに備える
    ことを特徴とする請求項1に記載の情報処理装置。
  7. 上記信号処理部は、
    入力情報信号に基づいて、出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択部と、
    係数種データおよび上記調整手段による調整値を用いて推定式の係数データを生成する係数データ生成部と、
    上記データ選択部で選択された複数の情報データおよび上記係数データ生成部で生成された係数データを用い、上記推定式に基づいて、上記出力情報信号における注目位置の情報データを算出して得る演算部とを有し、
    上記回収基板部は、
    上記設定手段で設定される各状態に対応した、上記係数種データを保持する第3の保持部をさらに備える
    ことを特徴とする請求項1に記載の情報処理装置。
  8. 入力される情報信号を、該情報信号による出力の質が所定の質となるように処理する信号処理部と、
    上記信号処理部における上記所定の質をユーザが調整するための調整手段と、
    上記入力される情報信号の状態および上記情報信号による出力の状態の少なくともいずれかをユーザが設定するための設定手段とを備える情報処理装置に着脱自在に接続される回収基板であって、
    上記設定手段による設定の履歴および上記調整手段による調整の履歴を蓄積する蓄積部を備える
    ことを特徴とする回収基板。
  9. 上記設定手段で設定される各状態に対応した、上記情報信号による出力の質の予測調整値を保持する第1の保持部をさらに備える
    ことを特徴とする請求項8に記載の回収基板。
  10. 上記設定手段で設定される各状態に対応した、上記調整手段による上記出力の質の調整範囲の情報を保持する第2の保持部をさらに備える
    ことを特徴とする請求項8に記載の回収基板。
JP2005020053A 2005-01-27 2005-01-27 情報処理装置および回収基板 Expired - Fee Related JP4640579B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005020053A JP4640579B2 (ja) 2005-01-27 2005-01-27 情報処理装置および回収基板
US11/339,041 US7616263B2 (en) 2005-01-27 2006-01-25 Information-processing apparatus and removable substrate used therein
KR1020060007745A KR101247291B1 (ko) 2005-01-27 2006-01-25 정보 처리 장치 및 그 내에 사용되는 리무버블 기판
EP06001608A EP1686788A3 (en) 2005-01-27 2006-01-26 Information-processing apparatus and removable substrate used therein
CNB2006100045351A CN100493164C (zh) 2005-01-27 2006-01-27 信息处理设备和在其中使用的可拆卸基底

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005020053A JP4640579B2 (ja) 2005-01-27 2005-01-27 情報処理装置および回収基板

Publications (3)

Publication Number Publication Date
JP2006211254A true JP2006211254A (ja) 2006-08-10
JP2006211254A5 JP2006211254A5 (ja) 2007-08-23
JP4640579B2 JP4640579B2 (ja) 2011-03-02

Family

ID=36499541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005020053A Expired - Fee Related JP4640579B2 (ja) 2005-01-27 2005-01-27 情報処理装置および回収基板

Country Status (5)

Country Link
US (1) US7616263B2 (ja)
EP (1) EP1686788A3 (ja)
JP (1) JP4640579B2 (ja)
KR (1) KR101247291B1 (ja)
CN (1) CN100493164C (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021903A (ja) * 2008-07-14 2010-01-28 Sony Corp リモートコントローラ、画像信号処理装置および画像信号処理方法
WO2010077913A2 (en) * 2008-12-30 2010-07-08 Intel Corporation Method and apparatus for noise reduction in video
JP2012019259A (ja) * 2010-07-06 2012-01-26 Sharp Corp 高画質化装置及び方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4670683B2 (ja) 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4957960B2 (ja) 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5158262B2 (ja) * 2009-08-18 2013-03-06 富士通株式会社 画像処理方法および画像処理装置
JP5085724B2 (ja) * 2010-12-22 2012-11-28 株式会社東芝 リモコン装置の制御方法、リモコン装置及び表示システム
CN108989905B (zh) * 2018-06-28 2021-05-28 腾讯科技(深圳)有限公司 媒体流控制方法、装置、计算设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274090A (ja) * 1994-03-26 1995-10-20 Kenwood Corp 映像信号処理装置
JP2003224797A (ja) * 2002-01-30 2003-08-08 Sony Corp コンテンツデータの処理装置および処理方法、並びにその方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2003339063A (ja) * 2002-05-21 2003-11-28 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP2004265399A (ja) * 2003-02-14 2004-09-24 Sony Corp 情報管理システムおよび方法、センター処理装置、情報処理装置および方法、画像処理方法、プログラム、並びに記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2789560B2 (ja) 1986-05-01 1998-08-20 株式会社リコー 画像データの変倍処理装置
US4827433A (en) * 1986-04-30 1989-05-02 Ricoh Company, Ltd. Processing device for changing magnification of image data
JP2002135676A (ja) * 2000-10-27 2002-05-10 Canon Inc テレビジョン信号受信装置、その処理方法及び記録媒体
JP2002142159A (ja) * 2000-11-02 2002-05-17 Nippon Hoso Kyokai <Nhk> デジタル放送受信機及び個人情報蓄積媒体
EP1871107A3 (en) * 2002-01-30 2009-12-09 Sony Corporation Coefficient seed data or coefficient data production device used in image display apparatus
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4026491B2 (ja) * 2002-12-13 2007-12-26 ソニー株式会社 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体
US7810128B2 (en) 2003-02-14 2010-10-05 Sony Corporation Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith
JP4845382B2 (ja) * 2004-02-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2006246247A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 映像信号処理装置及び映像信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274090A (ja) * 1994-03-26 1995-10-20 Kenwood Corp 映像信号処理装置
JP2003224797A (ja) * 2002-01-30 2003-08-08 Sony Corp コンテンツデータの処理装置および処理方法、並びにその方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2003339063A (ja) * 2002-05-21 2003-11-28 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP2004265399A (ja) * 2003-02-14 2004-09-24 Sony Corp 情報管理システムおよび方法、センター処理装置、情報処理装置および方法、画像処理方法、プログラム、並びに記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021903A (ja) * 2008-07-14 2010-01-28 Sony Corp リモートコントローラ、画像信号処理装置および画像信号処理方法
JP4544348B2 (ja) * 2008-07-14 2010-09-15 ソニー株式会社 リモートコントローラ、画像信号処理装置および画像信号処理方法
WO2010077913A2 (en) * 2008-12-30 2010-07-08 Intel Corporation Method and apparatus for noise reduction in video
WO2010077913A3 (en) * 2008-12-30 2010-09-02 Intel Corporation Method and apparatus for noise reduction in video
GB2478438A (en) * 2008-12-30 2011-09-07 Intel Corp Method and apparatus for noise reduction in video
KR101252363B1 (ko) * 2008-12-30 2013-04-08 인텔 코오퍼레이션 비디오의 노이즈 감소를 위한 방법 및 장치
RU2486591C2 (ru) * 2008-12-30 2013-06-27 Интел Корпорейшн Способ и устройство для уменьшения шумов в видеоизображении
GB2478438B (en) * 2008-12-30 2014-06-25 Intel Corp Method and apparatus for noise reduction in video
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
JP2012019259A (ja) * 2010-07-06 2012-01-26 Sharp Corp 高画質化装置及び方法

Also Published As

Publication number Publication date
KR20060086868A (ko) 2006-08-01
CN1825928A (zh) 2006-08-30
US7616263B2 (en) 2009-11-10
CN100493164C (zh) 2009-05-27
EP1686788A2 (en) 2006-08-02
US20060187353A1 (en) 2006-08-24
EP1686788A3 (en) 2010-08-11
KR101247291B1 (ko) 2013-03-25
JP4640579B2 (ja) 2011-03-02

Similar Documents

Publication Publication Date Title
JP4556122B2 (ja) 情報処理装置および方法、並びに回収基板
JP4640579B2 (ja) 情報処理装置および回収基板
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5093557B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US7911533B2 (en) Method and apparatus for processing information, storage medium, and program
EP1587058A1 (en) Image signal processing apparatus, image signal processing method, program for practicing that method, and computer-readable medium in which that program has been recorded
JP3885786B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム
JP2010021903A (ja) リモートコントローラ、画像信号処理装置および画像信号処理方法
JP4655483B2 (ja) 情報信号処理装置およびその方法、プログラム、並びに記録媒体
JP4349086B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4691814B2 (ja) 情報信号処理装置および情報信号処理方法、並びに記録媒体
JP4513025B2 (ja) 情報信号処理装置および処理方法、並びにプログラム
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP4560707B2 (ja) 情報管理システムおよび方法、センター処理装置および方法、プログラム、並びに記録媒体
JP2007243633A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4419045B2 (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP4692800B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体
JP2003224830A (ja) 情報信号処理装置、情報信号処理方法および画像表示装置、それに使用される係数種データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2007243632A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2004247990A (ja) 画像処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070709

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees