JP2010130643A - Image processor and image processing method - Google Patents

Image processor and image processing method Download PDF

Info

Publication number
JP2010130643A
JP2010130643A JP2008306572A JP2008306572A JP2010130643A JP 2010130643 A JP2010130643 A JP 2010130643A JP 2008306572 A JP2008306572 A JP 2008306572A JP 2008306572 A JP2008306572 A JP 2008306572A JP 2010130643 A JP2010130643 A JP 2010130643A
Authority
JP
Japan
Prior art keywords
color information
processing
image
osd
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008306572A
Other languages
Japanese (ja)
Inventor
Tomoyoshi Yoda
智慶 誉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008306572A priority Critical patent/JP2010130643A/en
Publication of JP2010130643A publication Critical patent/JP2010130643A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the following problem: there is an image causing adverse effects such as noise generation and picture quality deterioration due to a video processing technique such as high resolution processing. <P>SOLUTION: High resolution processing by a high resolution processing part 21 and moving image refinement processing by a moving image refinement processing part 22 are performed for an OSD image generated, so that a contrast rate is reduced with respect to color information such as illuminance and color difference used in a video signal outputted from a main processing part 8 together with an OSD image generated by the OSD generating part 8a and an OSD image analyzed by a high resolution control part 8b, by using parameter data for intermediate illuminance and intermediate color difference used in the OSD image stored in a ROM 9 and limited within a predetermined range. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置および画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

近年、画面サイズの大型化に伴い、表示画素数が多い、すなわち高解像度のディスプレイを備えたテレビジョン受像機やモニタが広く普及している。そして、そのようなディスプレイでは、DVDや、アナログ映像などのSD(Standard Definition;以下SDと称する)解像度の動画映像を、その解像度のまま表示させるだけでなく、ハイビジョン放送などのHD(High Definition;以下HDと称する)解像度の映像をクリアに表示させることができる。さらには、映像の高解像度化技術として、超解像技術と呼ばれる、解像度の低い動画映像に対して、画素補間することにより高解像度の映像に変換する技術を用いて、SD解像度の映像をHD解像度に変換して、大型画面でもクリアに映像表示させることも可能である。   In recent years, with an increase in screen size, television receivers and monitors having a large number of display pixels, that is, having a high-resolution display, are widely used. In such a display, not only a moving image video of SD (Standard Definition; hereinafter referred to as SD) resolution such as a DVD or an analog video is displayed as it is but also HD (High Definition; A video with a resolution (hereinafter referred to as HD) can be displayed clearly. Furthermore, as a technology for increasing the resolution of video, a technique called super-resolution technology, which converts a video with low resolution into a video with high resolution by pixel interpolation, converts the video with SD resolution into HD. It is possible to display the image clearly even on a large screen by converting it to resolution.

例えば、特許文献1によれば、低解像度から高解像度への画素補完の際に、補間する画素を周囲の画素に基づいて決定していく解像度変換の手法が公開されている。
特開2007−310837号公報(図1A)
For example, Patent Document 1 discloses a resolution conversion method in which pixels to be interpolated are determined based on surrounding pixels when performing pixel complementation from a low resolution to a high resolution.
Japanese Patent Laying-Open No. 2007-310837 (FIG. 1A)

しかしながら、このような高解像度化技術などの映像画質を改善する処理技術を実際のデジタルテレビに実装した場合、映像の種類によっては、ノイズ発生や画質悪化といった逆効果となるものがあることがわかった。   However, when processing technology that improves video image quality, such as high resolution technology, is implemented in an actual digital television, it can be seen that depending on the type of video, there may be adverse effects such as noise generation and image quality deterioration. It was.

そこで、本発明は上述した課題を解決するために、高解像度化処理などの映像処理技術を施した場合の、ノイズ発生や画質悪化といった逆効果になりづらいOSD画像を生成する画像処理装置および画像処理方法を提供する。   Therefore, in order to solve the above-described problems, the present invention provides an image processing apparatus and an image processing apparatus that generate an OSD image that is unlikely to have adverse effects such as noise generation and image quality deterioration when image processing technology such as high resolution processing is applied. A processing method is provided.

本発明は上述した課題を解決するため、所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施す映像処理手段と、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、を具備し、前記映像処理手段による処理が施されている場合、前記OSD生成手段は前記背景と文字列のコントラスト比が約95%以内の色情報を用いて生成することを特徴とするものである。   In order to solve the above-described problems, the present invention provides video processing means for performing processing for increasing the resolution of content video based on a predetermined algorithm, a background having first color information, and a character string having second color information. An OSD generation unit that generates an OSD image including the image information, and when the processing by the video processing unit is performed, the OSD generation unit includes color information whose contrast ratio between the background and the character string is within about 95%. It is characterized by producing | generating using.

また本発明は上述した課題を解決するため、所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施す映像処理手段と、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、前記コンテンツ映像の色情報を分析する分析手段と、を具備し、前記OSD生成手段が、さらに、前記分析された色情報に基づいて決定した色情報を使った前記OSD画像を生成した状態で、前記映像処理手段が、前記コンテンツ映像と前記OSD画像の解像度を上げる処理を施すことを特徴とするものである。   In order to solve the above-described problems, the present invention provides a video processing means for performing a process for increasing the resolution of a content video based on a predetermined algorithm, a background having first color information, and a character string having second color information. And an OSD generating means for analyzing the color information of the content video, and the OSD generating means further determines the color determined based on the analyzed color information. In a state where the OSD image using information is generated, the video processing means performs a process of increasing the resolution of the content video and the OSD image.

また本発明は上述した課題を解決するため、少なくとも映像の輪郭の強調処理を行う映像処理手段と、前記強調処理に関する動作のオンまたはオフをユーザに選択することを許可する選択手段と、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、前記選択手段によって前記強調処理がオンされている場合と、前記選択手段によって前記強調処理がオフされている場合とで、前記第1の色情報または前記第2の色情報の少なくもいずれか一方の色情報を変える制御手段と、を具備することを特徴とするものである。   According to another aspect of the present invention, there is provided a video processing unit that performs at least an outline enhancement process of video, a selection unit that allows a user to select on or off of an operation related to the enhancement process, OSD generation means for generating an OSD image including a background having color information and a character string having second color information, and when the enhancement processing is turned on by the selection means, and the enhancement by the selection means And control means for changing color information of at least one of the first color information and the second color information when the processing is turned off.

また本発明は上述した課題を解決するため、所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施し、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、解像度を上げる処理が施されている場合、前記背景と文字列のコントラスト比が約95%以内の色情報を用いて生成することを特徴とするものである。   In order to solve the above-described problem, the present invention performs processing for increasing the resolution of content video based on a predetermined algorithm, and includes an OSD including a background having first color information and a character string having second color information. In the case where an image is generated and the resolution is increased, the image is generated using color information having a contrast ratio of about 95% or less between the background and the character string.

また本発明は上述した課題を解決するため、所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施し、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、前記コンテンツ映像の色情報を分析し、さらに、前記分析された色情報に基づいて決定した色情報を使った前記OSD画像を生成した状態で、前記コンテンツ映像と前記OSD画像の解像度を上げる処理を施すことを特徴とするものである。   In order to solve the above-described problem, the present invention performs processing for increasing the resolution of content video based on a predetermined algorithm, and includes an OSD including a background having first color information and a character string having second color information. An image is generated, color information of the content video is analyzed, and the OSD image is generated using the color information determined based on the analyzed color information, and the content video and the OSD image are generated. It is characterized by performing a process for increasing the resolution.

また本発明は上述した課題を解決するため、少なくとも映像の輪郭の強調処理を行い、前記強調処理に関する動作のオンまたはオフをユーザに選択することを許可し、第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、前記強調処理がオンされている場合と、オフされている場合とで、前記第1の色情報または前記第2の色情報の少なくもいずれか一方の色情報を変えることを特徴とするものである。   In addition, in order to solve the above-described problem, the present invention performs at least an outline enhancement process of an image, permits a user to select on or off of an operation related to the enhancement process, and has a background having first color information. An OSD image including a character string having second color information is generated, and the first color information or the second color information depending on whether the enhancement processing is turned on or off. At least one of the color information is changed.

本発明によれば、高解像度化処理などの映像処理技術の適用状況に応じてOSD画像の色情報を制御するので、ノイズ発生や画質悪化といった逆効果になりづらいOSD画像を生成することができる。   According to the present invention, the color information of the OSD image is controlled in accordance with the application status of the video processing technology such as the resolution enhancement processing, so that it is possible to generate an OSD image that is unlikely to have adverse effects such as noise generation and image quality deterioration. .

以下、本発明における実施形態について図面を用いて説明する。
(第1の実施形態)
図1は、本第1の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本第1の実施形態では、本発明の画像処理装置をデジタルテレビに適用した例を示す。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to the first embodiment. In the first embodiment, an example in which the image processing apparatus of the present invention is applied to a digital television is shown.

デジタルテレビ1は、デジタルチューナ2、デジタル信号復調部3、アナログチューナ4、外部入力信号処理部5、IPTV信号処理部6、インターネット信号処理部7、信号処理部8、OSD生成部8a、高解像度化制御部8b、ROM9、高解像度化処理部21、動画改善処理部22、表示処理部23、ディスプレイ24、音声処理部25、スピーカ26を備えて構成されている。   The digital television 1 includes a digital tuner 2, a digital signal demodulator 3, an analog tuner 4, an external input signal processor 5, an IPTV signal processor 6, an Internet signal processor 7, a signal processor 8, an OSD generator 8a, a high resolution And a ROM 9, a high resolution processing unit 21, a moving image improvement processing unit 22, a display processing unit 23, a display 24, an audio processing unit 25, and a speaker 26.

デジタルアンテナATdによって受信された、BS、CS、地上波等のデジタル放送波には、映像や音声の他にデータ放送や電子番組表(EPG)用などのデータが含まれている。デジタルチューナ2は、ユーザが指示した特定の視聴用チャンネルを選局する。デジタル信号復調部3は、選局されたチャンネルのデジタル放送波からデジタル信号を復調する。   Digital broadcast waves such as BS, CS, and terrestrial waves received by the digital antenna ATd include data for data broadcasting and electronic program guide (EPG) in addition to video and audio. The digital tuner 2 selects a specific viewing channel designated by the user. The digital signal demodulator 3 demodulates the digital signal from the digital broadcast wave of the selected channel.

アナログアンテナATaは、アナログ放送を受信する。アナログチューナ4は、ユーザが指示した視聴用のチャンネルを選局する。外部入力信号処理部5は、選局されたアナログ放送信号の処理、および、ゲーム機や、PC(パーソナルコンピューター)、DVDプレーヤなどの外部装置GSから受信した外部入力信号の処理を行う。   The analog antenna ATa receives an analog broadcast. The analog tuner 4 selects a viewing channel designated by the user. The external input signal processing unit 5 performs processing of a selected analog broadcast signal and processing of an external input signal received from an external device GS such as a game machine, a PC (personal computer), or a DVD player.

IPTV信号処理部6は、受信したIPTV(インターネットプロコトルTV)放送信号の処理を行う。インターネット信号処理部7は、受信したインターネット信号の処理を行う。   The IPTV signal processor 6 processes the received IPTV (Internet Protocol TV) broadcast signal. The internet signal processing unit 7 processes the received internet signal.

メイン処理部8は、受信した映像信号に対してIP(インタレース−プログレッシブ)変換、NR(ノイズリダクション)処理、および、スケーリングなどの処理や、映像信号と音声信号の分離処理、デジタル信号からのデータ抽出などの処理などを施すとともに、OSD画像を生成するOSD生成部8aや後段の高解像度化処理部21を制御する高解像度化制御部8bを備えて構成されている。   The main processing unit 8 performs processing such as IP (interlace-progressive) conversion, NR (noise reduction) processing and scaling on the received video signal, separation processing of the video signal and the audio signal, and processing from the digital signal. In addition to performing processing such as data extraction, an OSD generation unit 8a that generates an OSD image and a high-resolution control unit 8b that controls the high-resolution processing unit 21 in the subsequent stage are configured.

OSD生成部8aは、OSD画像としての、抽出されたデータ放送や電子番組表(EPG)データを表示する画像や、装置の操作をさせるためのユーザインターフェース画像を生成する。本第1の実施形態においては、高解像度化処理を施しても画質悪化のないOSD画像も生成する。高解像度化制御部8bは、メイン処理部8から出力された映像信号の輝度や色差などの色情報の分析を行い、また後段の高解像度化処理部21を制御して高解像度化処理を行う。   The OSD generation unit 8a generates an image for displaying the extracted data broadcast and electronic program guide (EPG) data as an OSD image, and a user interface image for operating the apparatus. In the first embodiment, an OSD image that does not deteriorate image quality even when the resolution enhancement processing is performed is also generated. The resolution enhancement control unit 8b analyzes color information such as luminance and color difference of the video signal output from the main processing unit 8, and controls the subsequent resolution enhancement processing unit 21 to perform resolution enhancement processing. .

ROM9は、OSD生成部8aが生成するOSD画像に使用する文字または図形などからなる文字列やそれらの色情報、背景の色情報などのパラメータデータを記憶する。すなわち、OSD生成部8aは、ROM9に記憶されたパラメータデータを読み出してOSD画像を生成する。   The ROM 9 stores a character string made up of characters or figures used for the OSD image generated by the OSD generation unit 8a, parameter data thereof, color information of the background, color information of the background, and the like. That is, the OSD generation unit 8a reads the parameter data stored in the ROM 9 and generates an OSD image.

高解像度化処理部21は、入力された映像信号(画像データ)の解像度を増やす処理を行う。例えば、受信した映像信号がSD解像度の画像である場合にHD解像度の画像になるように画素を復元する。そして、解像度を増やすことで映像信号を鮮鋭化する。   The high resolution processing unit 21 performs a process of increasing the resolution of the input video signal (image data). For example, when the received video signal is an SD resolution image, the pixels are restored so as to become an HD resolution image. Then, the video signal is sharpened by increasing the resolution.

動画改善処理部22は、入力された映像信号に対して動画改善処理を施す。動画改善処理とは、高精度動き補間技術により、通常毎秒60コマで構成される映像を毎秒120コマで再現するように映像信号を処理することをいう。このように映像信号を処理することにより、横、縦、斜め方向や回転する被写体など動きのある部分の映像を低減し、ノイズも効果的に抑えて、流れるテロップや動きの速いスポーツシーンをくっきりと、後段のディスプレイ24へ表示することができる。   The moving image improvement processing unit 22 performs moving image improvement processing on the input video signal. The moving image improvement processing refers to processing a video signal so as to reproduce a video normally composed of 60 frames per second at 120 frames per second by a high-precision motion interpolation technique. By processing the video signal in this way, the video of moving parts such as horizontal, vertical, diagonal and rotating subjects is reduced, noise is also effectively suppressed, and the flowing telop and fast-moving sports scenes are clear. Can be displayed on the display 24 in the subsequent stage.

表示処理部23は、調整後の映像信号に対して、さらに明るさや色合いの調整などを施す。ディスプレイ24は、映像信号を画面に表示する。そして、視聴者はディスプレイ24の画面を見ることにより、テレビ映像を見る。音声処理部25は、音声信号を音響処理するとともに増幅する。スピーカ26は、音声信号を音声として出力する。そして、視聴者はスピーカ26からの音声を聴くことにより、テレビ音声を聴く。   The display processing unit 23 further adjusts the brightness and hue of the adjusted video signal. The display 24 displays the video signal on the screen. Then, the viewer views the television image by looking at the screen of the display 24. The audio processing unit 25 performs acoustic processing and amplifies the audio signal. The speaker 26 outputs an audio signal as audio. The viewer listens to the television sound by listening to the sound from the speaker 26.

なお、本第1の実施形態は、メイン処理部8から出力される映像信号に、OSD生成部8aにて生成されたOSD画像が重畳される構成である。すなわち、高解像度化処理や動作改善処理は、コンテンツの映像信号にOSD画像が重畳された映像に対して処理が施される実施形態である。   In the first embodiment, the OSD image generated by the OSD generation unit 8 a is superimposed on the video signal output from the main processing unit 8. That is, the resolution enhancement process and the operation improvement process are embodiments in which a process is performed on a video in which an OSD image is superimposed on a video signal of content.

そして、高解像度化処理の効果の一つである、映像信号像の輪郭(エッジ)を強調する場合には、隣り合った色のコントラスト比に応じて、さらにそのコントラストを強調するように高解像度化処理が施される。すなわち、隣り合った色の比が大きい映像のエッジに対しては、さらにコントラストが強調され、一方、コントラスト比が小さいエッジに対しては、コントラストはほとんど強調されない。   And, when emphasizing the contour (edge) of the video signal image, which is one of the effects of high resolution processing, the resolution is further enhanced according to the contrast ratio of adjacent colors. Is applied. That is, the contrast is further enhanced for the edge of a video having a large ratio of adjacent colors, while the contrast is hardly enhanced for an edge having a small contrast ratio.

つまり、OSD画像に対して前述したエッジ強調効果をあまり効かせないために、ROM9は、文字列と背景とのコントラスト比が小さいパラメータデータを記憶する。また、OSD画像はメイン処理部8から出力される不特定の輝度の映像信号の上に重ねて配置されて表示され、なおかつ、その出力された映像信号の輝度はコンテンツによって異なるので、どのような輝度の映像信号上にOSD画像が配置されても、映像信号とのコントラスト比が小さくなるように、ROM9は、特にOSD画像の背景の色情報として中間輝度や中間色差を使用したパラメータデータを記憶する。   In other words, the ROM 9 stores parameter data having a small contrast ratio between the character string and the background so that the edge enhancement effect described above is not applied to the OSD image. In addition, the OSD image is displayed so as to be superimposed on the video signal of unspecified luminance output from the main processing unit 8, and the luminance of the output video signal varies depending on the content. Even when an OSD image is arranged on a luminance video signal, the ROM 9 particularly stores parameter data using intermediate luminance or intermediate color difference as color information of the background of the OSD image so that the contrast ratio with the video signal becomes small. To do.

具体的には、背景が黒で文字列が白のOSD画像を生成する場合は、背景の黒と文字列の白のコントラスト比が95%以下となるように、白の輝度を下げたパラメータデータや、黒の輝度を上げたパラメータデータをROM9は記憶する。また、背景や文字列に他の色が使用される場合でも、コントラスト比が95%以下となるパラメータデータをROM9は記憶する。以上説明した具体例を、さらに図2を用いて説明する。   Specifically, when generating an OSD image with a black background and a white character string, parameter data in which the brightness of white is reduced so that the contrast ratio between the black background and the white character string is 95% or less. Alternatively, the ROM 9 stores parameter data in which the luminance of black is increased. Even when other colors are used for the background and the character string, the ROM 9 stores parameter data with a contrast ratio of 95% or less. The specific example described above will be further described with reference to FIG.

図2は、本実施形態によるOSD画像に対する高解像度化処理による影響の一実施形態を示す図である。
なお、ここでは、輝度を決定するパラメータとして色の階調を用いて説明する。
図2(a)は、背景に階調0%の黒を使用し、文字列に階調100%の白を使用したOSD画像に対してエッジ強調効果を持つ高解像度化処理を施したときの様子を示したものである。そして、コントラスト比が100%の画像に対して高解像度化処理を施すと、背景と文字列の境界部であるエッジが強調されすぎて、かえってノイズが目立つ画像となり、見づらくなってしまう。
FIG. 2 is a diagram showing an embodiment of the effect of the high resolution processing on the OSD image according to this embodiment.
Here, description will be made using color gradation as a parameter for determining luminance.
FIG. 2A shows a case where high resolution processing having an edge enhancement effect is applied to an OSD image using black of gradation 0% for the background and white of gradation 100% for the character string. It shows the situation. If an image with a contrast ratio of 100% is subjected to high resolution processing, the edge that is the boundary between the background and the character string is overemphasized, resulting in an image with noticeable noise, which is difficult to see.

図2(b)は、背景に階調2.5%の黒を使用し、文字列に階調97.5%の白を使用したOSD画像に対してエッジ強調効果を持つ高解像度化処理を施したときの様子を示したものである。そして、コントラスト比が95%の画像に対して高解像度化処理を施すと、背景と文字列のエッジが強調されず、OSD画像に対しては高解像度化処理の効果があまり効かない状態となる。   FIG. 2B shows a high resolution processing having an edge enhancement effect for an OSD image using 2.5% gradation black for the background and 97.5% gradation white for the character string. It shows the state when applied. When the high resolution processing is performed on an image with a contrast ratio of 95%, the background and the edge of the character string are not emphasized, and the effect of the high resolution processing is not so effective on the OSD image. .

さらに具体的には、メイン処理部8や高画質化処理部21などに備えられた、デジタル値によって色の階調を決定するブロックのRGBそれぞれの設定分解能が8bit(256分解能)であった場合、階調0%の黒は(R、G、B)=(0、0、0)であり、階調100%の白は(R、G、B)=(255、255、255)である。すなわち黒または白を表現するためのRGBそれぞれの設定値は、黒は最小レベルであり白は最大レベルである。一方、階調2.5%の黒は(R、G、B)=(7、7、7)であり、階調97.5%の白は(R、G、B)=(249、249、249)である。例えば、黒を表現する設定値さらに上げていくと、設定値が大きくなるに従って黒は灰色に変化していき、同様に、白を表現する設定値さらに下げていくと、設定値が小さくなるに従って、白は灰色に変化していく。つまり(R、G、B)=(127、127、127)では完全に灰色として表現されることになる。   More specifically, when the setting resolution of each of RGB of the block for determining the color gradation based on the digital value provided in the main processing unit 8 or the image quality improvement processing unit 21 is 8 bits (256 resolution). Black with gradation 0% is (R, G, B) = (0, 0, 0), and white with gradation 100% is (R, G, B) = (255, 255, 255). . That is, the set values of RGB for expressing black or white are black at the minimum level and white at the maximum level. On the other hand, black with a gradation of 2.5% is (R, G, B) = (7, 7, 7), and white with a gradation of 97.5% is (R, G, B) = (249, 249). 249). For example, if the set value representing black is further increased, black will change to gray as the set value increases. Similarly, if the set value representing white is further decreased, the set value will decrease. , White turns gray. That is, (R, G, B) = (127, 127, 127) is completely expressed as gray.

つまり、コントラスト比を下げれば双方の階調の差が減り、高解像度化処理の効果は減らすことはできるが、黒を黒として、または白を白として認識できなくなってしまうので、高解像度化処理の効果を減らすためのコントラスト比の下限は、約90%で制約されることになる。そして、そのような問題も考慮された設定値が、上述した、コントラスト比95%となる。   In other words, if the contrast ratio is lowered, the difference between the two gradations can be reduced, and the effect of the high resolution processing can be reduced. However, since black cannot be recognized as black or white cannot be recognized as white, the high resolution processing is performed. The lower limit of the contrast ratio for reducing the effect is limited by about 90%. Then, the setting value in consideration of such a problem is the above-described contrast ratio of 95%.

すなわち、OSD画像に対して高解像度化処理の効果を抑えるためには、その画像で使用される色のコントラスト比がある程度小さいパラメータデータを使用すればよい。   That is, in order to suppress the effect of the high resolution processing on the OSD image, it is only necessary to use parameter data in which the contrast ratio of the colors used in the image is small to some extent.

以上説明したように本第1の実施形態によれば、ROM9が、高解像度化処理を施す画像に含まれるOSD画像の背景と文字列のコントラスト比が所定値以下となるパラメータデータを記憶するので、OSD画像が含まれる画像に対して高解像度化処理を施しても、過度なエッジ強調による画質悪化のない画像を得ることができる。   As described above, according to the first embodiment, the ROM 9 stores parameter data in which the contrast ratio between the background of the OSD image and the character string included in the image to be subjected to the high resolution processing is equal to or less than a predetermined value. Even if high resolution processing is performed on an image including an OSD image, an image without deterioration in image quality due to excessive edge enhancement can be obtained.

(第2の実施形態)
本第2の実施形態は、第1の実施形態の画像処理装置の構成と基本的には同じものであるが、OSD画像の背景や文字列の色情報のパラメータデータの決定方法が異なり、図3を用いて以下に説明する。
(Second Embodiment)
The second embodiment is basically the same as the configuration of the image processing apparatus of the first embodiment, but the method for determining the parameter data of the OSD image background and character string color information is different. 3 will be described below.

図3は、本実施形態によるOSD画像の出力判定処理を伴う高解像度化処理のフローチャートである。
まず、高解像度化制御部8bは、コンテンツの映像信号とともにOSD画像を出力するかを判定する(S301)。そしてOSD画像を伴わない場合(S301のN)は、高解像度化処理部21を制御して高解像度化処理を行わせる(S305)。一方、OSD画像を伴う場合(S301のY)は、高解像度化制御部8bは、メイン処理部8から出力されるコンテンツの映像信号で使用されている輝度や色差などの色情報を分析する(S302)。
FIG. 3 is a flowchart of a resolution enhancement process involving an OSD image output determination process according to the present embodiment.
First, the resolution enhancement control unit 8b determines whether to output an OSD image together with the content video signal (S301). If no OSD image is involved (N in S301), the high resolution processing unit 21 is controlled to perform high resolution processing (S305). On the other hand, when accompanied by an OSD image (Y in S301), the high resolution control unit 8b analyzes color information such as luminance and color difference used in the video signal of the content output from the main processing unit 8 ( S302).

そして、ROM9には、特定のOSD画像の背景と文字列の色情報の異なる複数のパターンが記憶されているので、OSD生成部8aは、分析された映像信号の色情報を高解像度化制御部8bから取得して、取得した色情報に対するコントラスト比が小さいパラメータデータをROM9から選択する(S303)。なお、ROM9が記憶するパラメータデータは、OSD画像の背景と文字列に使用する色差は一組で、その輝度を変えることで映像信号とのコントラスト比を小さくする形態であってもよい。   Since the ROM 9 stores a plurality of patterns having different color information of the background and the character string of the specific OSD image, the OSD generation unit 8a converts the color information of the analyzed video signal into a high resolution control unit. The parameter data acquired from 8b and having a small contrast ratio with respect to the acquired color information is selected from the ROM 9 (S303). The parameter data stored in the ROM 9 may be in a form in which the color difference used for the OSD image background and the character string is one set, and the contrast ratio with the video signal is reduced by changing the luminance.

さらに、OSD生成部8aは、選択された色情報を使用したOSD画像を生成して出力し(S304)、高解像度化制御部8bが、高解像度化処理部21を制御して高解像度化処理を行わせる(S305)。   Further, the OSD generation unit 8a generates and outputs an OSD image using the selected color information (S304), and the high resolution control unit 8b controls the high resolution processing unit 21 to perform the high resolution processing. (S305).

以上説明した具体例を、さらに図4を用いて説明する。
図4は、本実施形態によるOSD画像とコンテンツ映像それぞれに対する高解像度化処理の影響の一実施形態を示す図である。
なお、ここでは、輝度を決定するパラメータとして色の階調を用いて説明する。
図4(a)は、OSD画像の背景に階調2.5%の黒を使用し、文字列に階調97.5%の白を使用したOSD画像と、階調100%の白を基調としたコンテンツ映像とが、同一画面で表示される映像に対してエッジ強調効果を持つ高解像度化処理を施したときの様子を示したものである。
The specific example described above will be further described with reference to FIG.
FIG. 4 is a diagram showing an embodiment of the influence of the high resolution processing on the OSD image and the content video according to this embodiment.
Here, description will be made using color gradation as a parameter for determining luminance.
FIG. 4A shows an OSD image in which 2.5% gradation black is used for the background of the OSD image and white gradation of 97.5% is used for the character string, and 100% gradation white is used as a basic tone. Shows a state when the high resolution processing having an edge enhancement effect is performed on the video displayed on the same screen.

そして、コンテンツ映像とOSD画像の背景とのコントラスト比は100%となるので、この映像に対して高解像度化処理を施すと、コンテンツ映像とOSD画像の背景との境界部であるエッジが強調されすぎて、かえってノイズが目立つ画像となり、見づらくなってしまっている。   Since the contrast ratio between the content video and the background of the OSD image is 100%, when the high resolution processing is performed on the video, the edge that is the boundary between the content video and the background of the OSD image is emphasized. Too much noise makes the image stand out, making it difficult to see.

図4(b)は、OSD画像の背景に階調5%の黒を使用し、文字列に階調97.5%の白を使用したOSD画像と、階調100%の白を基調としたコンテンツ映像とが、同一画面で表示される映像に対してエッジ強調効果を持つ高解像度化処理を施したときの様子を示したものである。すなわち、ROM9には、OSD画像のパラメータデータとして、背景に階調2.5%の黒と文字列に階調97.5%の白とからなるパラメータパターンaと、背景に階調5%の黒と文字列に階調97.5%の白とからなるパラメータパターンbと、が記憶されていて、パターンbが選択された具体例を示している。   FIG. 4B is based on an OSD image in which 5% gradation black is used as the background of the OSD image and white in gradation 97.5% is used for the character string, and white in gradation 100%. The content video shows a state when a high resolution processing having an edge enhancement effect is performed on a video displayed on the same screen. That is, in the ROM 9, as parameter data of the OSD image, a parameter pattern a consisting of black with a gradation of 2.5% on the background and white with a gradation of 97.5% on the character string, and a gradation of 5% on the background. A specific example is shown in which a parameter pattern b composed of black and white of gradation 97.5% is stored in a character string, and the pattern b is selected.

そして、コンテンツ映像とOSD画像の背景とのコントラスト比は95%となるので、この映像に対して高解像度化処理を施すと、背景と文字列のエッジはあまり強調されず、OSD画像に対しては高解像度化処理の効果があまり効かない状態となる。   Since the contrast ratio between the content video and the background of the OSD image is 95%, when the resolution enhancement processing is performed on this video, the background and the edge of the character string are not so emphasized, and the OSD image Is in a state where the effect of the high resolution processing is not so effective.

ところで、以上説明した処理は、メイン処理部8から出力される映像信号の全てのフレームに対して行ってもよいし、所定フレーム間隔で行ってもよい。
以上説明したように本第2の実施形態によれば、高解像度化処理を行う前に、メイン処理部8から出力されるコンテンツの映像信号で使用されている輝度や色差などの色情報を分析して、分析された映像の色情報とのコントラスト比が小さい色情報を使用したOSD画像を生成するので、コンテンツ映像とともにOSD画像に対して高解像度化処理を行っても、OSD画像周辺部分での過度なエッジ強調による画質悪化のない高解像度化処理を施すことができる。
By the way, the processing described above may be performed on all frames of the video signal output from the main processing unit 8 or may be performed at predetermined frame intervals.
As described above, according to the second embodiment, before performing high resolution processing, color information such as luminance and color difference used in the video signal of the content output from the main processing unit 8 is analyzed. As a result, an OSD image using color information having a small contrast ratio with the color information of the analyzed video is generated. Therefore, even if the high resolution processing is performed on the OSD image together with the content video, the OSD image has a peripheral portion. Therefore, it is possible to perform high resolution processing without image quality deterioration due to excessive edge enhancement.

なお、上述した実施形態では、OSD画像の背景と文字列のコントラスト比を小さくするパラメータデータについて説明を行ったが、背景と文字列の輝度のみを小さくするパラメータデータ、または色差のみを小さくするパラメータデータであってもよい。さらには、同様の目的のために、複雑な形状の背景の外形の形状の調整、文字列の線幅の変更、背景と文字列の間や背景の外形輪郭などへの中間輝度や中間色差のグラフィックの追加、背景色や文字列色の半透明化などの処理を行う形態であってもよい。   In the above-described embodiment, the parameter data for reducing the contrast ratio between the background of the OSD image and the character string has been described. However, the parameter data for reducing only the luminance of the background and the character string, or the parameter for reducing only the color difference. It may be data. Furthermore, for the same purpose, adjustment of the outline shape of the background of complex shapes, change of the line width of the character string, intermediate luminance and intermediate color difference between the background and the character string, the outline of the background, etc. A form in which processing such as addition of graphics, translucency of background color or character string color, and the like may be performed.

また、上述した実施形態では、高解像度化処理が常に施されていることが前提で説明を行ったが、高解像度化処理を実施するか否かが選択される形態としてもよい。なお、その選択はユーザに行わせる形態であっても、入力された信号の解像度は判別する手段を用いて装置が自動的に制御する形態であってもよい。   In the above-described embodiment, the description has been made on the premise that the high resolution processing is always performed. However, it may be configured to select whether or not the high resolution processing is to be performed. Note that the selection may be in the form that the user makes, or the apparatus may automatically control the resolution of the input signal using a means for determining.

そして、そのような実施形態では、高解像度化処理が施されている状態でのみ、上述した第1、第2の実施形態の動作を行い、高解像度化処理が施されない状態では、コントラスト比を考慮せずに任意の色情報を使用してOSD画像を生成する。すなわち、高解像度化処理が行われるときに、OSD画像で使用する色情報のパラメータデータを最適化する形態であってもよい。   In such an embodiment, the operations of the first and second embodiments described above are performed only in a state where the high resolution processing is performed, and the contrast ratio is set in a state where the high resolution processing is not performed. An OSD image is generated using arbitrary color information without consideration. In other words, when high resolution processing is performed, the color data parameter data used in the OSD image may be optimized.

さらに、高解像度化処理は、画素を復元することで映像信号を鮮鋭化し、またその効果の一つとして映像のエッジ部分を強調する実施形態としてこれまで説明をしたが、それ以外のアルゴリズムによってエッジ強調する形態であってもよい。また、エッジ強調の効果だけでなく、色合いの最適化の効果であってもよい。さらには、高解像度処理部の効果に対してではなく、動画改善処理による効果によって、動画改善処理がされたコンテンツ映像信号に対するOSD画像の干渉を減少させるパラメータを設定してもよい。   Furthermore, the high resolution processing has been described so far as an embodiment in which the video signal is sharpened by restoring pixels, and the edge portion of the video is emphasized as one of the effects. The form to emphasize may be sufficient. Further, not only the edge enhancement effect but also the hue optimization effect may be used. Further, a parameter for reducing the interference of the OSD image with the content video signal subjected to the moving image improving process may be set not by the effect of the high resolution processing unit but by the effect of the moving image improving process.

また、本発明の画像処理装置としてデジタルテレビ1に適用した実施形態を説明したが、ディスプレイ24、表示処理部23、音声処理部25およびスピーカ26を備えない、例えば、チューナやセットトップボックスや、ディスプレイ24、の実施形態や、ディスプレイ24、スピーカ26を備えず図示しない記録媒体を備えた、例えば、HDDレコーダの実施形態にも本発明の画像処理装置を適用することができる。   Moreover, although embodiment applied to the digital television 1 as an image processing apparatus of this invention was described, the display 24, the display process part 23, the audio | voice process part 25, and the speaker 26 are not provided, for example, a tuner, a set top box, The image processing apparatus of the present invention can also be applied to the embodiment of the display 24, and the embodiment of the HDD recorder, for example, which is not provided with the display 24 and the speaker 26 but includes a recording medium (not shown).

また本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。   The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

本実施形態に係る画像処理装置の構成を示すブロック図。1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment. 本実施形態によるOSD画像に対する高解像度化処理による影響の一実施形態を示す図。The figure which shows one Embodiment of the influence by the high resolution process with respect to the OSD image by this embodiment. 本実施形態によるOSD画像の出力判定処理を伴う高解像度化処理のフローチャート。6 is a flowchart of a resolution enhancement process involving an OSD image output determination process according to the embodiment. 本実施形態によるOSD画像とコンテンツ映像それぞれに対する高解像度化処理の影響の一実施形態を示す図。The figure which shows one Embodiment of the influence of the high resolution process with respect to each of the OSD image and content image | video by this embodiment.

符号の説明Explanation of symbols

1…デジタルテレビ、2…デジタルチューナ、3…デジタル信号復調部、4…アナログチューナ、5…外部入力信号処理部、6…IPTV信号処理部、7…インターネット信号処理部、8…メイン処理部、8a…OSD生成部、8b…高解像度化制御部、9…ROM、21…高解像度化処理部、22…動画改善処理部、23…表示処理部、24…ディスプレイ、25…音声処理部、26…スピーカ。 DESCRIPTION OF SYMBOLS 1 ... Digital television, 2 ... Digital tuner, 3 ... Digital signal demodulation part, 4 ... Analog tuner, 5 ... External input signal processing part, 6 ... IPTV signal processing part, 7 ... Internet signal processing part, 8 ... Main processing part, 8a ... OSD generation unit, 8b ... high resolution control unit, 9 ... ROM, 21 ... high resolution processing unit, 22 ... moving image improvement processing unit, 23 ... display processing unit, 24 ... display, 25 ... audio processing unit, 26 … Speaker.

Claims (10)

所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施す映像処理手段と、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、
を具備し、
前記映像処理手段による処理が施されている場合、前記OSD生成手段は前記背景と文字列のコントラスト比が約95%以内の色情報を用いて前記OSD画像を生成することを特徴とする画像処理装置。
Video processing means for performing processing for increasing the resolution of the content video based on a predetermined algorithm;
OSD generating means for generating an OSD image including a background having first color information and a character string having second color information;
Comprising
When the processing by the video processing means is performed, the OSD generation means generates the OSD image using color information whose contrast ratio between the background and the character string is about 95% or less. apparatus.
前記第1の色情報と前記第2の色情報のパラメータを記憶するメモリを具備し、
前記OSD生成手段は、前記メモリに記憶されたパラメータを用いて前記OSD画像を生成することを特徴とする請求項1記載の画像処理装置。
A memory for storing parameters of the first color information and the second color information;
The image processing apparatus according to claim 1, wherein the OSD generation unit generates the OSD image using a parameter stored in the memory.
前記メモリは、中間輝度と中間色差のパラメータを記憶することを特徴とする請求項2記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the memory stores parameters of intermediate luminance and intermediate color difference. 前記映像処理手段は、第1解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第1解像度よりも高い第2解像度の映像信号を復元することを特徴とする請求項1記載の画像処理装置。   The video processing means restores a video signal having a second resolution higher than the first resolution by estimating an original pixel value from the video signal having the first resolution and increasing the number of pixels. The image processing apparatus according to 1. 所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施す映像処理手段と、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、
前記コンテンツ映像の色情報を分析する分析手段と、
を具備し、
前記OSD生成手段が、前記分析された色情報に基づいて背景および文字列の色情報を決定し、決定した色情報を有する当該背景および文字列とを含む前記OSD画像を生成した状態で、
前記映像処理手段が、前記コンテンツ映像と前記OSD画像の解像度を上げる処理を施すことを特徴とする画像処理装置。
Video processing means for performing processing for increasing the resolution of the content video based on a predetermined algorithm;
OSD generating means for generating an OSD image including a background having first color information and a character string having second color information;
Analyzing means for analyzing color information of the content video;
Comprising
The OSD generation unit determines color information of a background and a character string based on the analyzed color information, and generates the OSD image including the background and the character string having the determined color information.
The image processing apparatus, wherein the video processing means performs processing for increasing the resolution of the content video and the OSD image.
少なくとも映像の輪郭の強調処理を行う映像処理手段と、
前記強調処理に関する動作のオンまたはオフをユーザに選択することを許可する選択手段と、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成するOSD生成手段と、
前記選択手段によって前記強調処理がオンされている場合と、前記選択手段によって前記強調処理がオフされている場合とで、前記第1の色情報または前記第2の色情報の少なくもいずれか一方の色情報を変える制御をするか、または、前記文字列の形状を変える制御をする制御手段と、
を具備することを特徴とする画像処理装置。
Video processing means for performing at least image contour enhancement processing;
Selection means for allowing the user to select on or off of the operation related to the enhancement processing;
OSD generating means for generating an OSD image including a background having first color information and a character string having second color information;
Either the first color information or the second color information is selected when the enhancement unit is turned on by the selection unit and when the enhancement unit is turned off by the selection unit. Control means for controlling the color information of the character string or for changing the shape of the character string;
An image processing apparatus comprising:
前記制御手段は、前記選択手段によって前記強調処理がオンされている場合は、前記選択手段によって前記強調処理がオフされている場合に比べて、前記背景と文字列のコントラスト比が小さくなるように制御することを特徴とする請求項6記載の画像処理装置。   The control means is configured such that the contrast ratio between the background and the character string is smaller when the emphasis process is turned on by the selection means than when the emphasis process is turned off by the selection means. The image processing apparatus according to claim 6, wherein the image processing apparatus is controlled. 所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施し、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、
解像度を上げる処理が施されている場合、前記背景と文字列のコントラスト比が約95%以内の色情報を用いて生成することを特徴とする画像処理方法。
Perform processing to increase the resolution of content video based on a predetermined algorithm,
Generating an OSD image including a background having first color information and a character string having second color information;
An image processing method, wherein when the processing for increasing the resolution is performed, the background information and the character string are generated using color information having a contrast ratio of about 95% or less.
所定のアルゴリズムに基づいてコンテンツ映像の解像度を上げる処理を施し、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、
前記コンテンツ映像の色情報を分析し、
前記分析された色情報に基づいて背景および文字列の色情報を決定し、決定した色情報を有する当該背景および文字列とを含む前記OSD画像を生成した状態で、前記コンテンツ映像と前記OSD画像の解像度を上げる処理を施すことを特徴とする画像処理方法。
Perform processing to increase the resolution of content video based on a predetermined algorithm,
Generating an OSD image including a background having first color information and a character string having second color information;
Analyzing the color information of the content video;
Based on the analyzed color information, color information of a background and a character string is determined, and the content video and the OSD image are generated in a state where the OSD image including the background and the character string having the determined color information is generated. An image processing method characterized by performing a process for increasing the resolution of the image.
少なくとも映像の輪郭の強調処理を行い、
前記強調処理に関する動作のオンまたはオフをユーザに選択することを許可し、
第1の色情報を有する背景と第2の色情報を有する文字列とを含むOSD画像を生成し、
前記強調処理がオンされている場合と、オフされている場合とで、前記第1の色情報または前記第2の色情報の少なくもいずれか一方の色情報を変えるか、または、前記文字列の形状を変えることを特徴とする画像処理方法。
Perform at least the outline enhancement of the video,
Allowing the user to select on or off of the operation related to the enhancement processing;
Generating an OSD image including a background having first color information and a character string having second color information;
Either the color information of at least one of the first color information or the second color information is changed depending on whether the enhancement processing is turned on or off, or the character string An image processing method characterized by changing the shape of the image.
JP2008306572A 2008-12-01 2008-12-01 Image processor and image processing method Withdrawn JP2010130643A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008306572A JP2010130643A (en) 2008-12-01 2008-12-01 Image processor and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008306572A JP2010130643A (en) 2008-12-01 2008-12-01 Image processor and image processing method

Publications (1)

Publication Number Publication Date
JP2010130643A true JP2010130643A (en) 2010-06-10

Family

ID=42330636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008306572A Withdrawn JP2010130643A (en) 2008-12-01 2008-12-01 Image processor and image processing method

Country Status (1)

Country Link
JP (1) JP2010130643A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5124050B1 (en) * 2012-03-01 2013-01-23 シャープ株式会社 Video display device and television receiver
JP2013042208A (en) * 2011-08-11 2013-02-28 Canon Inc Image display device, image display method, and program
CN112839252A (en) * 2019-11-25 2021-05-25 青岛海信电器股份有限公司 Display device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042208A (en) * 2011-08-11 2013-02-28 Canon Inc Image display device, image display method, and program
JP5124050B1 (en) * 2012-03-01 2013-01-23 シャープ株式会社 Video display device and television receiver
WO2013128686A1 (en) * 2012-03-01 2013-09-06 シャープ株式会社 Video display apparatus and television receiving apparatus
CN112839252A (en) * 2019-11-25 2021-05-25 青岛海信电器股份有限公司 Display device
CN112839252B (en) * 2019-11-25 2023-03-21 青岛海信电器股份有限公司 Display device

Similar Documents

Publication Publication Date Title
KR102190233B1 (en) Apparatus and method for processing image thereof
JP4221434B2 (en) Outline correction method, image processing apparatus, and display apparatus
JP5196731B2 (en) Image processing apparatus and image processing method
JP5502868B2 (en) Gradation adjusting device, image display device, television receiver, program, and computer-readable storage medium storing program
JP5436020B2 (en) Image processing apparatus and image processing method
JP2005175735A (en) Video signal processor, television receiver employing the same, and video signal processing method
KR100831125B1 (en) Apparatus of image processing, it&#39;s method, and recording medium
JP2010041336A (en) Image processing unit and image processing method
JP4996725B2 (en) Video processing device
KR20070111381A (en) Image correction circuit, image correction method, and image display
JP2006228184A (en) Dynamic image contrast processor
JP4930781B2 (en) Image correction circuit, image correction method, and image display apparatus
JP6190482B1 (en) Display control device, display device, television receiver, display control device control method, control program, and recording medium
JP2009100270A (en) Video-editing method and television broadcast receiver
JP2011081150A (en) Image processing apparatus and image processing method
JP2010130643A (en) Image processor and image processing method
JP2010198321A (en) Image processing device and image processing method
JP2014006614A (en) Image processing device, image processing method, and program
JP4901821B2 (en) Image processing apparatus and image processing method
JP2004194311A (en) Video playback device and video playback method
JP2009025505A (en) Image signal processor, image signal processing method, and program
JP2008139828A (en) Image processing apparatus, image processing method, electro-optical device and electronic device
JP2010118753A (en) Playback apparatus, control program of playback apparatus, and recording medium with control program of playback apparatus recorded thereon
JP2011048040A (en) Video signal processing apparatus, method of processing video signal, and program
JP5012195B2 (en) Image correction circuit, image correction method, and image display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100402

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100402

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120305