JP5093557B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP5093557B2
JP5093557B2 JP2006276045A JP2006276045A JP5093557B2 JP 5093557 B2 JP5093557 B2 JP 5093557B2 JP 2006276045 A JP2006276045 A JP 2006276045A JP 2006276045 A JP2006276045 A JP 2006276045A JP 5093557 B2 JP5093557 B2 JP 5093557B2
Authority
JP
Japan
Prior art keywords
image
display
area
telop
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006276045A
Other languages
English (en)
Other versions
JP2008098800A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006276045A priority Critical patent/JP5093557B2/ja
Priority to US11/856,285 priority patent/US20080084503A1/en
Publication of JP2008098800A publication Critical patent/JP2008098800A/ja
Application granted granted Critical
Publication of JP5093557B2 publication Critical patent/JP5093557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、画像に映っている被写体を変形させずに、TV（テレビジョン受像機）等の表示画面の全体を有効に利用して画像を表示することができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
現在、様々なアスペクト比の画像が存在する。
図１は、各種のアスペクト比の画像を示している。
画像の縦の長さを1とすると、横の長さが、例えば、1.33，1.37，1.66，1.78，1.85，2.35の画像がある。
横の長さが1.33の画像としては、例えば、地上波アナログ放送で放送されている、画像全体のアスペクト比が4:3の画像（横対縦の比が4:3の画像）がある。
横の長さが1.37の画像は、スタンダードと呼ばれる画像である。
横の長さが1.66と1.85の画像は、ビスタと総称される画像である。横の長さが1.66のビスタは、ヨーロピアンビスタと呼ばれ、横の長さが1.85の画像は、アメリカンビスタと呼ばれる。
横の長さが1.78の画像は、例えば、地上波ディジタル放送等で放送されている、画像全体のアスペクト比が16:9の画像である。
横の長さが2.35の画像は、シネマスコープと呼ばれる画像である。
ところで、画像を提供するメディアとしては、伝送媒体としての、例えば、地上波アナログ放送、地上波ディジタル放送、衛星放送等や、記録媒体としての、例えば、DVD(Digital Versatile Disc)、映画フィルム等の多くの種類のメディアが存在する。
そして、各種のメディアでは、画像全体のアスペクト比や、画像における有効な動画部分（以下、適宜、有効画像という）のアスペクト比などの画像フォーマットが異なる画像が提供されている。
図２は、画像フォーマットが異なる画像の例を示している。
図２上から１番目は、画像全体のアスペクト比が4:3で、その画像全体が有効画像となっている画像フォーマットの画像（以下、適宜、通常4:3画像という）を示している。
通常4:3画像は、その画像全体が有効画像となっているから、その有効画像のアスペクト比は、通常4:3画像全体のアスペクト比と同一の4:3である。
ここで、画像全体のアスペクト比が4:3の画像を、4:3画像ともいう。
図２上から２番目は、画像全体のアスペクト比が16:9で、その画像全体が有効画像となっている画像フォーマットの画像（以下、適宜、通常16:9画像という）を示している。
通常16:9画像は、その画像全体が有効画像となっているから、その有効画像のアスペクト比は、通常16:9画像全体のアスペクト比と同一の16:9である。
ここで、画像全体のアスペクト比が16:9の画像を、16:9画像ともいう。
図２上から３番目（下から１番目）は、有効画像のアスペクト比が16:9で、その上下に、いわゆる黒枠（又は黒縁）と呼ばれる黒色等の領域が付加されることによって、画像全体のアスペクト比が4:3になっている画像フォーマットの画像（以下、適宜、レターボックス画像という）を示している。
レターボックス画像は、図２上から１番目の通常4:3画像と同様に、4:3画像ではあるが、有効画像のアスペクト比が16:9であり、画像全体のアスペクト比である4:3と異なっている点で、有効画像のアスペクト比が、画像全体のアスペクト比である4:3と一致している通常4:3画像と異なる。
ここで、レターボックス画像において、アスペクト比が16:9の有効画像の上下に付加されている黒枠（有効画像でない部分）を、以下、適宜、レターボックス領域という。
次に、図３は、図２に示した画像フォーマットの画像を表示するTV等の表示装置の表示画面の例を示している。
すなわち、図３は、アスペクト比が4:3の表示画面（横対縦の比が4:3の表示画面）と、アスペクト比が16:9の表示画面とを示している。
ここで、以下、適宜、アスペクト比が4:3の表示画面、又はアスペクト比が16:9の表示画面を、それぞれ、4:3画面、又は16:9画面ともいう。
有効画像のアスペクト比が、画像全体のアスペクト比と一致する画像を、その画像全体のアスペクト比と一致するアスペクト比の表示画面に表示する場合、すなわち、例えば、4:3画面において、通常4:3画像を表示する場合や、16:9画面において、通常16:9画像を表示する場合には、表示画面の全体に、有効画像が表示されるので、画像に映っている被写体を変形させずに、表示画面の全体を有効に利用して画像を表示することができる。
しかしながら、その他の場合には、表示画面の全体を有効に利用して画像を表示することができないことがある。
すなわち、図４は、表示画面の全体を有効に利用して画像を表示することができない場合の例を示している。
図４上から１番目は、通常16:9画像を、4:3画面に表示した場合の表示例を示している。
通常16:9画像を、4:3画面に表示した場合には、通常16:9画像の画像全体のアスペクト比と、4:3画面のアスペクト比との違いに起因して、4:3画面において、通常16:9画像は、その上下に黒枠が付加された状態の、いわゆるレターボックスで表示される。
したがって、通常16:9画像を、4:3画面に表示した場合には、4:3画面の上下の、黒枠の部分は、有効画像の表示に使用されない不使用領域となる。
図４上から２番目は、通常4:3画像を、16:9画面に表示した場合の表示例を示している。
通常4:3画像を、16:9画面に表示した場合には、通常4:3画像の画像全体のアスペクト比と、16:9画面のアスペクト比との違いに起因して、16:9画面において、通常4:3画像は、その左右に黒枠が付加された、いわゆるサイドパネル付きの状態で表示される。
したがって、通常4:3画像を、16:9画面に表示した場合には、16:9画面の左右の、黒枠の部分は、有効画像の表示に使用されない不使用領域となる。
図４上から３番目は、レターボックス画像を、4:3画面に表示した場合の表示例を示している。
レターボックス画像の画像全体のアスペクト比と、4:3画面のアスペクト比とは一致しているから、レターボックス画像を、4:3画面に表示する場合には、通常4:3画像を、4:3画面に表示する場合（図４上から１番目）と同様に表示される。
しかしながら、レターボックス画像は、アスペクト比が16:9の有効画像の上下に、レターボックス領域が付加された画像であり、4:3画面において、レターボックス領域が表示される部分は、結局、有効画像の表示に使用されない不使用領域となる。
図４上から４番目（下から１番目）は、レターボックス画像を、16:9画面に表示した場合の表示例を示している。
レターボックス画像を、16:9画面に表示した場合には、通常4:3画像を16:9画面に表示した場合（図４上から２番目）と同様に、レターボックス画像の左右に黒枠が付加されたサイドパネル付きの状態で表示されるので、16:9画面の左右の、黒枠の部分が、有効画像の表示に使用されない不使用領域となる。
さらに、レターボックス画像は、アスペクト比が16:9の有効画像の上下に、レターボックス領域が付加された画像であり、16:9画面において、レターボックス領域が表示される部分も、有効画像の表示に使用されない不使用領域となる。
以上のように、画像全体のアスペクト比が、表示画面のアスペクト比と異なる画像を表示する場合や、有効画像のアスペクト比と画像全体のアスペクト人が異なる画像を表示する場合等においては、表示画面に、有効画像の表示に使用されない不使用領域が生じ、画像が、表示画面の全体を有効に利用して表示されないことがある。
そこで、通常4:3画像を、16:9画面に表示する場合には、通常4:3画像の横方向と縦方向のうちの、横方向をより引き延ばすような、通常4:3画像のアスペクト比の変換を行うことによって、画像全体、ひいては、有効画像のアスペクト比が16:9の画像を得て、16:9画面の全体に表示する方法がある（例えば、特許文献１を参照）。
特許第2759727号
例えば、TV等において、上述したように、表示画面に、有効画像の表示に使用されない不使用領域が生じることは、そのTV等が有する能力としての解像度を十分に発揮していないことになるので、好ましくない。
また、特許文献１に記載のように、通常4:3画像のアスペクト比の変換を行い、アスペクト比が16:9の有効画像を得ることによって、表示画面の全体に、画像を表示することができるが、通常4:3画像のアスペクト比の変換を行うことによって得られる、アスペクト比が16:9の有効画像においては、そのアスペクト比の変換によって、元の通常4:3画像に映っている被写体が変形し、例えば、顔が横長に表示されることになる。
このように、画像に映っている被写体を変形して表示することは、その被写体の、いわば本来の情報を表示しないことになるから、好ましいことではない。
本発明は、このような状況に鑑みてなされたものであり、画像に映っている被写体を変形させずに、表示画面の全体を有効に利用して画像を表示することができるようにするものである。
本発明の一側面の画像処理装置、又は、プログラムは、画像を表示する表示手段に、画像を表示させる画像処理装置において、画像のアスペクト比を含む画像フォーマットを検出する画像フォーマット検出手段と、前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換する変換手段と、前記表示手段に表示される前記表示用画像を、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールさせるスクロール処理手段と、前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定するテロップ判定手段と、前記非表示領域の前記テロップ領域を、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成するテロップ領域合成手段とを備え、前記テロップ判定手段は、前記合成領域に、テロップ領域が存在するかどうかを、さらに判定し、前記スクロール処理手段は、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像をスクロールさせる画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の一側面の画像処理方法は、画像を表示する表示手段に、画像を表示させる画像処理方法において、画像のアスペクト比を含む画像フォーマットを検出する画像フォーマット検出ステップと、前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換する変換ステップと、前記表示手段に表示される前記表示用画像を、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールさせるスクロール処理ステップと、前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定するテロップ判定ステップと、前記非表示領域の前記テロップ領域を、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成するテロップ領域合成ステップとを含み、前記テロップ判定ステップでは、前記合成領域に、テロップ領域が存在するかどうかを、さらに判定し、前記スクロール処理ステップでは、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像をスクロールさせる画像処理方法である。
本発明の一側面においては、画像のアスペクト比を含む画像フォーマットが検出され、前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像が、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換される。そして、前記表示手段に表示される前記表示用画像が、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールされる。また、前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかが判定され、前記非表示領域の前記テロップ領域が、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成される。この場合において、前記合成領域に、テロップ領域が存在するかどうかが、さらに判定され、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像がスクロールされる。
なお、プログラムは、伝送媒体を介して伝送すること、又は、記録媒体に記録することにより提供することができる。
本発明の一側面によれば、画像を表示することができ、特に、画像に映っている被写体を変形させずに、表示画面の全体を有効に利用して画像を表示することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
なお、本実施の形態では、説明を簡単にするため、１画素の横の長さと縦の長さとは等しいこととする。
図５は、本発明を適用した表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
図５において、表示システムは、リモートコマンダ１０と、表示処理装置２０とから構成されている。
リモートコマンダ１０は、表示処理装置２０で表示される画像をスクロールするときに操作されるスクロールキー１１、その他、表示処理装置２０の電源をオン又はオフするときに操作される図示せぬ電源キー等を有する。リモートコマンダ１０は、ユーザによって操作され、その操作に対応した操作信号を、赤外線等の電波によって、表示処理装置２０に送信する。
表示処理装置２０は、画像を表示させる画像処理装置としての、例えば、TVであり、バッファ２１、画像フォーマット検出部２２、読み出し部２３、画像変換部２４、表示制御部２５、表示部２６、及び制御部２７から構成される。
バッファ２１には、例えば、地上波ディジタル放送等で放送された放送データ等の画像（データ）を含むデータが供給される。バッファ２１は、そこに記憶されるデータを一時記憶する。
画像フォーマット検出部２２は、バッファ２１に記憶されたデータに含まれる画像の画像全体のアスペクト比、さらには、その画像における有効な動画部分の有効画像のアスペクト比等を含む画像フォーマットを検出し、その画像フォーマットに基づき、さらには、必要に応じて、表示部２６の表示画面の画面フォーマットにも基づき、読み出し部２３、画像変換部２４、及び表示制御部２５を制御する。
ここで、画像フォーマット検出部２２には、表示部２６の表示画面の画面フォーマットが、あらかじめ記憶されていることとする。画面フォーマットには、表示部２６の表示画面のアスペクト比と、横及び縦の画素数等の画面サイズとが含まれる。なお、表示部２６は、表示処理装置２０から独立した装置として構成することができ、この場合、例えば、その独立した装置としての表示部２６から、画像フォーマット検出部２２に対して、表示部２６の画面フォーマットが供給される。
また、バッファ２１に記憶されたデータに含まれる画像は、どのような画像フォーマットの画像であってもよいが、以下では、説明を簡単にするため、例えば、前述の図２に示した通常4:3画像、通常16:9画像、及びレターボックス画像の３種類であることとする。
さらに、画像フォーマット検出部２２が検出する画像フォーマットには、アスペクト比の他、有効画像の横及び縦の画素数等の画像サイズを認識することができる情報が含まれることとする。
なお、例えば、画像フォーマット（の情報）が、放送データに含まれる場合には、画像フォーマット検出部２２は、放送データから画像フォーマットを検出する。
ここで、画像フォーマット検出部２２において、あるコンテンツの画像についての画像フォーマットの検出は、繰り返し行っても良いし、１回だけ行っても良い。あるコンテンツの画像についての画像フォーマットの検出を１回だけ行う場合には、コンテンツが変わるたびに、画像フォーマットの検出が行われる。
読み出し部２３は、画像フォーマット検出部２２からの制御に基づき、バッファ２１に記憶されたデータに含まれる画像から、有効画像を読み出し、後述するサイズ変換の対象となる対象画像として、画像変換部２４に供給する。
画像変換部２４は、画像フォーマット検出部２２からの制御に基づいて、すなわち、画像フォーマットと画面フォーマットとに基づいて、読み出し部２３からの対象画像としての有効画像を、横又は縦のサイズが表示部２６の表示画面の横又は縦のサイズと一致し、かつ、表示部２６の表示画面の画面サイズ以上の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換するサイズ変換を行い、そのサイズ変換によって得られる表示用画像を、表示制御部２５に供給する。
表示制御部２５は、画像変換部２４からの表示用画像を表示部２６に表示させる。さらに、表示制御部２５は、画像フォーマット検出部２２や制御部２７の制御にしたがい、表示部２６に表示される表示用画像を、その表示部２６の表示画面に映っていない表示用画像の部分である非表示領域が移る方向にスクロールさせる。
表示部２６は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等で構成され、表示制御部２５の制御にしたがって、表示用画像を、表示画面に表示する。
制御部２７は、リモートコマンダ１０から送信されてくる操作信号を受信し、その操作信号に基づいて、表示制御部２５を制御する。
次に、図６を参照して、図５の読み出し部２３の処理について、さらに説明する。
上述したように、読み出し部２３は、画像フォーマット検出部２２からの制御に基づき、バッファ２１に記憶されたデータに含まれる画像から、有効画像を、画像変換部２４でのサイズ変換の対象となる対象画像として読み出し、画像変換部２４に供給する。
ここで、本実施の形態では、バッファ２１（図５）には、通常4:3画像、通常16:9画像、又はレターボックス画像を含むデータが記憶される。
また、画像フォーマット検出部２２は、バッファ２１に記憶されたデータに含まれる画像の画像全体のアスペクト比、さらには、その画像における有効画像のアスペクト比及び画像サイズを含む画像フォーマットを検出し、その画像フォーマットに基づき、読み出し部２３を制御する。
すなわち、画像フォーマット検出部２２は、画像フォーマットに基づき、バッファ２１に記憶されたデータに含まれる画像のうちの有効画像を認識し、その有効画像を読み出すように、読み出し部２３を制御する。
その結果、バッファ２１に記憶されたデータに含まれる画像が、その画像全体が有効画像となっている通常16:9画像、又は通常4:3画像である場合には、読み出し部２３は、図６上から１番目、又は２番目にそれぞれ示すように、通常16:9画像の全体、又は通常4:3画像の全体を、対象画像として読み出し、画像変換部２４に供給する。
また、バッファ２１に記憶されたデータに含まれる画像が、その一部が有効画像となっているレターボックス画像である場合には、読み出し部２３は、図６上から３番目（下から１番目）に示すように、レターボックス画像における、上下のレターボックス領域を除いた、アスペクト比が16:9の有効画像である16:9画像を、対象画像として読み出し、画像変換部２４に供給する。
次に、図７及び図８を参照して、図５の画像変換部２４の処理について説明する。
画像変換部２４は、上述したように、画像フォーマット検出部２２からの制御に基づいて、読み出し部２３からの対象画像としての有効画像を、横又は縦のサイズが表示部２６の表示画面の横又は縦のサイズと一致し、かつ、表示部２６の表示画面の画面サイズ以上の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換するサイズ変換を行う。
すなわち、画像フォーマット検出部２２は、画像フォーマットと画面フォーマットとに基づき、対象画像としての有効画像のアスペクト比と、表示部２６の表示画面のアスペクト比とが一致するかどうかを判定する。
そして、対象画像としての有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、画像フォーマット検出部２２は、図７に示すように、有効画像を表示用画像に変換するように、画像変換部２４を制御し、対象画像としての有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像フォーマット検出部２２は、図８に示すように、有効画像を表示用画像に変換するように、画像変換部２４を制御する。
すなわち、対象画像としての有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、画像フォーマット検出部２２は、例えば、図７に示すように、表示画面の横又は縦のサイズのうちの一方のサイズとしての、例えば、横の画素数H1と、有効画像の横又は縦のうちの対応する一方としての横の画素数H2とに基づき、有効画像の横の画素数H2を、表示画面の横の画素数H1に一致させる倍率（以下、適宜、変換係数という）H1/H2を求め、有効画像の横及び縦の画素数を、その変換係数H1/H2倍するように、画像変換部２４を制御する。
画像変換部２４は、画像フォーマット検出部２２の制御にしたがい、読み出し部２３からの対象画像としての有効画像の横及び縦の画素数を、変換係数H1/H2倍する。これにより、有効画像は、横又は縦の画素数が表示画面の横又は縦の画素数とそれぞれ一致し、かつ、表示画面の画面サイズと等しい画像サイズの画像であって、有効画像の横及び縦の画素数を同一倍である変換係数H1/H2倍した表示用画像に変換される。
すなわち、いまの場合、対象画像としての有効画像のアスペクト比と、表示画面のアスペクト比とが一致するので、表示画面の縦の画素数V1と、有効画像の縦の画素数V2との比V1/V2は、変換係数H1/H2に等しい（表示画面の縦の画素数V1と、有効画像の縦の画素数V2との比V1/V2が変換係数であるということができる）。
したがって、横×縦の画素数がH2×V2の有効画像の横及び縦の画素数を、変換係数H1/H2(=V1/V2)倍することにより、横×縦の画素数が、表示画面の横×縦の画素数であるH1×V1に等しい画像、つまり、横又は縦のサイズがそれぞれ表示画面の横又は縦のサイズと一致し、かつ、表示画面の画面サイズと等しい画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍である変換係数H1/H2倍した画像が、表示用画像として得られる。
ここで、図７上側は、有効画像のアスペクト比と、表示画面のアスペクト比とが16:9で一致する場合の表示用画像を示している。
また、図７下側は、有効画像のアスペクト比と、表示画面のアスペクト比とが4:3で一致する場合の表示用画像を示している。
有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合、画像変換部２４において、有効画像をサイズ変換することにより得られる表示用画像の画像サイズとしての、例えば、横×縦の画素数は、表示画面の画面サイズに一致するので、表示用画像は、表示部２６の表示画面の全体を有効に利用して表示することができる。
また、表示用画像は、有効画像の横及び縦のサイズを同一倍である変換係数H1/H2倍した画像であるので、表示用画像のアスペクト比は、有効画像のアスペクト比と一致し、すなわち、例えば、有効画像が4:3画像であれば、表示用画像も4:3画像となり、有効画像16:9画像であれば、表示用画像も16:9画像となり、その結果、表示用画像は、有効画像に映っている被写体が変形されずに反映された画像となる。
一方、対象画像としての有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像フォーマット検出部２２は、例えば、図８に示すように、有効画像のアスペクト比と、表示画面のアスペクト比とに基づき、有効画像の横又は縦のうちの一方の画素数を、表示画面の横又は縦のうちの対応する一方の画素数に一致させる倍率としての変換係数Kを求め、有効画像の横及び縦の画素数を、その変換係数K倍するように、画像変換部２４を制御する。
すなわち、画像フォーマット検出部２２は、有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、表示画面の横の画素数H1と有効画像の横の画素数H2との比である横比H1/H2、及び表示画面の縦の画素数V1と有効画像の縦の画素数V2との比である縦比V1/V2を求める。さらに、画像フォーマット検出部２２は、横比H1/H2と縦比V1/V2とのうちの大きい方を、変換係数Kに決定し、有効画像の横及び縦の画素数を、その変換係数K倍するように、画像変換部２４を制御する。
したがって、図８上側に示すように、表示画面のアスペクト比が16:9(=H1:V1)であり、有効画像のアスペクト比が4:3(=H2:V2)である場合には、表示画面及び有効画像の画素数によって決まる定数をaとすると、横比H1/H2が16/4×aとなるとともに、縦比V1/V2が9/3×aとなって、横比H1/H2が縦比V1/V2より大となるので、横比H1/H2が、変換係数Kとなる。
また、図８下側に示すように、表示画面のアスペクト比が4:3(=H1:V1)であり、有効画像のアスペクト比が16:9(=H2:V2)である場合には、表示画面及び有効画像の画素数によって決まる定数をbとすると、横比H1/H2が4/16×bとなるとともに、縦比V1/V2が3/9×bとなって、縦比V1/V2が横比H1/H2より大となるので、縦比V1/V2が、変換係数Kとなる。
そして、画像変換部２４は、画像フォーマット検出部２２の制御にしたがい、読み出し部２３からの対象画像としての有効画像の横及び縦の画素数を、変換係数K倍する。これにより、有効画像は、横又は縦のうちの一方の画素数が表示画面の横又は縦のうちの対応する一方の画素数と一致し、かつ、表示画面の画面サイズ以上の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍である変換係数K倍した表示用画像に変換される。
すなわち、図８上側に示すように、表示画面のアスペクト比が16:9(=H1:V1)であり、有効画像のアスペクト比が4:3(=H2:V2)である場合には、上述したように、横比H1/H2が、変換係数Kとなる。
この場合、横×縦の画素数がH2×V2の有効画像の横及び縦の画素数は、変換係数K=H1/H2倍され、その結果、図８上側に示すように、横の画素数が、表示画面の横の画素数であるH1に等しく、縦の画素数が、表示画面の縦の画素数であるV1より大のV1'の画像、つまり、横のサイズが表示画面の横のサイズH1と一致し、かつ、表示画面の画面サイズより大の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍である変換係数K=H1/H2倍した画像が、表示用画像として得られる。
すなわち、表示画面のアスペクト比が16:9であり、有効画像のアスペクト比が4:3である場合には、アスペクト比が有効画像のアスペクト比と同一の4:3で、横の画素数が表示画面の横の画素数H1と一致し、かつ、縦の画素数が表示画面の縦の画素数V1よりも大の画像が、表示用画像として得られる。
一方、図８下側に示すように、表示画面のアスペクト比が4:3(=H1:V1)であり、有効画像のアスペクト比が16:9(=H2:V2)である場合には、上述したように、縦比V1/V2が、変換係数Kとなる。
この場合、横×縦の画素数がH2×V2の有効画像の横及び縦の画素数は、変換係数K=V1/V2倍され、その結果、図８下側に示すように、縦の画素数が、表示画面の縦の画素数であるV1に等しく、横の画素数が、表示画面の横の画素数であるH1より大のH1'の画像、つまり、縦のサイズが表示画面の縦のサイズV1と一致し、かつ、表示画面の画面サイズより大の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍である変換係数K=V1/V2倍した画像が、表示用画像として得られる。
すなわち、表示画面のアスペクト比が4:3であり、有効画像のアスペクト比が16:9である場合には、アスペクト比が有効画像のアスペクト比と同一の16:9で、縦の画素数が表示画面の縦の画素数V1と一致し、かつ、横の画素数が表示画面の横の画素数H1よりも大の画像が、表示用画像として得られる。
以上のように、有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合、画像変換部２４において、有効画像をサイズ変換することにより得られる表示用画像の横又は縦のうちの、一方のサイズとしての画素数は、表示画面の横又は縦のうちの対応する一方の画素数に一致し、かつ、表示用画像の横又は縦のうちの他方の画素数は、表示画面の横又は縦のうちの対応する他方の画素数より大になるので、表示用画像においては、表示部２６の表示画面に表示しきれない横又は縦の部分が生じるものの、表示画面の利用という観点からは、表示用画像を、表示部２６の表示画面の全体を有効に利用して表示することができる。
さらに、表示用画像は、有効画像の横及び縦のサイズを同一倍である変換係数K倍した画像であるので、表示用画像のアスペクト比は、有効画像のアスペクト比と一致し、すなわち、例えば、有効画像が4:3画像であれば、表示用画像も4:3画像となり、有効画像16:9画像であれば、表示用画像も16:9画像となり、その結果、表示用画像は、有効画像に映っている被写体が変形されずに反映された画像となる。
なお、画像変換部２４が行うサイズ変換は、画像サイズとしての、例えば、画素数を変換する画素数変換であるが、この画素数変換は、いわゆる補間処理や間引き処理によって行うことができる他、本件出願人が先に提案しているクラス分類適応処理によって行うことができる。クラス分類適応処理についての詳細は、後述する。
次に、図９及び図１０を参照して、図５の表示制御部２５の処理について説明する。
図７で説明したように、有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、画像変換部２４において得られる表示用画像の画像サイズは、表示部２６の表示画面の画面サイズに一致するので、表示制御部２５は、画像変換部２４から供給される表示用画像の全体を、表示部２６の表示画面の全体に表示させる。
一方、図８で説明したように、有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像変換部２４において得られる表示用画像の横又は縦のうちの一方の画素数は、表示画面のそれに一致するが、他方の画素数は、表示画面のそれより大となるので、表示制御部２５において、画像変換部２４から供給される表示用画像の全体を、（同時に）表示部２６の表示画面の全体に表示させることはできない。
すなわち、例えば、表示画面のアスペクト比が16:9であり、有効画像のアスペクト比が4:3である場合には、アスペクト比が有効画像のアスペクト比と同一の4:3で、横の画素数が表示画面の横の画素数H1と一致し、かつ、縦の画素数が表示画面の縦の画素数V1よりも大の画像が、表示用画像として得られるので、そのような4:3画像の表示用画像を、アスペクト比が16:9の表示画面に表示する場合には、図９左側に示すように、表示用画像の上又は下の部分が、表示画面に映らない部分である非表示領域となる。
そこで、表示制御部２５は、画像フォーマット検出部２２及び制御部２７の制御にしたがい、表示部２６の表示画面に表示される表示用画像を、非表示領域が映る方向にスクロールさせる。
すなわち、いま、表示用画像のうちの、表示画面に映る部分を、表示領域ということとすると、例えば、図９左側に示すように、4:3画像の表示用画像が、その上と下の部分が、非表示領域となるように表示されている場合において、表示用画像が、例えば、上方向にスクロールされることにより、非表示領域となっていた下の部分が表示領域となって、ユーザ（視聴者）は、非表示領域となっていた下の部分を見ることができる。また、表示用画像が、例えば、下方向にスクロールされることにより、非表示領域となっていた上の部分が表示領域となって、ユーザは、非表示領域となっていた上の部分を見ることができる。
一方、例えば、表示画面のアスペクト比が4:3であり、有効画像のアスペクト比が16:9である場合には、アスペクト比が有効画像のアスペクト比と同一の16:9で、縦の画素数が表示画面の縦の画素数V1と一致し、かつ、横の画素数が表示画面の横の画素数H1よりも大の画像が、表示用画像として得られるので、そのような16:9画像の表示用画像を、アスペクト比が4:3の表示画面に表示する場合には、図９右側に示すように、表示用画像の左又は右の部分が、表示画面に映らない非表示領域となる。
そこで、表示制御部２５は、画像フォーマット検出部２２及び制御部２７の制御にしたがい、表示部２６の表示画面に表示される表示用画像を、非表示領域が映る方向にスクロールさせる。
すなわち、例えば、図９右側に示すように、16:9画像の表示用画像が、その左と右の部分が、非表示領域となるように表示されている場合において、表示用画像が、例えば、左方向にスクロールされることにより、非表示領域となっていた右の部分が表示領域となって、ユーザは、非表示領域となっていた右の部分を見ることができる。また、表示用画像が、例えば、右方向にスクロールされることにより、非表示領域となっていた左の部分が表示領域となって、ユーザは、非表示領域となっていた左の部分を見ることができる。
図１０は、以上のように、表示部２６の表示画面に表示される表示用画像を、非表示領域が映る方向にスクロールさせるスクロール処理を行う図５の表示制御部２５の構成例を示している。
図１０において、表示制御部２５は、スクロール処理部５０を有し、スクロール処理部５０は、画像フォーマット検出部２２及び制御部２７の制御にしたがい、表示部２６の表示画面に表示される表示用画像を、非表示領域が映る方向にスクロールさせる。
すなわち、スクロール処理部５０は、バッファ５１と読み出し部５２とから構成される。
バッファ５１には、図５の画像変換部２４から表示用画像が供給される。バッファ５１は、画像変換部２４から供給される表示用画像を、例えば、フレーム（又はフィールド）単位で一時記憶する。
読み出し部５２は、画像フォーマット検出部２２及び制御部２７の制御にしたがい、バッファ５１に記憶された表示用画像のうちの、表示部２６の表示画面の画面サイズに一致する画像サイズ分の領域を読み出して、表示部２６に供給することで、表示部２６の表示画面に表示される表示用画像を、非表示領域が映る方向にスクロールさせる。
すなわち、図５の画像フォーマット検出部２２は、有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、表示用画像のスクロールの禁止を表すスクロールフラグを、読み出し部５２に供給する。
また、画像フォーマット検出部２２は、有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、表示用画像の、非表示領域が映る方向へのスクロールを許可するスクロールフラグを、読み出し部５２に供給する。
つまり、画像フォーマット検出部２２は、例えば、有効画像のアスペクト比が4:3であり、表示画面のアスペクト比が16:9である場合には、図９左側に示した、表示用画像の、非表示領域が映る上下方向（縦方向）へのスクロールを許可するスクロールフラグを、読み出し部５２に供給する。
また、画像フォーマット検出部２２は、例えば、有効画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合には、図９右側に示した、表示用画像の、非表示領域が映る左右方向（横方向）へのスクロールを許可するスクロールフラグを、読み出し部５２に供給する。
そして、読み出し部５２は、画像フォーマット検出部２２からのスクロールフラグが表す、スクロールを許可する方向のスクロールを指示するスクロール信号が、制御部２７から供給された場合、そのスクロール信号に応じて、バッファ５１に記憶された表示用画像から読み出して表示部２６に供給する領域を変更することにより、表示部２６の表示画面に表示される表示用画像をスクロールさせる。
すなわち、図５の制御部２７は、例えば、リモートコマンダ１０から、スクロールキー１１の操作（スクロール操作）に対応する操作信号を受信すると、その操作信号に対応したスクロール信号を、読み出し部５２に供給する。
読み出し部５２は、制御部２７から供給されるスクロール信号に応じて、上述したように、表示部２６の表示画面に表示される表示用画像をスクロールさせる。
なお、有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、バッファ５１には、表示部２６の表示画面の画面サイズに一致する画像サイズの表示用画像が記憶され、読み出し部５２は、その表示用画像全体を、バッファ５１から読み出して、表示部２６に供給する。この場合、表示画面の全体に、表示用画像の全体が表示される。
次に、図１１のフローチャートを参照して、図５の表示処理装置２０の処理について説明する。
バッファ２１には、例えば、地上波ディジタル放送等で放送された放送データ等の画像を含むデータが供給される。バッファ２１は、そこに記憶されるデータを一時記憶する。
そして、ステップＳ１１において、画像フォーマット検出部２２は、バッファ２１に記憶されたデータに含まれる画像の画像フォーマットを検出し、ステップＳ１２に進む。
ステップＳ１２では、画像フォーマット検出部２２は、画像フォーマットに基づき、バッファ２１に記憶されたデータに含まれる画像における有効画像を認識し、その有効画像を表す情報を、読み出し部２３に供給して、ステップＳ１３に進む。
ステップＳ１３では、画像フォーマット検出部２２は、画像フォーマットと、表示部２６の表示画面の画面フォーマットとに基づき、表示画面の横の画素数H1と有効画像の横の画素数H2との比である横比H1/H2、及び表示画面の縦の画素数V1と有効画像の縦の画素数V2との比である縦比V1/V2を求める。さらに、画像フォーマット検出部２２は、横比H1/H2と縦比V1/V2とのうちの大きい方(等しい場合には、いずれか一方)を、変換係数Kに決定し、その変換係数Kを表す情報を、画像変換部２４に供給して、ステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、画像フォーマット検出部２２は、画像フォーマットと画面フォーマットとに基づき、スクロールフラグをセットする。
すなわち、画像フォーマット検出部２２は、有効画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、表示用画像のスクロールの禁止を表す情報を、スクロールフラグにセットする。
また、画像フォーマット検出部２２は、有効画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、表示用画像の、非表示領域が映る方向へのスクロールの許可を表す情報を、スクロールフラグにセットする。
そして、画像フォーマット検出部２２は、スクロールフラグを、表示制御部２５に供給して、ステップＳ１４からステップＳ１５に進む。
ステップＳ１５では、読み出し部２３は、画像フォーマット検出部２２から直前のステップＳ１２で供給された有効画像を表す情報に基づいて、バッファ２１からの有効画像の読み出しを開始し、サイズ変換の対象となる対象画像として、画像変換部２４に供給して、ステップＳ１６に進む。
ステップＳ１６では、画像変換部２４は、画像フォーマット検出部２２から直前のステップＳ１３で供給された変換係数Kを表す情報に基づいて、読み出し部２３からの対象画像としての有効画像を、その横と縦の画素数を変換係数K倍した表示用画像に変換するサイズ変換を開始し、その結果得られる表示用画像を、表示制御部２５に供給して、ステップＳ１７に進む。
ステップＳ１７では、表示制御部２５が、画像変換部２４から供給される表示用画像を、表示部２６に表示させる表示制御処理を開始し、ステップＳ１８に進む。
すなわち、表示制御部２５を構成するスクロール処理部５０（図１０）において、バッファ５１が、画像変換部２４から供給される表示用画像の記憶を開始し、読み出し部５２が、バッファ５１に記憶された表示用画像の読み出し、及び表示部２６への供給を開始する。
ステップＳ１８では、表示制御部２５が、スクロール処理を開始して、ステップＳ１９に進む。なお、スクロール処理については、図１２を参照して後述する。
ステップＳ１９では、画像フォーマット検出部２２が、バッファ２１に記憶された画像の画像フォーマットが変化したかどうかを判定する。
すなわち、画像フォーマット検出部２２は、例えば、バッファ２１に記憶された画像の画像フォーマットを常時検出しており、ステップＳ１９では、バッファ２１に記憶された画像の画像フォーマットが変化したかどうかが判定される。
ステップＳ１９において、バッファ２１に記憶された画像の画像フォーマットが変化していないと判定された場合、ステップＳ１９に戻る。
また、ステップＳ１９において、バッファ２１に記憶された画像の画像フォーマットが変化したと判定された場合、ステップＳ１２に戻り、その変化後の画像フォーマットを用いて、上述した場合と同様の処理が繰り返される。
次に、図１２のフローチャートを参照して、図１１のステップＳ１８で開始される、表示制御部２５（図１０）によるスクロール処理について説明する。
スクロール処理では、ステップＳ３１において、表示制御部２５を構成するスクロール処理部５０（図１０）の読み出し部５２が、図１１のステップＳ１４で画像フォーマット検出部２２（図５）から供給されたスクロールフラグに基づき、表示用画像のスクロールが許可されているかどうかを判定する。
ステップＳ３１において、スクロールが許可されていないと判定された場合、すなわち、スクロールフラグが、表示用画像のスクロールの禁止を表している場合、ステップＳ３１に戻る。
また、ステップＳ３１において、スクロールが許可されていると判定された場合、すなわち、スクロールフラグが、表示用画像の、非表示領域が映る方向へのスクロールの許可を表している場合、ステップＳ３２に進み、読み出し部５２は、スクロール操作がされたかどうかを判定する。
ステップＳ３２において、スクロール操作がされていないと判定された場合、ステップＳ３１に戻る。
また、ステップＳ３２において、スクロール操作がされたと判定された場合、すなわち、ユーザがリモートコマンダ１０（図５）のスクロールキー１１を操作（スクロール操作）することにより、その操作に対応する操作信号が制御部２７で受信され、その操作信号が表すスクロールを指示するスクロール信号が、制御部２７から表示制御部２５を構成するスクロール処理部５０の読み出し部５２に供給された場合、ステップＳ３３に進み、読み出し部５２は、制御部２７からのスクロール信号に応じて、バッファ５１から読み出す表示用画像の位置(範囲)を変更することにより、表示部２６で表示される表示用画像をスクロールさせ、ステップＳ３１に戻る。
以上のように、画像フォーマットと画面フォーマットとに基づいて、有効画像を、横又は縦のサイズが表示画面の横又は縦のサイズと一致し、かつ、表示部２６の表示画面の画面サイズ以上の画像サイズの画像であって、有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換し、表示部２６に表示される表示用画像を、表示部２６の表示画面に映っていない表示用画像の部分である非表示領域が映る方向にスクロールさせるようにしたので、画像に映っている被写体を変形させずに、表示部２６の表示画面の全体を有効に利用して画像を表示することができる。
なお、以上の実施の形態では、画像フォーマットが、放送データに含まれる場合には、画像フォーマット検出部２２において、放送データから画像フォーマットを検出するようにしたが、画像フォーマット検出部２２では、その他、例えば、有効画像の横と縦との画素数の比を、画像フォーマットにおける有効画像のアスペクト比として検出することができる。
ここで、上述したように、１画素の横の長さと縦の長さとが等しいこととすると、画像の横と縦との画素数の比は、画像のアスペクト比を正確に表すから、有効画像の横と縦との画素数の比によれば、コンテンツによっては微妙にアスペクト比が違う画像のアスペクト比を、正確に検出することができる。
次に、図１３は、本発明を適用した表示システムの他の一実施の形態の構成例を示している。
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図１３の表示システムは、リモートコマンダ１０が、調整キー１２を新たに設けて構成され、表示処理装置２０が、表示制御部２５に代えて表示制御部３５を設けて構成されることを除いて、図５の表示システムと同様に構成されている。
リモートコマンダ１０の調整キー１２は、後述する合成率を調整するときにユーザによって操作され、リモートコマンダ１０は、調整キー１２の操作に対応した操作信号を、制御部２７に送信する。
表示制御部３５は、図５の表示制御部２５と同様に、画像変換部２４からの表示用画像を表示部２６に表示させ、さらに、画像フォーマット検出部２２や制御部２７の制御にしたがい、表示部２６に表示される表示用画像をスクロールさせる他、字幕等のテロップに関する各種のテロップ処理を行う。
以下、図１４ないし図２０を参照して、テロップ処理について説明する。
例えば、上述の図９左側に示したように、表示部２６の表示画面のアスペクト比が16:9であり、有効画像のアスペクト比が4:3である場合には、画像変換部２４において、アスペクト比が有効画像のアスペクト比と同一の4:3で、横の画素数が表示画面の横の画素数と一致し、かつ、縦の画素数が表示画面の縦の画素数よりも大の画像が、表示用画像として得られるので、そのような4:3画像の表示用画像を、アスペクト比が16:9の表示画面に表示する場合には、図９左側に示すように、表示用画像の上又は下の部分が、表示画面に映らない部分である非表示領域となる。
非表示領域に映る被写体ついては、ユーザがリモートコマンダ１０をスクロール操作することにより、表示用画像をスクロールすることで見ることができる。しかしながら、非表示領域にテロップが映っている場合には、ユーザが、非表示領域にテロップが移っていることに気がつかず、その結果、表示用画像のスクロールをせずに、テロップを見逃してしまうことがある。
すなわち、図１４は、表示部２６の表示画面に表示された表示用画像を示している。
図１４においては、上述の図９左側と同様に、アスペクト比が有効画像のアスペクト比と同一の4:3で、横の画素数が表示画面の横の画素数と一致し、かつ、縦の画素数が表示画面の縦の画素数よりも大の4:3画像の表示用画像が、アスペクト比が16:9の表示画面に表示されており、その結果、表示用画像の上及び下の部分が、非表示領域となっている。
さらに、図１４では、表示用画像には、その下部に、テロップが映っているが、そのテロップが映っている部分が、非表示領域となっている。
ここで、表示用画像において、テロップが映っている部分を囲む、なるべく小さな長方形状(例えば、最小の長方形状)の領域を、以下、適宜、テロップ領域という。
図１４に示したように、テロップが映っている部分が、非表示領域となっている場合には、ユーザがスクロールキー１１（図１３）をスクロール操作して、表示用画像を上方向にスクロールさせないと、テロップを見ることができないが、テロップが非表示領域に映っていることを知らない（認識していない）ユーザが、そのようなスクロール操作を行うことは困難である。
そこで、図１３の表示制御部３５では、表示用画像のうちの、非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定し、非表示領域にテロップ領域が存在する場合には、その非表示領域のテロップ領域を、表示部２６の表示画面に映る表示用画像の部分である表示領域の一部である合成領域に、所定の合成率で合成する（いわゆるαブレンディングをする）テロップ処理を行うようになっている。
ここで、テロップ領域の画素値をPと、表示領域の合成領域の画素値をQと、所定の合成率をαと、それぞれ表すこととすると、表示制御部３５は、例えば、式P×α＋Q×(1-α)にしたがって、テロップ領域を、合成領域に合成する。
図１５及び図１６は、表示制御部３５が行うテロップ処理の概要を説明する図である。
表示制御部３５は、表示用画像のうちの、非表示領域に、テロップ領域が存在するかどうかを判定し、非表示領域にテロップ領域が存在する場合には、その非表示領域のテロップ領域をコピーする。さらに、表示制御部３５は、図１５に示すように、表示領域の、テロップ領域になるべく近い領域であって、テロップ領域のコピーであるコピーテロップ領域の全体が表示領域に現れる領域を、合成領域として、コピーテロップ領域を、合成領域に、所定の合成率で合成する。
コピーテロップ領域を、表示領域の、テロップ領域になるべく近い位置の領域である合成領域に合成することにより、その合成後の合成領域が不自然な画像となることを防止することができる。
すなわち、図１６は、コピーテロップ領域が、表示領域の、テロップ領域になるべく近い位置の領域である合成領域に合成された表示用画像を模式的に示している。
コピーテロップ領域が、表示領域の合成領域に合成されると、コピーテロップ領域のテロップ以外に映っている画像（背景）と、合成領域に映っている画像とが合成される。
この場合、合成領域を、表示領域の、テロップ領域になるべく近い領域（テロップ領域の近傍）とすることにより、コピーテロップ領域のテロップ以外に映っている画像と、合成領域に映っている画像とは、一般に、類似した画像となっているはずなので、特に、その画像が風景等であれば、コピーテロップ領域を合成した合成後の表示領域が極端に不自然な画像となることを防止することができる。
ここで、コピーテロップ領域を、合成領域に合成するときの合成率は、例えば、ユーザが調整キー１２（図１３）を操作することで調整することができる。すなわち、表示制御部３５（の後述する図１９のテロップ領域合成部６４）では、ユーザによる調整キー１２の操作に応じた合成率で、コピーテロップ領域を、合成領域に合成することができる。
例えば、コピーテロップ領域の度合いを大にするように合成率を調整することで、テロップを見やすくすることができる。
また、表示制御部３５では、非表示領域のテロップ領域から、合成領域までの距離に応じた合成率で、コピーテロップ領域を、合成領域に合成することができる。
すなわち、表示制御部３５では、非表示領域のテロップ領域から、合成領域までの距離が近いほど、コピーテロップ領域の割合が大となる合成率で（非表示領域のテロップ領域から、合成領域までの距離が遠いほど、合成領域の割合が大となる合成率で、コピーテロップ領域を、合成領域に合成することができる。
なお、コピーテロップ領域を、合成領域に合成するときの最終的な合成率としては、調整キー１２の操作に応じた合成率（以下、第１の合成率ともいう）、又は、非表示領域のテロップ領域から、合成領域までの距離に応じた合成率（以下、第２の合成率ともいう）のうちのいずれか一方を選択して採用する他、例えば、第１と第２の合成率の平均値等の、第１と第２の合成率を所定の重みで重み付け加算した値を採用することが可能である。
ところで、表示用画像のスクロールの状態や、有効画像に映っているテロップの位置によっては、テロップ領域（の一部、又は全部）が、合成領域に存在し、この場合、コピーテロップ領域を、合成領域に合成すると、合成領域に存在するテロップと、コピーテロップ領域におけるテロップとが重なって、テロップが見にくくなるおそれがある。
すなわち、図１７は、テロップ領域が非表示領域と、表示領域との両方に存在する表示用画像を示している。
テロップ領域が、表示領域と非表示領域に存在する場合、表示領域の、テロップ領域になるべく近い領域（テロップ領域の近傍）である合成領域は、図１７上側に示すように、表示領域に存在するテロップ領域に重なることがある。
合成領域が、表示領域に存在するテロップ領域と重なる場合、コピーテロップ領域を、合成領域に合成すると、図１７下側に示すように、表示領域に存在するテロップ領域におけるテロップと、コピーテロップ領域におけるテロップとが重なって、テロップが見にくくなる。
そこで、表示制御部３５では、テロップ領域が、非表示領域に存在するかどうかを判定する他、テロップ領域が、コピーテロップ領域を合成しようとする合成領域にも存在するかどうかを、さらに判定し、テロップ領域が、非表示領域に存在し、かつ、表示領域の一部である合成領域にも存在する場合には、その、合成領域に存在するテロップ領域の全体が、表示領域に含まれるように、又は、非表示領域に含まれるように、表示部２６に表示される表示用画像をスクロールさせる。
これにより、テロップ領域が、合成領域に存在することに起因して、合成領域に存在するテロップ領域におけるテロップと、コピーテロップ領域におけるテロップとが重なって、テロップが見にくくなることを防止することができる。
ここで、以下、適宜、表示制御部３５において、テロップ領域が、合成領域に存在する場合に、テロップ領域の全体が、表示領域、又は非表示領域に含まれるように、表示用画像をスクロールさせる処理を、自動スクロール処理という。
図１８は、自動スクロール処理の概要を説明する図である。
表示用画像にテロップ領域が存在する存在パターンとしては、例えば、図１８に示すようなパターンがある。
パターンＡでは、テロップ領域が、表示領域にのみ存在する。パターンＡでは、テロップ領域が非表示領域に存在しないので、自動スクロール処理は行われない（行う必要がない）。
パターンＢでは、テロップ領域が、非表示領域にのみ存在する。パターンＢでは、テロップ領域が、非表示領域にのみ存在するので、自動スクロール処理は行われない。
パターンＣでは、テロップ領域が、表示用画像の上側と下側に存在し、下側のテロップ領域は、非表示領域と、表示領域の、下側のテロップ領域の近傍の領域、つまり、合成領域との両方に存在する。この場合、表示制御部３５は、例えば、パターンＣ’として示すように、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールする自動スクロール処理、すなわち、上側のテロップ領域が非表示領域にのみ含まれ、かつ下側のテロップ領域が表示領域にのみ含まれるように、表示用画像を上側にスクロールする自動スクロール処理を行う。
パターンＤでは、２段のテロップ領域が、表示用画像の下側に存在し、その２段のテロップ領域のうちの１段目のテロップ領域が、表示領域に存在するとともに、２段目のテロップ領域が、非表示領域に存在する。すなわち、パターンＤでは、表示領域において、１段目のテロップ領域が、非表示領域に存在する２段目のテロップ領域の近傍の領域としての合成領域に存在する。この場合、表示制御部３５は、例えば、パターンＤ’として示すように、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールする自動スクロール処理、すなわち、２段のテロップ領域の両方が、表示領域にのみ含まれるように、表示用画像を上側にスクロールする自動スクロール処理を行う。
パターンＥでは、テロップ領域が、表示用画像の下側に存在し、そのテロップ領域は、非表示領域と、表示領域の、テロップ領域の近傍の領域、つまり、合成領域との両方に存在する。この場合、表示制御部３５は、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールする自動スクロール処理、すなわち、テロップ領域が、表示領域にのみ含まれるように、表示用画像を上側にスクロールする自動スクロール処理、又は、テロップ領域が、非表示領域にのみ含まれるように、表示用画像を下側にスクロールする自動スクロール処理を行う。
パターンＦでは、テロップ領域が、表示用画像の上側と下側に存在し、上側のテロップ領域は、表示領域にのみ存在し、下側のテロップ領域は、非表示領域にのみ存在する。しかしながら、パターンＦは、テロップ領域が、非表示領域と合成領域の両方に存在するパターンではないので、自動スクロール処理は行われない。
パターンＧでは、テロップ領域が、表示用画像の上側と下側に存在し、その上側のテロップ領域は、非表示領域と、表示領域の、上側のテロップ領域の近傍の領域、つまり、合成領域との両方に存在し、下側のテロップ領域も、非表示領域と、表示領域の、下側のテロップ領域の近傍の領域、つまり、合成領域との両方に存在する。この場合、表示制御部３５は、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールする自動スクロール処理、すなわち、上側のテロップ領域が非表示領域にのみ含まれ、かつ下側のテロップ領域が表示領域にのみ含まれるように、表示用画像を上側にスクロールする自動スクロール処理を行う。ここで、このように、パターンＧの表示用画像を、上側にスクロールした場合、テロップ領域の存在パターンは、パターンＣ’に一致する。
なお、パターンＧについては、表示制御部３５において、上側のテロップ領域が表示領域にのみ含まれ、かつ下側のテロップ領域が非表示領域にのみ含まれるように、表示用画像を下側にスクロールすることによっても、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールすることができるので、そのようなスクロールを、自動スクロール処理として行うこともできる。このように、パターンＧの表示用画像を、下側にスクロールした場合、テロップ領域の存在パターンは、パターンＦに一致する。
パターンＨでは、テロップ領域が、表示用画像の上側と下側に存在し、パターンＧと同様に、上側のテロップ領域は、非表示領域と合成領域の両方に存在し、下側のテロップ領域も、非表示領域と合成領域の両方に存在する。
しかしながら、パターンＨでは、テロップ自体が大きいために、テロップ領域も大きく、上側、又は下側のいずれにスクロールしても、上側、又は下側のテロップ領域が、非表示領域と合成領域の両方に存在するパターンとなり、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールすることができない。
このように、テロップ領域が合成領域に存在しなくなるように、表示用画像をスクロールすることができない場合には、表示制御部３５は、自動スクロール処理を行わずに、例外処理を行う。
ここで、例外処理としては、例えば、ユーザによるリモートコマンダ１０（図１３）の操作に応じて、コピーテロップ領域を表示の仕方を決定する処理や、コピーテロップ領域のクロスフェード表示を行う処理、コピーテロップ領域の合成を、合成率を1.0として行う処理等を採用することができる。
図１９は、スクロール処理の他に、テロップ処理をも行う図１３の表示制御部３５の構成例を示している。
なお、図１９において、図１０の表示制御部２５と同様に構成される部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図１９において、表示制御部３５は、スクロール処理部５０の他に、テロップ処理部６０を有しており、テロップ処理部６０は、テロップ処理を行う。
テロップ処理部６０は、バッファ６１、テロップ判定部６２、テロップ領域抽出部６３、及びテロップ領域合成部６４から構成される。
バッファ５１には、図１３の画像変換部２４から表示用画像が供給される。バッファ５１は、画像変換部２４から供給される表示用画像を、例えば、スクロール処理部５０のバッファ５１と同様に一時記憶する。
なお、スクロール処理部５０のバッファ５１と、テロップ処理部６０のバッファ６１とでは、同一の表示用画像が記憶される。また、スクロール処理部５０のバッファ５１と、テロップ処理部６０のバッファ６１とは、１つのバッファで兼用することが可能である。
テロップ判定部６２は、バッファ６１に記憶された表示用画像を参照し、テロップ領域が、非表示領域に存在するかどうか、さらには、そのテロップ領域を合成しようとする表示領域の一部の領域、すなわち、表示領域の、テロップ領域の近傍の領域である合成領域に、テロップ領域が存在するかどうかを判定し、その判定結果に応じて、テロップ領域抽出部６３と、スクロール処理部５０の読み出し部５２とを制御する。
すなわち、テロップ判定部６２には、制御部２７（図１３）からスクロール信号が供給されるようになっており、テロップ判定部６２は、そのスクロール信号に基づき、表示部２６に表示される表示用画像のスクロールの状態を認識する。
テロップ判定部６２は、表示用画像のスクロールの状態と、バッファ６１に記憶された表示用画像とに基づき、表示部２６に表示される表示用画像において、テロップ領域が、非表示領域に存在するかどうか、さらには、合成領域に存在するかどうかを判定し、つまり、表示部２６に表示される表示用画像にテロップ領域が存在する存在パターンを判定し、存在パターンが、例えば、図１８のパターンＣ，Ｄ，Ｅ、又はＧに該当する場合、つまり、テロップ領域が、非表示領域と合成領域の両方に存在する場合には、図１８で説明したように、表示用画像をスクロールさせるスクロール信号を生成して、読み出し部５２に供給する。
また、存在パターンが、例えば、図１８のパターンＡ，Ｂ，又はＦに該当する場合、つまり、テロップ領域が、非表示領域と合成領域の両方に存在しない場合には、制御部２７から供給されるスクロール信号を、そのまま、読み出し部５２に供給する。
さらに、テロップ判定部６２は、テロップ領域が、非表示領域にのみ存在すると判定した場合、その非表示領域に存在するテロップ領域の抽出を、テロップ領域抽出部６３に指示する。
テロップ領域抽出部６３は、テロップ判定部６２からのテロップ領域の抽出の指示にしたがい、バッファ６１に記憶された表示用画像から、非表示領域に存在するテロップ領域を抽出し、そのコピーであるコピーテロップ領域を、テロップ領域合成部６４に供給する。
テロップ領域合成部６４には、テロップ領域抽出部６３からコピーテロップ領域が供給される他、制御部２７（図１３）から合成率が供給されるとともに、読み出し部５２から、バッファ５１に記憶された表示用画像のうちの、表示部２６の表示画面の画面サイズに一致する画像サイズ分の領域、つまり、表示領域（の画像）が供給される。
テロップ領域合成部６４は、テロップ領域抽出部６３からコピーテロップ領域が供給されない場合には、読み出し部５２からの表示領域を、そのまま、表示部２６に供給して表示させる。
また、テロップ領域合成部６４は、テロップ領域抽出部６３からコピーテロップ領域が供給された場合には、制御部２７からの合成率で、テロップ領域抽出部６３からのコピーテロップ領域を、読み出し部５２からの表示領域のうちの、コピーテロップ領域の元のコピー領域の近傍の領域である合成領域に合成し、その合成後の表示領域を、表示部２６に供給して表示させる。
以上のように構成される表示制御部３５は、図５の表示制御部２５が行う図１２で説明したスクロール処理を行う他、テロップ処理も行う。
すなわち、図２０は、テロップ処理を説明するフローチャートである。
なお、テロップ処理は、例えば、図１２のスクロール処理と同様に、図１１のステップＳ１８で開始される。
テロップ処理では、ステップＳ５１において、テロップ判定部６２が、バッファ６１に記憶された表示用画像を参照し、表示用画像の非表示領域に、テロップ領域が存在するかどうかを判定する。
ステップＳ５１において、非表示領域にテロップ領域が存在しないと判定された場合、すなわち、例えば、図１８のパターンＡのように、表示領域にのみ、テロップ領域が存在する場合、又は、テロップ領域が表示用画像に存在しない場合、ステップＳ５１に戻る。
なお、この場合、テロップ領域合成部６４は、読み出し部５２から供給される表示領域を、そのまま、表示部２６に供給して表示させる。
また、ステップＳ５１において、非表示領域にテロップ領域が存在すると判定された場合、すなわち、図１８のパターンＢ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ、又はＨのように、非表示領域にテロップ領域が存在する場合、ステップＳ５２に進み、テロップ判定部６２は、合成領域にテロップ領域が存在するかどうかを判定する。
ステップＳ５２において、合成領域にテロップ領域が存在しないと判定された場合、すなわち、図１８のパターンＢ、又はＦのように、テロップ領域が非表示領域に存在するが、合成領域には存在しない場合、テロップ判定部６２は、非表示領域に存在するテロップ領域の抽出の指示を、テロップ領域抽出部６３に供給して、ステップＳ５５に進む。
ステップＳ５５では、テロップ領域抽出部６３は、テロップ判定部６２からのテロップ領域の抽出の指示にしたがい、バッファ６１に記憶された表示用画像から、非表示領域に存在するテロップ領域を抽出し、そのコピーであるコピーテロップ領域を、テロップ領域合成部６４に供給して、ステップＳ５６に進む。
ステップＳ５６では、テロップ領域合成部６４は、制御部２７からの合成率で、テロップ領域抽出部６３からのコピーテロップ領域を、読み出し部５２からの表示領域のうちの、コピーテロップ領域の元のコピー領域の近傍の領域である合成領域に合成し、その合成後の表示領域を、表示部２６に供給して、ステップＳ５１に戻る。
一方、ステップＳ５２において、合成領域にテロップ領域が存在すると判定された場合、すなわち、図１８のパターンＣ，Ｄ，Ｅ，Ｇ、又はＨのように、テロップ領域が非表示領域と合成領域との両方に存在する場合、ステップＳ５３に進み、テロップ判定部６２は、テロップ領域が、合成領域に存在しない状態に、表示用画像をスクロールすることができるかどうかを判定する。
ステップＳ５３において、テロップ領域が、合成領域に存在しない状態に、表示用画像をスクロールすることができると判定された場合、すなわち、図１８のパターンＣ，Ｄ，Ｅ、又はＧのように、テロップ領域が非表示領域と合成領域との両方に存在するが、表示用画像のスクロールによって、テロップ領域が、合成領域に存在しない状態にすることができる場合、ステップＳ５４に進み、テロップ判定部６２は、そのようなスクロールを行うスクロール信号を、読み出し部５２に供給する。
この場合、読み出し部５２では、テロップ判定部６２からのスクロール信号に応じて、バッファ５１から読み出す表示用画像の位置（範囲）を変更し、これにより、テロップ領域が、合成領域に存在しない状態となるように、表示部２６で表示される表示用画像をスクロールする自動スクロール処理が行われる。
ステップＳ５４の自動スクロール処理によって、図１８のパターンＢ，Ｃ’、又はＦのように、テロップ領域が非表示領域に存在するが、合成領域には存在しない状態になった場合には、ステップＳ５５に進み、以下、上述した場合と同様の処理が行われる。
なお、ステップＳ５４の自動スクロール処理によって、図１８のパターンＤ’のように、テロップ領域が表示領域にのみ存在する状態となった場合には、ステップＳ５５及びＳ５６の処理はスキップされ、ステップＳ５１に戻る。
一方、ステップＳ５３において、テロップ領域が、合成領域に存在しない状態に、表示用画像をスクロールすることができないと判定された場合、すなわち、図１８のパターンＨのように、表示用画像をどのようにスクロールしても、テロップ領域が合成領域に存在しない状態とならない場合、ステップＳ５７に進み、表示制御部３５は、上述したような例外処理を行って、ステップＳ５１に戻る。
以上のように、非表示領域に、テロップ領域が存在するかどうかを判定し、テロップ領域が非表示領域に存在する場合には、テロップ領域（コピーテロップ領域）を、表示領域の、テロップ領域の近傍の合成領域に、所定の合成率で合成するようにしたので、画像変換部２４（図１３）でのサイズ変換によって、非表示領域に存在することになったテロップを、簡単に、表示領域に表示することができる。
また、テロップ領域の近傍の領域を合成領域として、その合成領域に、テロップ領域を合成するようにしたので、合成領域にテロップ領域を合成した合成後の表示領域が、違和感のある画像となることを防止することができる。
さらに、テロップを含む領域であるテロップ領域を抽出するので、テロップそのもののみを抽出する場合に比較して、処理の容易化、簡便化を図ることができる。
また、合成領域にテロップ領域が存在する場合には、自動スクロール処理により、合成領域にテロップ領域が存在しない状態にしてから、テロップ領域の合成を行うので、合成領域にテロップ領域が存在し、その合成領域に、テロップ領域が合成されることによって、テロップが見にくくなることを防止することができる。
次に、上述したように、画像変換部２４（図５、図１３）が行うサイズ変換は、画像サイズとしての、例えば、画素数を変換する画素数変換であるが、この画素数変換は、補間処理や間引き処理によって行うことができる他、クラス分類適応処理によって行うことができる。以下、図２１ないし図３１を参照して、クラス分類適応処理について説明する。
なお、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第１の画像データを所定の画素数（画像サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理（サイズ変換）ということができる。
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を、所定の一定の規則に従って複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
すなわち、図２１は、クラス分類適応処理による画像変換処理を行う画像変換装置１０１の構成例を示している。
図２１において、画像変換装置１０１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１１２及び１１３に供給される。
注目画素選択部１１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部１１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
具体的には、タップ選択部１１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
タップ選択部１１３は、注目画素を、一定の規則に従って、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。すなわち、タップ選択部１１３は、タップ選択部１１２が予測タップを選択するのと同様にして、クラスタップを選択する。
なお、予測タップとクラスタップは、同一のタップ構造（注目画素に対する位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
タップ選択部１１２で得られた予測タップは、予測演算部１１６に供給され、タップ選択部１１３で得られたクラスタップは、クラス分類部１１４に供給される。
クラス分類部１１４は、タップ選択部１１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１１５に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部１１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス分類部１１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
係数出力部１１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１１６に供給される。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
予測演算部１１６は、タップ選択部１１２が出力する予測タップと、係数出力部１１５が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値（の予測値）、すなわち、第２の画像データを構成する画素の画素値を求めて出力する。
次に、図２２のフローチャートを参照して、図２１の画像変換装置１０１による画像変換処理について説明する。
ステップＳ１１１において、注目画素選択部１１１は、画像変換装置１０１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ１１２に進む。すなわち、注目画素選択部１１１は、例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
ステップＳ１１２において、タップ選択部１１２と１１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１１２から予測演算部１１６に供給され、クラスタップは、タップ選択部１１３からクラス分類部１１４に供給される。
クラス分類部１１４は、タップ選択部１１３から、注目画素についてのクラスタップを受信し、ステップＳ１１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１１５に出力し、ステップＳ１１４に進む。
ステップＳ１１４では、係数出力部１１５が、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して（読み出して）出力する。さらに、ステップＳ１１４では、予測演算部１１６が、係数出力部１１５が出力するタップ係数を取得し、ステップＳ１１５に進む。
ステップＳ１１５では、予測演算部１１６が、タップ選択部１１２が出力する予測タップと、係数出力部１１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値を求めて出力し、ステップＳ１１６に進む。
ステップＳ１１６では、注目画素選択部１１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ１１１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
次に、図２１の予測演算部１１６における予測演算と、係数出力部１１５に記憶されたタップ係数の学習について説明する。
いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0005093557
 ・・・（１）
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0005093557
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0005093557
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005093557
 ・・・（４）
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0005093557
 ・・・（５）
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 0005093557
 ・・・（６）
式（５）と（６）から、次式が得られる。
Figure 0005093557
 ・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0005093557
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
次に、図２３は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置１２１の構成例を示している。
図２３において、学習装置１２１の学習用画像記憶部１３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
教師データ生成部１３２は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、教師データ生成部１３２は、学習用画像データから、タップ係数の学習の教師（真値）、すなわち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部１３３に供給する。ここでは、教師データ生成部１３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部１３３に供給する。
教師データ記憶部１３３は、教師データ生成部１３２から供給される教師データとしての高画質画像データを記憶する。教師データは、第２の画像データに相当する。
生徒データ生成部１３４は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、生徒データ生成部１３４は、学習用画像データから、タップ係数の学習の生徒、すなわち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１３５に供給する。ここでは、生徒データ生成部１３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部１３５に供給する。
生徒データ記憶部１３５は、生徒データ生成部１３４から供給される生徒データを記憶する。生徒データは、第１の画像データに相当する。
学習部１３６は、教師データ記憶部１３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図２１のタップ選択部１１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部１３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
すなわち、図２４は、図２３の学習部１３６の構成例を示している。
注目画素選択部１４１は、教師データ記憶部１３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部１４２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２１のタップ選択部１１２が選択するの同一の画素を選択し、これにより、タップ選択部１１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部１４５に供給する。
タップ選択部１４３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２１のタップ選択部１１３が選択するのと同一の画素を選択し、これにより、タップ選択部１１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部１４４に供給する。
クラス分類部１４４は、タップ選択部１４３が出力するクラスタップに基づき、図２１のクラス分類部１１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
足し込み部１４５は、教師データ記憶部１３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
すなわち、足し込み部１４５には、教師データ記憶部１３３に記憶された教師データｙk、タップ選択部１４２が出力する予測タップｘn,k、クラス分類部１４４が出力するクラスコードが供給される。
そして、足し込み部１４５は、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１４５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
すなわち、足し込み部１４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部１４５は、教師データ記憶部１３３（図２３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１４６に供給する。
タップ係数算出部１４６は、足し込み部１４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
図２１の画像変換装置１０１における係数出力部１１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
すなわち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２５上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２５上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２５上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。
なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２５上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
次に、図２６のフローチャートを参照して、図２３の学習装置１２１の処理（学習処理）について、説明する。
まず最初に、ステップＳ１２１において、教師データ生成部１３２と生徒データ生成部１３４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部１３３と生徒データ生成部１３４にそれぞれ供給して記憶させる。
なお、教師データ生成部１３２と生徒データ生成部１３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
その後、ステップＳ１２２に進み、学習部１３６（図２４）において、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１２３に進む。ステップＳ１２３では、タップ選択部１４２が、注目画素について、生徒データ記憶部１３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部１４５に供給するとともに、タップ選択部１４３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部１４４に供給する。
そして、ステップＳ１２４に進み、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力して、ステップＳ１２５に進む。
ステップＳ１２５では、足し込み部１４５は、教師データ記憶部１３３から、注目画素を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１４４から供給されるクラスコードごとに行い、ステップＳ１２６に進む。
ステップＳ１２６では、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１２６において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１２６において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、足し込み部１４５は、いままでのステップＳ１２２乃至Ｓ１２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１４６に供給し、ステップＳ１２７に進む。
ステップＳ１２７では、タップ係数算出部１４６は、足し込み部１４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１４６は、例えば、デフォルトのタップ係数を出力するようになっている。
次に、図２７は、クラス分類適応処理による画像変換処理を行う他の画像変換装置１５１の構成例を示している。
なお、図２７の画像変換装置１５１において、図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、画像変換装置１５１は、係数出力部１１５に代えて、係数出力部１５５が設けられている他は、図２１の画像変換装置１０１と同様に構成されている。
係数出力部１５５には、クラス分類部１１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作その他に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部１５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１１４からのクラスのタップ係数を、予測演算部１１６に出力する。
図２８は、図２７の係数出力部１５５の構成例を示している。
係数生成部１６１は、係数種メモリ１６２に記憶されている係数種データと、パラメータメモリ１６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ１６４に供給して上書きする形で記憶させる。
係数種メモリ１６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
パラメータメモリ１６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。
係数メモリ１６４は、係数生成部１６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ１６４は、クラス分類部１１４（図２７）から供給されるクラスのタップ係数を読み出し、予測演算部１１６（図２７）に出力する。
図２７の画像変換装置１５１では、外部から係数出力部１５５に対して、パラメータｚが入力されると、係数出力部１５５（図２８）のパラメータメモリ１６３において、そのパラメータｚが、上書きする形で記憶される。
パラメータメモリ１６３にパラメータｚが記憶されると（パラメータメモリ１６３の記憶内容が更新されると）、係数生成部１６１は、係数種メモリ１６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ１６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部１６１は、そのクラスごとのタップ係数を、係数メモリ１６４に供給し、上書きする形で記憶させる。
画像変換装置１５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１１５に代えて設けられている係数出力部１５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図２１の画像変換装置１０１が行う図２２のフローチャートにしたがった処理と同様の処理が行われる。
次に、図２７の予測演算部１１６における予測演算、並びに図２８の係数生成部１６１におけるタップ係数の生成および係数種メモリ１６２に記憶させる係数種データの学習について説明する。
図２１の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、上述の式（１）の線形１次予測演算によって求める（予測する）ことを考える。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
図２８の実施の形態では、係数生成部１６１において、タップ係数ｗnが、係数種メモリ１６２に記憶された係数種データと、パラメータメモリ１６３に記憶されたパラメータｚとから生成されるが、この係数生成部１６１におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。
Figure 0005093557
 ・・・（９）
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
Figure 0005093557
 ・・・（１０）
式（１０）を、式（９）に代入することにより、次式が得られる。
Figure 0005093557
 ・・・（１１）
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0005093557
 ・・・（１２）
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0005093557
 ・・・（１３）
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
Figure 0005093557
 ・・・（１４）
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005093557
 ・・・（１５）
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
Figure 0005093557
 ・・・（１６）
式（１３）を、式（１６）に代入することにより、次式が得られる。
Figure 0005093557
 ・・・（１７）
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
Figure 0005093557
 ・・・（１８）
Figure 0005093557
 ・・・（１９）
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
Figure 0005093557
 ・・・（２０）
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
図２７の画像変換装置１５１においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部１５５（図２８）の係数種メモリ１６２に記憶されており、係数生成部１６１では、その係数種データβm,nと、パラメータメモリ１６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗnが生成される。そして、予測演算部１１６において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
次に、図２９は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置１７１の構成例を示している。
なお、図中、図２３の学習装置１２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、学習装置１７１は、生徒データ生成部１３４と学習部１３６に代えて、生徒データ生成部１７４と学習部１７６がそれぞれ設けられているとともに、パラメータ生成部１８１が新たに設けられている他は、図２３の学習装置１２１と同様に構成されている。
生徒データ生成部１７４は、図２３の生徒データ生成部１３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部１３５に供給して記憶させる。
但し、生徒データ生成部１７４には、学習用画像データの他、図２８のパラメータメモリ１６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部１８１から供給されるようになっている。すなわち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部１７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１８１から供給されるようになっている。
生徒データ生成部１７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
従って、生徒データ生成部１７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。
また、本実施の形態では、説明を簡単にするために、生徒データ生成部１７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
学習部１７６は、教師データ記憶部１３３に記憶された教師データ、生徒データ記憶部１３５に記憶された生徒データ、およびパラメータ生成部１８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。
パラメータ生成部１８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１７４と学習部１７６に供給する。
次に、図３０は、図２９の学習部１７６の構成例を示している。なお、図中、図２４の学習部１３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
タップ選択部１９２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２７のタップ選択部１１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部１９５に供給する。
タップ選択部１９３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２７のタップ選択部１１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部１４４に供給する。
但し、図３０では、タップ選択部１９２と１９３に、図２９のパラメータ生成部１８１が生成するパラメータｚが供給されるようになっており、タップ選択部１９２と１９３は、パラメータ生成部１８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。
足し込み部１９５は、図２９の教師データ記憶部１３３から、注目画素を読み出し、その注目画素、タップ選択部１９２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部１４４から供給されるクラスごとに行う。
すなわち、足し込み部１９５には、教師データ記憶部１３３に記憶された注目画素としての教師データｙk、タップ選択部１９２が出力する注目画素についての予測タップｘi,k（ｘj,k）、およびクラス分類部１４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部１８１から供給される。
そして、足し込み部１９５は、クラス分類部１４４から供給されるクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
さらに、足し込み部１９５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
すなわち、足し込み部１９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
そして、足し込み部１９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部１９６に供給する。
係数種算出部１９６は、足し込み部１９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
次に、図３１のフローチャートを参照して、図２９の学習装置１７１の処理（学習処理）について、説明する。
まず最初に、ステップＳ１３１において、教師データ生成部１３２と生徒データ生成部１７４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。すなわち、教師データ生成部１３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部１７４には、パラメータ生成部１８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部１７４は、例えば、学習用画像データを、パラメータ生成部１８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
教師データ生成部１３２が出力する教師データは、教師データ記憶部１３３に供給されて記憶され、生徒データ生成部１７４が出力する生徒データは、生徒データ記憶部１３５に供給されて記憶される。
その後、ステップＳ１３２に進み、パラメータ生成部１８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部１７６（図３０）のタップ選択部１９２および１９３、並びに足し込み部１９５に供給して、ステップＳ１３３に進む。ステップＳ１３３では、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップＳ１３４に進む。
ステップＳ１３４では、タップ選択部１９２が、注目画素について、生徒データ記憶部１３５に記憶された、パラメータ生成部１８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部１９５に供給する。さらに、ステップＳ１３４では、タップ選択部１９３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された、パラメータ生成部１８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部１４４に供給する。
そして、ステップＳ１３５に進み、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部１９５に出力して、ステップＳ１３６に進む。
ステップＳ１３５では、足し込み部１９５は、教師データ記憶部１３３から注目画素を読み出し、その注目画素、タップ選択部１９２から供給される予測タップ、パラメータ生成部１８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部１９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ１３７に進む。
ステップＳ１３７では、パラメータ生成部１８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ１３７において、パラメータ生成部１８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ１３８に進み、パラメータ生成部１８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部１７６（図３０）のタップ選択部１９２および１９３、並びに足し込み部１９５に出力する。そして、ステップＳ１３４に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１３７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ１３９に進み、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１３９において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、ステップＳ１３２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１３９において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、足し込み部１９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部１９６に供給し、ステップＳ１４０に進む。
ステップＳ１４０では、係数種算出部１９６は、足し込み部１９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１９６は、例えば、デフォルトの係数種データを出力するようになっている。
画像変換部２４（図５、図１３）が行うサイズ変換は、以上のようなクラス分類適応処理によって行うことができる。
すなわち、画像変換部２４において、サイズ変換をクラス分類適応処理によって行う場合には、図２９の学習装置１７１において、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行う。
そして、画像変換部２４を、図２７の画像変換装置１５１によって構成し、学習によって求めた係数種データを、画像変換部２４としての画像変換装置１５１（図２７）の係数出力部１５５を構成する係数種メモリ１６２（図２８）に記憶させておく。
この場合、画像フォーマット検出部２２（図５、図１３）から、画像変換部２４としての画像変換装置１５１に対して、パラメータｚとして、有効画像の横又は縦の画素数を、表示部２６の表示画面の横又は縦の画素数に一致させる倍率である変換係数を与えることによって、画像変換部２４としての画像変換装置１５１において、有効画像の横又は縦の画素数を、表示部２６の表示画面の横又は縦の画素数に一致させるサイズ変換を、クラス分類適応処理によって行うことができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、本実施の形態では、16:9画面に、4:3画像の表示用画像を表示する場合を例に、テロップ処理を説明したが、テロップ処理は、その他、例えば、4:3画面に、16:9画像の表示用画像を表示する場合等にも行うことができる。
また、有効画像、ひいては、表示用画像、さらには、表示部２６の表示画面のアスペクト比は、4:3や16:9に限定されるものではない。
さらに、本実施の形態では、説明を分かりやすくするために、画像変換部２４（図５、図１３）において、有効画像の全体を対象にサイズ変換を行うようにしたが、サイズ変換は、有効画像のうちの、その有効画像のサイズ変換後の表示用画像の表示領域に対応する部分だけを対象として行うことができる。
さらに、本実施の形態では、表示処理装置２０（図５、図１３）のバッファ２１に、地上波ディジタル放送等で放送された放送データが供給されることとしたが、バッファ２１には、その他、DVD等の記録媒体から再生されたデータを供給するようにすることができる。
各種のアスペクト比の画像を示す図である。 各種の画像フォーマットの画像を示す図である。 表示装置の表示画面を示す図である。 表示画面の全体を有効に利用して画像を表示することができない場合の例を示す図である。 本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。 読み出し部２３の処理を説明する図である。 画像変換部２４の処理を説明する図である。 画像変換部２４の処理を説明する図である。 表示制御部２５の処理を説明する図である。 表示制御部２５の構成例を示すブロック図である。 表示処理装置２０の処理を説明するフローチャートである。 スクロール処理を説明するフローチャートである。 本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。 表示部２６の表示画面に表示された表示用画像を示す図である。 表示制御部３５が行うテロップ処理の概要を説明する図である。 表示制御部３５が行うテロップ処理の概要を説明する図である。 テロップ領域が非表示領域と、合成領域との両方に存在する表示用画像を示す図である。 自動スクロール処理の概要を説明する図である。 表示制御部３５の構成例を示すブロック図である。 テロップ処理を説明するフローチャートである。 クラス分類適応処理による画像変換処理を行う画像変換装置１０１の構成例を示すブロック図である。 画像変換装置１０１による画像変換処理を説明するフローチャートである。 タップ係数を学習する学習装置１２１の構成例を示すブロック図である。 学習装置１２１の学習部１３６の構成例を示すブロック図である。 各種の画像変換処理を説明するための図である。 学習装置１２１による学習処理を説明するフローチャートである。 クラス分類適応処理による画像変換処理を行う画像変換装置１５１の構成例を示すブロック図である。 画像変換装置１５１の係数出力部１５５の構成例を示すブロック図である。 係数種データを学習する学習装置１７１の構成例を示すブロック図である。 学習装置１７１の学習部１７６の構成例を示すブロック図である。 学習装置１７１による学習処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１０ リモートコマンダ， １１ スクロールキー， １２ 調整キー， ２０ 表示処理装置， ２１ バッファ， ２２ 画像フォーマット検出部， ２３ 読み出し部， ２４ 画像変換部， ２５ 表示制御部， ２６ 表示部， ２７ 制御部， ３５ 表示制御部， ５０ スクロール処理部， ５１ バッファ， ５２ 読み出し部， ６０ テロップ処理部， ６１ バッファ， ６２ テロップ判定部， ６３ テロップ抽出部， ６４ テロップ領域合成部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (6)

  1. 画像を表示する表示手段に、画像を表示させる画像処理装置において、
    画像のアスペクト比を含む画像フォーマットを検出する画像フォーマット検出手段と、
    前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換する変換手段と、
    前記表示手段に表示される前記表示用画像を、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールさせるスクロール処理手段と、
    前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定するテロップ判定手段と、
    前記非表示領域の前記テロップ領域を、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成するテロップ領域合成手段と
    を備え、
    前記テロップ判定手段は、前記合成領域に、テロップ領域が存在するかどうかを、さらに判定し、
    前記スクロール処理手段は、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像をスクロールさせる
    画像処理装置。
  2. 前記変換手段は、
    前記表示用画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記有効画像から選択する予測タップ選択手段と、
    前記注目画素を、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
    前記有効画像に相当する生徒画像を用いた前記予測演算の結果と、前記表示用画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、
    前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段と
    を有する
    請求項１に記載の画像処理装置。
  3. 前記テロップ領域合成手段は、ユーザの操作に応じた合成率で、前記テロップ領域を、前記合成領域に合成する
    請求項１に記載の画像処理装置。
  4. 前記テロップ領域合成手段は、前記テロップ領域から、前記合成領域までの距離に応じた合成率で、前記テロップ領域を、前記合成領域に合成する
    請求項１に記載の画像処理装置。
  5. 画像を表示する表示手段に、画像を表示させる画像処理方法において、
    画像のアスペクト比を含む画像フォーマットを検出する画像フォーマット検出ステップと、
    前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換する変換ステップと、
    前記表示手段に表示される前記表示用画像を、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールさせるスクロール処理ステップと、
    前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定するテロップ判定ステップと、
    前記非表示領域の前記テロップ領域を、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成するテロップ領域合成ステップと
    を含み、
    前記テロップ判定ステップでは、前記合成領域に、テロップ領域が存在するかどうかを、さらに判定し、
    前記スクロール処理ステップでは、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像をスクロールさせる
    画像処理方法。
  6. 画像を表示する表示手段に、画像を表示させる画像処理を、コンピュータに実行させるプログラムにおいて、
    画像のアスペクト比を含む画像フォーマットを検出する画像フォーマット検出手段と、
    前記画像フォーマットと、前記表示手段の表示画面の画面フォーマットとに基づいて、画像における有効な動画部分である有効画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以上の画像サイズの画像であって、前記有効画像の横及び縦のサイズを同一倍した画像である表示用画像に変換する変換手段と、
    前記表示手段に表示される前記表示用画像を、前記表示画面に映っていない前記表示用画像の部分である非表示領域が映る方向にスクロールさせるスクロール処理手段と、
    前記表示用画像のうちの、前記非表示領域に、テロップを含むテロップ領域が存在するかどうかを判定するテロップ判定手段と、
    前記非表示領域の前記テロップ領域を、前記表示画面に映る前記表示用画像の部分である表示領域の一部の合成領域に、所定の合成率で合成するテロップ領域合成手段と
    して、コンピュータを機能させるためのプログラムであり、
    前記テロップ判定手段は、前記合成領域に、テロップ領域が存在するかどうかを、さらに判定し、
    前記スクロール処理手段は、前記合成領域に、テロップ領域が存在する場合、テロップ領域の全体が、前記表示領域、又は、前記非表示領域に含まれるように、前記表示手段に表示される前記表示用画像をスクロールさせる
    プログラム。
JP2006276045A 2006-10-10 2006-10-10 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP5093557B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006276045A JP5093557B2 (ja) 2006-10-10 2006-10-10 画像処理装置、画像処理方法、及びプログラム
US11/856,285 US20080084503A1 (en) 2006-10-10 2007-09-17 Apparatus, method, and computer program for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006276045A JP5093557B2 (ja) 2006-10-10 2006-10-10 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2008098800A JP2008098800A (ja) 2008-04-24
JP5093557B2 true JP5093557B2 (ja) 2012-12-12

Family

ID=39274677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006276045A Expired - Fee Related JP5093557B2 (ja) 2006-10-10 2006-10-10 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20080084503A1 (ja)
JP (1) JP5093557B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US8411754B2 (en) * 2008-11-10 2013-04-02 Activevideo Networks, Inc. System, method, and computer program product for translating an element of a static encoded image in the encoded domain
WO2010055560A1 (ja) * 2008-11-12 2010-05-20 富士通株式会社 テロップ移動処理装置、方法及びプログラム
KR101098088B1 (ko) * 2009-07-10 2011-12-26 엘지전자 주식회사 방송용 단말기 및 그 제어 방법
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
KR101644422B1 (ko) 2012-03-13 2016-08-02 삼성전자주식회사 디스플레이 장치, 소스 장치 및 방법
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US20140002460A1 (en) * 2012-06-27 2014-01-02 Viacom International, Inc. Multi-Resolution Graphics
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
CN104113745A (zh) * 2013-04-17 2014-10-22 咏传电子科技（上海）有限公司 显示装置及其影像显示方法
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
JP6476631B2 (ja) * 2013-09-19 2019-03-06 株式会社リコー 情報処理装置、データ表示方法、プログラム
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
WO2015196462A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and device for displaying a video sequence
KR102227088B1 (ko) * 2014-08-11 2021-03-12 엘지전자 주식회사 전자기기 및 그것의 제어방법
JP6417805B2 (ja) * 2014-09-12 2018-11-07 ティアック株式会社 ビデオシステム
US9924236B2 (en) * 2015-11-05 2018-03-20 Echostar Technologies L.L.C. Informational banner customization and overlay with other channels
KR102567803B1 (ko) 2016-09-06 2023-08-18 엘지전자 주식회사 디스플레이 장치
US9924131B1 (en) * 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling
CN106658144A (zh) * 2016-12-20 2017-05-10 北京奇虎科技有限公司 一种流媒体数据的展示方法和装置
US10992861B2 (en) * 2017-03-14 2021-04-27 Nikon Corporation Image processing device and electronic device
TW201946443A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 智能調整影像的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01292984A (ja) * 1988-05-20 1989-11-27 Sony Corp 映像信号の方式変換装置
DE69210303T2 (de) * 1991-05-23 1996-11-14 Hitachi Ltd Breitbildschirmfernsehempfänger mit Bildseitenverhältnisumwandlungsfunktion und Verfahren zur Darstellung eines vergrösserten Abschnittes
JP2759727B2 (ja) * 1992-04-22 1998-05-28 日本ビクター株式会社 ディスプレイ装置
JPH06308936A (ja) * 1993-04-26 1994-11-04 Toshiba Corp 画像再生装置
JP3232950B2 (ja) * 1994-03-31 2001-11-26 松下電器産業株式会社 映像種類識別装置及びそれを用いたアスペクト比自動識別装置及びテレビジョン受像機
JP3318852B2 (ja) * 1994-08-16 2002-08-26 ソニー株式会社 テレビジョン受像機
JPH0993504A (ja) * 1995-09-26 1997-04-04 Philips Japan Ltd 字幕移動装置
CA2362706A1 (en) * 1999-02-08 2000-08-10 United Video Properties, Inc. Electronic program guide with support for rich program content
KR100351816B1 (ko) * 2000-03-24 2002-09-11 엘지전자 주식회사 포맷 변환 장치
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
JP4920834B2 (ja) * 2000-06-26 2012-04-18 キヤノン株式会社 画像表示装置、及び画像表示装置の駆動方法
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US7561779B2 (en) * 2003-03-13 2009-07-14 Panasonic Corporation Video data processor having converting section for producing NTSC- or PAL-compliant synthetic video data
US20070118812A1 (en) * 2003-07-15 2007-05-24 Kaleidescope, Inc. Masking for presenting differing display formats for media streams
JP4449622B2 (ja) * 2004-07-23 2010-04-14 船井電機株式会社 テレビジョン放送受信装置
JP4671640B2 (ja) * 2004-08-12 2011-04-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像ジャンル判定方法、映像ジャンル判定装置及び映像ジャンル判定プログラム
KR20080019719A (ko) * 2005-06-22 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터 콘텐트 표시방법 및 장치

Also Published As

Publication number Publication date
JP2008098800A (ja) 2008-04-24
US20080084503A1 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
JP5093557B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20100202711A1 (en) Image processing apparatus, image processing method, and program
US7876323B2 (en) Display apparatus and display method, learning apparatus and learning method, and programs therefor
JP2004040498A (ja) 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4650123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4640579B2 (ja) 情報処理装置および回収基板
KR100904334B1 (ko) 화상 처리 카드, 화상 데이터 처리 장치 및 화상 데이터 처리 방법, 기록 매체, 및 화상 데이터 처리 시스템
JP2005094154A (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム
KR20060136335A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2002300538A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体
KR101110209B1 (ko) 신호 처리 장치 및 신호 처리 방법
US8115789B2 (en) Display control apparatus and method for enlarging image of content and displaying enlarged image
EP2166758A2 (en) Image signal processing apparatus and image signal processing method
CN111445427B (zh) 视频图像处理方法以及显示设备
JP4803279B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP4507639B2 (ja) 画像信号処理装置
JP4512978B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
US20090226145A1 (en) Data processing device, data processing method, and program
JP4329453B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP4674439B2 (ja) 信号処理装置および信号処理方法、並びに情報記録媒体
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP2005142743A (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP2009026026A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004229313A (ja) 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees