JP2009225214A - 画像処理装置および方法、プログラム並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム並びに記録媒体 Download PDF

Info

Publication number
JP2009225214A
JP2009225214A JP2008068849A JP2008068849A JP2009225214A JP 2009225214 A JP2009225214 A JP 2009225214A JP 2008068849 A JP2008068849 A JP 2008068849A JP 2008068849 A JP2008068849 A JP 2008068849A JP 2009225214 A JP2009225214 A JP 2009225214A
Authority
JP
Japan
Prior art keywords
screen
image
sound
display area
localized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008068849A
Other languages
English (en)
Other versions
JP4735991B2 (ja
Inventor
Daisuke Negi
大輔 根木
Hiroshige Okamoto
裕成 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008068849A priority Critical patent/JP4735991B2/ja
Priority to KR1020090010867A priority patent/KR20090100235A/ko
Priority to EP09250490A priority patent/EP2104343B1/en
Priority to CN2009101271584A priority patent/CN101540859B/zh
Priority to US12/405,345 priority patent/US8761420B2/en
Publication of JP2009225214A publication Critical patent/JP2009225214A/ja
Application granted granted Critical
Publication of JP4735991B2 publication Critical patent/JP4735991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • D—TEXTILES; PAPER
    • D03—WEAVING
    • D03D—WOVEN FABRICS; METHODS OF WEAVING; LOOMS
    • D03D11/00—Double or multi-ply fabrics not otherwise provided for
    • D03D11/02—Fabrics formed with pockets, tubes, loops, folds, tucks or flaps
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/22—Shades or blinds for greenhouses, or the like
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • D—TEXTILES; PAPER
    • D03—WEAVING
    • D03D—WOVEN FABRICS; METHODS OF WEAVING; LOOMS
    • D03D1/00—Woven fabrics designed to make specified articles
    • D03D1/0035—Protective fabrics
    • D—TEXTILES; PAPER
    • D03—WEAVING
    • D03D—WOVEN FABRICS; METHODS OF WEAVING; LOOMS
    • D03D15/00—Woven fabrics characterised by the material, structure or properties of the fibres, filaments, yarns, threads or other warp or weft elements used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Textile Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Stereophonic System (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】コンテンツの内容を迅速に識別することができるようにする。
【解決手段】画像信号生成部１５が、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、音声合成部１８が、複数の画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように音声信号を合成する。複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置を、第1の画面と第2の画面から等距離の線を基準として、第1の画面の方向および第2の画面の方向にそれぞれ変位させることができる。
【選択図】図１

Description

本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、コンテンツの内容を迅速に識別することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。
最近、テレビジョン放送の画像を表示するディスプレイの大型化が進み、１つのディスプレイに複数の画面を表示しても、ユーザがそれぞれの画面の画像を充分楽しむことができるようになってきた。ただし音声については、選択された１つの画面のステレオ音声を聴取することができるだけのことが多い。
そこで本出願人は、１つのディスプレイに2画面を表示した場合に、左右のスピーカから、それぞれ左側の画面のモノラル音声と右側の画面のモノラル音声を出力させ、必要に応じて２つのモノラル音声の音量のバランスを調整することを先に提案した(例えば、特許文献１)。
特開平９−３０７８３３号公報
しかしながら、バランスを調整するにはそのための特別の操作が必要となる。またバランスを一方に調整してその音声を確認した後、他方の音声を確認するには、バランスを逆の方向に操作しなければならない。その結果、ユーザはコンテンツとしての音声の内容を迅速に識別することが困難になる。
本発明は、このような状況に鑑みてなされたものであり、コンテンツの内容を迅速に識別することができるようにするものである。
本発明の一側面は、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する合成部とを備える画像処理装置である。
複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位していることができる。
前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化することができる。
前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が前記線により近い位置に定位することができる。
前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上に定位することができる。
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化することができる。
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第1の画面の画像がフォーカスされているとき、前記第1の画面の前記音声が前記線上に定位することができる。
前記第1の画面と前記第2の画面のそれぞれの前記音声が定位する位置を表示することができる。
前記第1の画面と前記第2の画面のそれぞれの前記音声の音量を表示することができる。
本発明の一側面は、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成するステップを含む画像処理装置の画像処理方法である。
本発明の一側面は、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する処理をコンピュータに実行させるプログラムである。
本発明の一側面は、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する処理をコンピュータに実行させるプログラムが記録されている記録媒体である。
本発明の一側面においては、複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、複数の画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように音声信号を合成する合成部とを備えられる。
以上のように、本発明の一側面によれば、コンテンツの内容を迅速に識別することができる。
以下、図を参照して本発明の実施の形態について説明する。
図１は本発明の画像処理装置の一実施の形態の構成を表している。この画像処理装置１は、ユーザにより操作される操作部２１からの操作信号に基づいて所定の処理を行い、表示部１６にコンテンツの画像を表示する。操作部２１は、例えばリモートコントローラにより構成され、左ボタン２２、右ボタン２３、移動ボタン２４、確定ボタン２５、その他のボタン（図示せず）を有する。もちろん画像処理装置１の本体に取り付けられた各種のボタン、スイッチなどにより操作部２１を構成することもできる。
画像処理装置１は、操作信号取得部１１、制御部１２、コンテンツ取得部１３、記録部１４、画像信号生成部１５、表示部１６、音量定位計算部１７、音声合成部１８、音声出力部１９を有している。このうちの記録部１４、表示部１６、および音声出力部１９は、画像処理装置１の本体とは独立して構成することもできる。
操作信号取得部１１は、ユーザが操作部２１を操作することで操作部２１から供給される、ユーザからの操作信号を取得する。取得された操作信号は制御部１２に供給される。制御部１２はこの操作信号に基づいて各部の動作を制御する。
コンテンツ取得部１３は複数のチューナを内蔵し、衛星放送、通信衛星、ケーブルにより伝送される放送信号などから、異なるチャンネルの画像信号を独立に同時に受信する機能を有している。そしてコンテンツ取得部１３は、チューナにより受信された画像信号を同時に独立にデコードし、画像信号生成部１５に出力する。この実施の形態の場合、合計９チャンネルの画像信号を同時に取得可能である。もちろんこれらの数は任意であり、９個に限られるものではない。
またコンテンツ取得部１３は、記録部１４に記録させる画像信号をエンコードするとともに、記録部１４により再生された画像信号をデコードし、画像信号生成部１５に出力する。
さらに、コンテンツ取得部１３は、インターネットに代表される各種のネットワークを介して異なる複数の画像信号を同時に受信する機能を有している。
記録部１４は、ハードディスク、光ディスク、光磁気ディスク、個体メモリなどにより構成され、コンテンツ取得部１３により取得され、エンコードされた画像信号を記録する。記録部１４にはまた、必要に応じてコンピュータプログラムが記録される。
画像信号生成部１５は、表示部１６に複数の画面を表示するための画像信号を生成する。具体的には、メイン表示エリアとサブ表示エリアの２画面の画像信号が生成される（表示エリアについては図３を参照して後述する。）。画像信号生成部１５は、サブ表示エリアの画像信号として、コンテンツ取得部１３から供給された９チャンネルの画像信号のそれぞれをスケーリングして、動画のサムネール画像の画像信号を生成し、サブ表示エリアのうち選択されたエリアの画像信号をメイン表示エリアの画像信号とする。画像信号生成部１５は、生成した画像信号を表示部１６に出力し、対応する画像を表示させる。
表示部１６はLCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）、有機EL（Electroluminescence）、プラズマなどのディスプレイにより構成され、１つの表示面に複数の画面を表示する。
音量定位計算部１７は、メイン表示エリアの画面の音声と、サブ表示エリアの画面の音声の音量と定位する位置を計算する。音声合成部１８は、音量定位計算部１７により計算された音量の音声が、計算された位置に定位するように、コンテンツ取得部１３から供給される音声信号を、そのレベルと位相を調整して合成する。
スピーカなどにより構成される音声出力部１９は表示部１６の左右の両端部に配置され、音声合成部１８から供給された音声信号に対応する音声を出力する。
次に図２のフローチャートを参照して、画像処理装置１が行う連携スケーリング処理について説明する。この処理は画像の表示が指示されたとき開始される。
ステップＳ１において画像信号生成部１５は、デフォルトの表示をする。この実施の形態においては、図３に示されるように、表示部１６の１つの表示面１６Ａの左側にメイン表示エリア５１を、右側にサブ表示エリア５２を、同じ大きさで若干離して表示する状態がデフォルトの状態とされる。コンテンツ取得部１３により同時に受信されるか、または記録部１４より再生された２つのチャンネルの画像信号が、メイン表示エリア５１とサブ表示エリア５２の画像信号とされる。図３の例では、メイン表示エリア５１とサブ表示エリア５２に、それぞれ画像Ｖ１，Ｖ２が表示されている。
何らかの指示が出された場合、ステップＳ２において制御部１２は、指示されたのは、左画面を拡大する連携スケーリングであるかを判定する。すなわち、ユーザは左側のメイン表示エリア５１の画面のサイズと、右側のサブ表示エリアの画面のサイズの比率を変更する場合、操作部２１の専用の左ボタン２２または右ボタン２３を操作する。メイン表示エリア５１の画面のサイズを大きくするとき左ボタン２２が操作され、右側のサブ表示エリアの画面のサイズを大きくするとき右ボタン２３が操作される。
指示されたのが、左画面を拡大する連携スケーリングである場合（すなわち、左ボタン２２の操作信号が操作信号取得部１１により取得された場合）、ステップＳ３において画像信号生成部１５は、左画面を拡大し、連携して右画面を縮小する処理を実行する。
例えば図４に示されるように、メイン表示エリア５１の画面のサイズが小さく、サブ表示エリア５２の画面のサイズが大きい状態で、左ボタン２３が操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズを大きくし、右側のサブ表示エリア５２の画面のサイズを小さくする。その結果、図３に示されるように、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい状態になる。
左ボタン２２がさらに操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズをさらに大きくし、右側のサブ表示エリア５２の画面のサイズをさらに小さくする。その結果、図５に示されるように、メイン表示エリア５１の画面のサイズがサブ表示エリア５２の画面のサイズより大きくなる。以上の動作は、メイン表示エリア５１の画面のサイズが最大になるまで（すなわち、サブ表示エリア５２の画面のサイズが最小になるまで）、左ボタン２２が操作されている間実行される。その結果、左ボタン２２の操作時間を調整することで、ユーザは、メイン表示エリア５１の画面を任意の大きさにすることができる。
ステップＳ３の処理の後、ステップＳ５において音声合成部１８は、連携特性に沿って音声を調整する。具体的には、図４に示されるように、メイン表示エリア５１の画面が最小で、サブ表示エリア５２の画面のサイズが最大である場合、表示面１６Ａの中心を通る線（図３に示されるように、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい場合における、２つの画面から等距離の線）ＬＮｃ上の位置Ｐｖ２に、そのとき最大であるサブ表示エリア５２の画面の画像Ｖ２の音声Ｌｖ２，Ｒｖ２を定位させるように、音声Ｌｖ２，Ｒｖ２の音声信号の位相が音量定位計算部１７により計算される。その計算値に基づいて、音声合成部１８は、表示面１６Aの左側の端部に位置する音声出力部１９Ｌから出力される音声Ｌｖ２の音声信号と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の音声信号の位相を制御する。
そして、最小であるメイン表示エリア５１の画面の画像Ｖ１の音声を、最も左端の位置Ｐｖ１に定位させるための位相が音量定位計算部１７により計算され、その計算値に基づいて、音声合成部１８は左側の音声出力部１９Ｌから出力される音声Ｌｖ１の音声信号と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号の位相を制御する。
さらに最大であるサブ表示エリア５２の画面の画像Ｖ２の音声の音量は、最小であるメイン表示エリア５１の画面の画像Ｖ１の音声より大きくなるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の音声信号のレベルが音量定位計算部１７により計算される。その計算値に基づいて音声合成部１８がそれらの音声信号のレベルを制御する。最小であるメイン表示エリア５１の画面の画像Ｖ１の音声は、実質的にミュートした状態のレベルにすることもできる。
左側のメイン表示エリア５１の画面のサイズが大きくなり、図３に示されるように、サブ表示エリア５２の画面のサイズと等しくなった状態において、メイン表示エリア５１の画面の画像Ｖ１の音声が定位する位置Ｐｖ１は、線ＬＮｃより左側（メイン表示エリア５１の画面の方向）に変位した位置となるように、音声合成部１８は音量定位計算部１７の計算結果に基づいて、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の位相を制御する。
また、サブ表示エリア５２の画面の画像Ｖ２の音声が定位する位置Ｐｖ２は、線ＬＮｃより右側（サブ表示エリア５２の画面の方向）に変位した位置となるように、音声合成部１８は音量定位計算部１７の計算結果に基づいて、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の位相を制御する。
そして、メイン表示エリア５１の画面の画像Ｖ１の音声とサブ表示エリア５２の画面の画像Ｖ２の音声の音量は同一となるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１，Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１，Ｒｖ２の音声信号のレベルが、音量定位計算部１７の計算結果に基づいて、音声合成部１８により制御される。ただし、この音量は、図４の最大のサイズのサブ表示エリア５２の画面の画像Ｖ２の音声の音量より小さい値とされる。
従って、ユーザは、線ＬＮｃ近傍に位置において、メイン表示エリア５１の画面の画像Ｖ１の音声とサブ表示エリア５２の画面の画像Ｖ２の音声のいずれをも、その一方に意識を集中するだけで、あるいは精々体を若干左または右に傾けるだけで、特別の操作をすることなく、迅速に確認することができる。また音声をステレオで聴くことができるので、ユーザは臨場感にとんだ音声を楽しむことができる。
さらに左側のメイン表示エリア５１の画面のサイズが大きくなり、図５に示されるように、メイン表示エリア５１の画面のサイズが最大となり、サブ表示エリア５２の画面のサイズが最小となった状態においては、そのとき最大であるメイン表示エリア５１の画面の画像Ｖ１の音声が線ＬＮｃ上の位置Ｐｖ１に定位するように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の位相が、音声合成部１８により制御される。
そして、最小であるサブ表示エリア５２の画面の画像Ｖ２の音声は、最も右端の位置Ｐｖ２に定位するように、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の位相が制御される。
さらにメイン表示エリア５１の画面の画像Ｖ１の音声の音量は、最小であるサブ表示エリア５２の画面の画像Ｖ２の音声より大きくなるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号のレベルが音声合成部１８により制御される。最小であるサブ表示エリア５２の画面の画像Ｖ２の音声は、実質的にミュートした状態のレベルにすることもできる。
図４の位置Ｐｖ２における音量と図５の位置Ｐｖ１における音量は等しく、また図４の位置Ｐｖ１における音量と図５の位置Ｐｖ２における音量は等しい値とされる。
図６は、２つの画面の連携したスケーリングに対応して音声の定位する位置が変化する様子を表している。左側のメイン表示エリア５１のサイズが大きくなるとき、対応する音声の定位する位置は、連携の特性線ＬＮｖ１に沿って、位置Ｐｖ１１，Ｐｖ１２，Ｐｖ１３と、矢印Ａの方向に変化する。この変化に連携して、右側のサブ表示エリア５２のサイズが小さくなるとき、対応する音声の定位する位置は、連携の特性線ＬＮｖ２に沿って、位置Ｐｖ２１，Ｐｖ２２，Ｐｖ２３と、矢印Ｂの方向に変化する。
なお、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１１であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２１であり、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１２であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２２であり、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１３であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２３である。より大きい画面の音声の方が、その音量がより大きくなり、かつその定位する位置が線ＬＮｃに近くなる。
定位位置と音量は、音量定位計算部１７による計算値に基づいて、音声合成部１８が左右の対応する音声Ｒｖ１１，Ｌｖ１１，Ｌｖ１２，Ｒｖ１２，Ｌｖ１３，Ｒｖ１３，Ｌｖ２１，Ｒｖ２１，Ｌｖ２２，Ｒｖ２２，Ｌｖ２３，Ｒｖ２３の位相とレベル（直接的にはそれらの音声信号の位相とレベル）を、それぞれ制御することで調整される。
ステップＳ２において、指示されたのは、左画面を拡大する連携スケーリングではないと判定された場合（すなわち、指示されたのは、右画面を拡大する連携スケーリングであると判定された場合）、ステップＳ３と逆方向の処理が行われる。
すなわちステップＳ４において画像信号生成部１５は、右画面を拡大し、連携して左画面を縮小する処理を実行する。図５に示されるように、サブ表示エリア５２の画面のサイズが小さく、メイン表示エリア５１の画面のサイズが大きい状態で、右ボタン２３が操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズを大きくし、左側のメイン表示エリア５１の画面のサイズを小さくする。その結果、図３に示されるように、サブ表示エリア５２の画面とメイン表示エリア５１の画面のサイズが等しい状態になる。
右ボタン２３がさらに操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズをさらに大きくし、左側のメイン表示エリア５１の画面のサイズをさらに小さくする。その結果、図４に示されるように、サブ表示エリア５２の画面のサイズがメイン表示エリア５１の画面のサイズより大きくなる。以上の動作は、サブ表示エリア５２の画面のサイズが最大になるまで（メイン表示エリア５１の画面のサイズが最小になるまで）、右ボタン２３が操作されている間実行される。その結果、右ボタン２３の操作時間を調整することで、ユーザは、サブ表示エリア５２の画面を任意の大きさにすることができる。
ステップＳ４の処理の後、ステップＳ５において音声合成部１８は、連携特性に沿って音声を調整する。この場合の処理は、上述したように、ステップＳ３の処理の後に行われる場合と実質的に同じ処理である。
ただし今の場合、右側のサブ表示エリア５２の画面のサイズを大きくするので、図６において、対応する音声の定位する位置は、特性線ＬＮｖ２に沿って、位置Ｐｖ２３，Ｐｖ２２，Ｐｖ２１と、矢印Cの方向に変化する。この変化に連携して、左側のメイン表示エリア５１のサイズが小さくなるとき、対応する音声の定位する位置は、特性線ＬＮｖ１に沿って、位置Ｐｖ１３，Ｐｖ１２，Ｐｖ１１と、矢印Dの方向に変化する。
ステップＳ５の処理の後、ステップＳ６において制御部１２は、終了が指示されたかを判定する。終了が指示されていない場合、処理はステップＳ２に戻り、それ以降の処理が繰り返される。終了が指示された場合、処理は終了される。
以上のように、左ボタン２２と右ボタン２３のいずれかが操作されると、左側の画面と右側の画面の一方がスケーリングされるだけではなく、他方も連携してスケーリングされる。従って、ユーザは、２画面のそれぞれに表示された２つのコンテンツを同時に並行して楽しむことができるだけでなく、簡単な操作で任意のタイミングで必要に応じて一方のコンテンツに重点的に楽しむことができる。
また、２つのコンテンツの音声がそれぞれ異なる位置に定位される。従って、２つの音声をモノラルで出力する場合に較べて、ユーザはコンテンツの内容としての音声を簡単かつ迅速に識別することができる。しかも２つの音声のそれぞれがステレオなので、ユーザは２つのコンテンツを臨場感にとんだ状態で視聴することができる。
さらに画面の連携スケーリングに従って音声の音量と定位も連携して制御される。従って画面のサイズのスケーリングの操作と音声の制御の操作とを、それぞれ独立した操作にする場合に較べて、操作性が向上する。
音声は、より大きい画面の音量がより大きく、かつより中心の線ＬＮｃの近くに定位するように、画面のスケーリングに連携して調整される。従ってユーザは、同時に視聴する２つのコンテンツのうちより注目する方の内容を、簡単かつ迅速に、重点的に視聴することができる。
一方の画面が最大になったとき、その最大の画面の音声が中心に定位される。その結果、ユーザは２つの画面のスケーリングを適当に調整するだけで、簡単に、２つのコンテンツのうちの一方に特に着目して視聴することができる。
以上の第１の実施の形態にいては、２つの画面のそれぞれに異なる画像（もちろん同じ画像であってもよいが）を1つずつ表示させるようにしたが、以下の第2の実施の形態にいては、２の画面のうちのサブ表示エリア５２の画面が分割され、分割された各エリアに画像を１つずつ表示させることで、１つのサブ表示エリア５２の画面に複数の画像が表示される。そして、2画面のうちの他方のメイン表示エリア５１には、分割されたエリアから選択された１つの画像が表示される。
この第2の実施の形態においては、画像連携スケーリング処理が図７に示されるように行われる。この処理は、図２のステップＳ１乃至Ｓ４，Ｓ６の処理と同様の処理であり、画像の表示が指示されたとき開始される。
ステップＳ５１において制御部１２は、デフォルトの表示をする。この実施の形態においては、図８に示されるように、左側のメイン表示エリア５１と右側のサブ表示エリア５２を、同じ大きさで表示する状態がデフォルトの状態とされる。
そして、サブ表示エリア５２は9個のエリアに分割され、コンテンツ取得部１３により同時に受信されるか、または記録部１４より再生された９つのチャンネルの画像信号が、サブ表示エリア５２の各分割エリアの画像信号とされる。9個の画像信号は9個の動画のサムネール画像（図８にはＶ１乃至Ｖ９として示されている）が表示できるように画像信号生成部１５によりスケーリングされる。
メイン表示エリア５１には、サブ表示エリア５２の９個の分割エリアに表示されている9個のサムネール画像の中から選択、確定されたエリアの画像が表示される。デフォルトの状態においては、図８に示されるように、サブ表示エリア５２の左上のエリアがカーソル７１により選択、確定され、そのエリアと同じ画像Ｖ１がメイン表示エリア５１に表示されている。画像処理装置１の電源がオフされる直前に選択されていたエリアの画像をメイン表示エリア５１に表示させるようにしてもよい。
画像信号生成部１５は、ユーザが移動ボタン２４を操作した場合、カーソル７１をその操作の方向に移動させる。ユーザが確定ボタン２５を操作した場合、画像信号生成部１５は、そのときカーソル７１により選択されているサブ表示エリア５２のエリアの画像信号の選択を確定し、メイン表示エリア５１の画像として表示させる。
以上のようにして、ユーザは、メイン表示エリア５１のコンテンツを視聴しながら、サブ表示エリア５２に表示されている９個のコンテンツを同時に並行して確認することができる。これにより表示面１６Aに１つの画面だけを表示し、その画面に表示される画像を切り替えてザッピングする場合に較べて、そのとき着目しているコンテンツの内容を見損なうことなく、他のコンテンツを確認することができる。
さらに、必要に応じて９個のコンテンツのいずれかをカーソル７１で選択することで、選択するコンテンツの内容を音声に基づいて、より詳細に確認することができる。なお、この点については、図１１を参照して後述する。
何らかの指示が出された場合、ステップＳ５２において制御部１２は、指示されたのは、左画面を拡大する連携スケーリングであるかを判定する。指示されたのが、左画面を拡大する連携スケーリングである場合（左ボタン２２の操作信号が操作信号取得部１１により取得された場合）、ステップＳ５３において左画面を拡大し、連携して右画面を縮小する処理が実行される。
例えば図９に示されるように、メイン表示エリア５１の画面が小さく、サブ表示エリア５２の画面のサイズが大きい状態で、左ボタン２２が操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズが大きくし、右側のサブ表示エリア５２の画面のサイズを小さくする。その結果、図８に示されるように、次第にメイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい状態になる。
左ボタン２２がさらに操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズをさらに大きくし、右側のサブ表示エリア５２の画面のサイズをさらに小さくする。その結果、図１０に示されるように、メイン表示エリア５１の画面のサイズがサブ表示エリア５２の画面のサイズより大きくなる。以上の動作は、メイン表示エリア５１の画面のサイズが最大になるまで（サブ表示エリア５２の画面のサイズが最小になるまで）、左ボタン２２が操作されている間実行される。その結果、左ボタン２２の操作時間を調整することで、ユーザは、メイン表示エリア５１の画面を任意の大きさにすることができる。
ステップＳ５２において、指示されたのは、左画面を拡大する連携スケーリングではないと判定された場合（指示されたのは、右画面を拡大する連携スケーリングであると判定された場合）、ステップＳ５４においてステップＳ５３と逆方向の処理が行われる。
すなわちステップＳ５４において制御部１２は、右画面を拡大し、連携して左画面を縮小する処理を実行する。図１０に示されるように、サブ表示エリア５２の画面が小さく、メイン表示エリア５１の画面のサイズが大きい状態で、右ボタン２３が操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズが大きくし、左側のメイン表示エリア５１の画面のサイズを小さくする。その結果、図８に示されるように、次第にサブ表示エリア５２の画面とメイン表示エリア５１の画面のサイズが等しい状態になる。
右ボタン２３がさらに操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズをさらに大きくし、左側のメイン表示エリア５１の画面のサイズをさらに小さくする。その結果、図９に示されるように、サブ表示エリア５２の画面のサイズがメイン表示エリア５１の画面のサイズより大きくなる。以上の動作は、サブ表示エリア５２の画面のサイズが最大になるまで（メイン表示エリア５１の画面のサイズが最小になるまで）、右ボタン２３が操作されている間実行される。その結果、右ボタン２３の操作時間を調整することで、ユーザは、サブ表示エリア５２の画面を任意の大きさにすることができる。
ステップＳ５３，Ｓ５４の処理の後、ステップＳ５５において制御部１２は、終了が指示されたかを判定する。終了が指示されていない場合、処理はステップＳ５２に戻り、それ以降の処理が繰り返される。終了が指示された場合、処理は終了される。
以上のように、ユーザの左ボタン２２または右ボタン２３の一方の操作に応じて、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが連携してスケーリングされるのは、第1の実施の形態における場合と同様である。
このような図７の画像連携スケーリング処理にさらに連携して、図１１のフローチャートに示される音声連携スケーリング処理が実行される。
ステップＳ７１において制御部１２は、デフォルトの音声を設定する。上述したようにこの実施の形態の場合、図８に示される状態がデフォルトの状態とされる。そしてこの場合、サブ表示エリア５２のうちのカーソル７１により左上のエリアが選択されており、かつその左上のエリアの画像がメイン表示エリア５１の画面に表示されているので、ユーザが視聴しようとしている画像は画像Ｖ１である。そこで、音声合成部１８は、定位の位置が線ＬＮｃ上の位置Ｐｖ１になるように、左の音声出力部１９Ｌから出力される音声Ｌｖ１と、右の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号の位相を、音量定位計算部１７の計算値に基づいて制御する。
ステップＳ７２において制御部１２は、フォーカスされているのはメイン表示エリアの画面であるかを判定する。この実施の形態の場合、カーソル７１が位置する画面がフォーカスされていると判定される。図８に示される場合、カーソル７１がサブ表示エリア５２の左上のエリアに位置しているので、フォーカスされているのはサブ表示エリア５２であって、メイン表示エリア５１ではないと判定される。
この場合、ステップＳ７４において制御部１２は、サブ表示エリアでフォーカスされているのは、メイン表示エリアの画像として選択されている画像であるかを判定する。図８に示される場合、カーソル７１で選択されている画像Ｖ１がメイン表示エリア５１にも画像Ｖ１として表示されている。そこでこのような場合、ステップＳ７３において音声合成部１８は、音量定位計算部１７の計算値に基づいて、メイン表示エリアの画像の音声を選択し、定位の位置を中央にする。すなわち、図８に示されるように、メイン表示エリア５１の画像Ｖ１の音声が選択され、線ＬＮｃの位置Ｐｖ１上に定位するように位相制御され、左側の音声出力部１９Ｌから音声Ｌｖ１が出力され、右側の音声出力部１９Ｒから音声Ｒｖ１が出力される。
図９と図１０に示される場合も、サブ表示エリア５２の左上のエリアの画像Ｖ１がカーソル７１で選択され、メイン表示エリア５１に画像Ｖ１として表示されている。従って、これらの場合も、メイン表示エリア５１の画像Ｖ１の音声Ｌｖ１，Ｒｖ１が、線ＬＮｃ上の位置Ｐｖ１に定位するように出力される。
このように、サブ表示エリア５２においてカーソル７１で選択されているコンテンツと、メイン表示エリア５１に表示されているコンテンツが同じ場合には、ユーザが着目しているのは、その選択されているコンテンツ（すなわちメイン表示エリア５１に表示されているコンテンツ）である。そこで、この場合には、メイン表示エリア５１に表示されているコンテンツの音声だけを出力することで、ユーザに不必要な音声を提供することが防止される。
ステップＳ７２においてフォーカスされているのがメイン表示エリア５１の画面であると判定された場合にも、ステップＳ７３の処理が実行される。従って、例えば図１２に示されるように、メイン表示エリア５１とサブ表示エリア５２の画面が同じ大きさとされており、かつカーソル７１によりメイン表示エリア５１の画像V１がフォーカスされた状態から、図１３に示されるようにメイン表示エリア５１の画面を小さくしたり、逆に図１４に示されるようにメイン表示エリア５１の画面を大きくしたりした場合においても、メイン表示エリア５１の画像Ｖ１の音声Ｌｖ１，Ｒｖ１が、線ＬＮｃ上の位置Ｐｖ１に定位するように出力される。
このように、カーソル７１によりメイン表示エリア５１が選択されている場合にも、ユーザが着目しているのはメイン表示エリア５１のコンテンツである。そこで、この場合には、メイン表示エリア５１に表示されているコンテンツの音声だけを出力することで、ユーザに不必要な音声を提供することが防止される。
ステップＳ７４において、サブ表示エリア５２でフォーカスされているのは、メイン表示エリア５１の画像として選択されている画像ではないと判定された場合、ステップＳ７５において音声合成部１８は、連携特性に沿って音声を調整する。すなわち、図２のステップＳ５と同様の処理が実行される。
例えば図１５に示される場合、サブ表示エリア５２でカーソル７１によりフォーカスされているのは、画像Ｖ５が表示されている中央のエリアであり、メイン表示エリア５１に表示されている画像Ｖ１が表示されている左上のエリアではない。図１５の場合、メイン表示エリア５１の画面は最小であり、サブ表示エリア５２の画面は最大であるので、フォーカスされているサブ表示エリア５２のエリアであって、カーソルが実際に位置するエリアの画像Ｖ５の音声が選択される。そして、左側の音声出力部１９Ｌからの音声Ｌｖ５と、右側の音声出力部１９Ｒからの音声Ｒｖ５が、線ＬＮｃ上で定位するようにその位相が制御される。画像Ｖ１の音声は実質的にミュートされ、出力されない。
図１５の状態から左側のメイン表示エリア５１の画面が大きくされ、図１６に示されるように、サブ表示エリア５２の画面と同じサイズにされた場合、線ＬＮｃよりメイン表示エリア５１側の位置Ｐｖ１に定位するように、メイン表示エリア５１の画面の画像Ｖ１の音声Lｖ１，Ｒｖ１の位相が制御される。同様に、線ＬＮｃよりサブ表示エリア５２側の位置Ｐｖ５に定位するように、サブ表示エリア５２の画面の画像Ｖ５の音声Ｌｖ５，Ｒｖ５の位相が制御される。
図１６の状態から左側のメイン表示エリア５１の画面がさらに大きくされ、図１７に示されるように、最大のサイズにされた場合、線ＬＮｃ上の位置Ｐｖ１に定位するように、メイン表示エリア５１の画面の画像Ｖ１の音声Lｖ１，Ｒｖ１の位相が制御される。画像Ｖ５の音声は実質的にミュートされ、出力されない。
サブ表示エリア５２において、メイン表示エリア５１の画面のコンテンツとは異なるエリアのコンテンツの画像がフォーカスされている場合には、ユーザはサブ表示エリア５２において、これから見るコンテンツを探している最中であると考えられる。そこで、この場合には、図６に示した場合と同様に、連携の特性線ＬＮｖ１，ＬＮｖ２に沿って音声が調整される。すなわち、図２乃至図６に示される第１の実施の形態のサブ表示エリア５２に、カーソル７１で選択されたコンテンツが表示されている場合と同様に音声が調整される。
これによりステップＳ７５の処理においても、第１の実施の形態の場合と同様の効果を奏することができる。
すなわち、左ボタン２２と右ボタン２３のいずれかが操作されると、左側の画面と右側の画面の一方がスケーリングされるだけではなく、他方も連携してスケーリングされる。従って、ユーザは、メイン表示エリア５１の画面に表示されたコンテンツを確認しながら、並行してサブ表示エリア５２の画面から任意のコンテンツを簡単に探すことができる。
また、２つのコンテンツの音声がそれぞれ異なる位置に定位される。従って、２つの音声をモノラルで出力する場合に較べて、ユーザはコンテンツの内容としての音声を簡単かつ迅速に識別することができる。しかも２つの音声のそれぞれがステレオなので、ユーザは任意のコンテンツを臨場感にとんだ状態で、従ってより詳細に検索することができる。
さらに画面の連携スケーリングに従って音声の音量と定位も連携して制御される。従って画面のサイズのスケーリングの操作と音声の制御の操作とを、それぞれ独立した操作にする場合に較べて、操作性が向上する。
音声は、より大きい画面の音量がより大きく、かつより中心の線ＬＮｃの近くに定位するように、画面のスケーリングに連携して調整される。従ってユーザは、同時に検索するコンテンツの内容を、簡単かつ迅速に、重点的に視聴することができる。
一方の画面が最大になったとき、その最大の画面の音声が中心に定位される。その結果、ユーザは２つの画面のスケーリングを適当に調整するだけで、簡単に、２つのコンテンツのうちの一方に特に着目して視聴することができる。
図１８乃至図２０は、画面に音声の定位する位置と音量を表すようにした第３の実施の形態の表示例を表している。これらの図に示されるように、メイン表示エリア５１とサブ表示エリア５２の画面には、それぞれの表示する画像の音声の定位する位置が、バー９１，１０１上で移動部９２，１０２により表示されている。この移動部９２，１０２のバー９１，１０１上の位置は、メイン表示エリア５１とサブ表示エリア５２の画面の音声が定位する位置に応じて移動される。これらの表示は、画像信号生成部１５が音量定位計算部１７により計算された定位位置と音量の値に応じて制御する。
図１８においては、メイン表示エリア５１の画面の画像Ｖ１の音声が、左端の位置Ｐｖ１に定位しているので、移動部９２はバー９１の左端に表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、線ＬＮｃ上の位置ＰＶ２に定位しているので、サブ表示エリア５２の音声の定位する位置を表すバー１０１では、その中央に移動部１０２が表示されている。
図１９においては、メイン表示エリア５１の画面の画像Ｖ１の音声が、左端より中央よりで、線ＬＮｃより左側の位置Pｖ１に定位しているので、移動部９２はバー９１の左端と中央との間に表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、右端より中央よりで、線ＬＮｃより右側の位置Pｖ２に定位しているので、移動部１０２はバー１０１の右端と中央との間に表示されている。
図２０においては、メイン表示エリア５１の画面の画像Ｖ１の音声は、線ＬＮｃ上の位置ＰＶ１に定位しているので、メイン表示エリア５１の画面の音声の定位する位置を表すバー９１では、その中央に移動部９２が表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、右端の位置Ｐｖ２に定位しているので、移動部１０２はバー１０１の右端に表示されている。
さらに図１８乃至図２０においては、メイン表示エリア５１に、その画面の音声の音量を表すバー９３が表示されている。バー９３においては、対応する音声の音量が点灯するブロックの数で表される。同様に、サブ表示エリア５２には、その画面の音声の音量を表すバー１０３が表示されている。バー１０３においても、対応する音声の音量が点灯するブロックの数で表される。
以上のように図１８乃至図２０の例では、音声の定位する位置と音量が表示されるので、ユーザは確実に定位する位置と音量を認識することができる。
図示は省略するが、図８乃至図１０、並びに図１２乃至図１７に示される場合にも、同様に音声の定位する位置と音量を表示することができる。
なお以上においては、画面の数を２個としたが、３個以上の場合にも、本発明は適用することができる。
また、複数の画面を１つの表示面１６Aに表示するようにしたが、各画面をそれぞれ表示する別個の表示部を、左右方向にまとめて並べて配置し、その複数の表示部の左右端部に音声出力部１９Ｌ，１９Ｒを配置した場合にも本発明は適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMや、ハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明の画像処理装置の一実施の形態の構成を表すブロック図である。 連携スケーリング処理を説明するフローチャートである。 連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。 連携スケーリング時の左の画面が小さい場合の状態を示す図である。 連携スケーリング時の左の画面が大きい場合の状態を示す図である。 連携の特性を説明する図である。 画像連携スケーリング処理を説明するフローチャートである。 連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。 連携スケーリング時の左の画面が小さい場合の状態を示す図である。 連携スケーリング時の左の画面が大きい場合の状態を示す図である。 音声連携スケーリング処理を説明するフローチャートである。 連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。 連携スケーリング時の左の画面が小さい場合の状態を示す図である。 連携スケーリング時の左の画面が大きい場合の状態を示す図である。 連携スケーリング時の左の画面が小さい場合の状態を示す図である。 連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。 連携スケーリング時の左の画面が大きい場合の状態を示す図である。 定位する位置と音量の表示を示す図である。 定位する位置と音量の表示を示す図である。 定位する位置と音量の表示を示す図である。
符号の説明
１ 画像処理装置， １１ 操作信号画像取得部， １２ 制御部， １３ コンテンツ取得部， １４ 記録部， １５ 画像信号生成部， １６ 表示部， １７ 音量定位計算部， １８ 音声合成部， １９ 音声出力部， ２１ 操作部， ２２ 左ボタン， ２３ 右ボタン， ２４ 移動ボタン， ２５ 確定ボタン

Claims (12)

  1. 複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、
    複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する合成部と
    を備える画像処理装置。
  2. 複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位している
    請求項１に記載の画像処理装置。
  3. 前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
    請求項２に記載の画像処理装置。
  4. 前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が前記線により近い位置に定位する
    請求項３に記載の画像処理装置。
  5. 前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上に定位する
    請求項４に記載の画像処理装置。
  6. 前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、
    前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、
    前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
    請求項３に記載の画像処理装置。
  7. 前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第1の画面の画像がフォーカスされているとき、前記第1の画面の前記音声が前記線上に定位する
    請求項３に記載の画像処理装置。
  8. 前記第1の画面と前記第2の画面のそれぞれの前記音声が定位する位置を表示する
    請求項３に記載の画像処理装置。
  9. 前記第1の画面と前記第2の画面のそれぞれの前記音声の音量を表示する
    請求項３に記載の画像処理装置。
  10. 複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
    複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する
    ステップを含む画像処理装置の画像処理方法。
  11. 複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
    複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する
    処理をコンピュータに実行させるプログラム。
  12. 複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
    複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置が異なるように前記音声信号を合成する
    処理をコンピュータに実行させるプログラムが記録されている記録媒体。
JP2008068849A 2008-03-18 2008-03-18 画像処理装置および方法、プログラム並びに記録媒体 Expired - Fee Related JP4735991B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008068849A JP4735991B2 (ja) 2008-03-18 2008-03-18 画像処理装置および方法、プログラム並びに記録媒体
KR1020090010867A KR20090100235A (ko) 2008-03-18 2009-02-11 이미지 처리장치 및 방법과 기록매체
EP09250490A EP2104343B1 (en) 2008-03-18 2009-02-24 Image processing apparatus and method and a recording medium
CN2009101271584A CN101540859B (zh) 2008-03-18 2009-03-16 图像处理设备和方法
US12/405,345 US8761420B2 (en) 2008-03-18 2009-03-17 Image processing apparatus and method and a recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008068849A JP4735991B2 (ja) 2008-03-18 2008-03-18 画像処理装置および方法、プログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2009225214A true JP2009225214A (ja) 2009-10-01
JP4735991B2 JP4735991B2 (ja) 2011-07-27

Family

ID=40672296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008068849A Expired - Fee Related JP4735991B2 (ja) 2008-03-18 2008-03-18 画像処理装置および方法、プログラム並びに記録媒体

Country Status (5)

Country Link
US (1) US8761420B2 (ja)
EP (1) EP2104343B1 (ja)
JP (1) JP4735991B2 (ja)
KR (1) KR20090100235A (ja)
CN (1) CN101540859B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029790A1 (ja) * 2010-09-02 2012-03-08 シャープ株式会社 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2013051686A (ja) * 2012-09-18 2013-03-14 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2013062653A (ja) * 2011-09-13 2013-04-04 Sony Corp 情報処理装置およびコンピュータプログラム
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5434418B2 (ja) * 2009-09-15 2014-03-05 セイコーエプソン株式会社 プロジェクターシステム、制御装置、プログラム及びプロジェクターシステムの制御方法
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
EP2571280A3 (en) * 2011-09-13 2017-03-22 Sony Corporation Information processing device and computer program
JP2014188303A (ja) * 2013-03-28 2014-10-06 Nintendo Co Ltd ゲームシステム、ゲームプログラム、ゲーム処理方法、およびゲーム装置
KR20180017944A (ko) * 2016-08-11 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
TWI680661B (zh) * 2018-07-20 2019-12-21 茂傑國際股份有限公司 加值遠端顯示服務的無線路由伺服裝置及方法
WO2020118503A1 (zh) * 2018-12-11 2020-06-18 华为技术有限公司 一种确定图像对焦区域的方法及装置
CN110572760B (zh) * 2019-09-05 2021-04-02 Oppo广东移动通信有限公司 电子设备及其控制方法
CN113573120B (zh) * 2021-06-16 2023-10-27 北京荣耀终端有限公司 音频的处理方法及电子设备、芯片系统及存储介质
CN114296587A (zh) * 2021-12-20 2022-04-08 北京小米移动软件有限公司 光标控制方法、装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59187300A (ja) * 1983-04-07 1984-10-24 渡辺　尚道 ピラミツドエネルギ−発生装置
JPH06311448A (ja) * 1993-04-27 1994-11-04 Sanyo Electric Co Ltd テレビジョン受像機
JPH0851580A (ja) * 1994-08-08 1996-02-20 Fujitsu General Ltd 画面分割表示装置の音声回路
JPH0983897A (ja) * 1995-09-18 1997-03-28 Sony Corp テレビ受信機
JPH10262300A (ja) * 1997-03-19 1998-09-29 Sanyo Electric Co Ltd 音声再生装置
JPH11234587A (ja) * 1998-02-16 1999-08-27 Sharp Corp 文字放送特殊再生装置
JP2005117369A (ja) * 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 動画記録装置および動画再生装置並びにデジタルカメラ
JP2006027042A (ja) * 2004-07-15 2006-02-02 Seiko Epson Corp 画像形成装置
JP2006295428A (ja) * 2005-04-08 2006-10-26 Seiko Epson Corp テレビ
JP2007150890A (ja) * 2005-11-29 2007-06-14 Sharp Corp 映像表示装置
JP2008028936A (ja) * 2006-07-25 2008-02-07 Sharp Corp 映像表示装置、映像表示方法、映像表示プログラム、および記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59187300U (ja) * 1983-05-27 1984-12-12 トヨタ自動車株式会社 聴取室内における音像定位位置の制御装置
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
JPH0887397A (ja) * 1994-09-20 1996-04-02 Hitachi Ltd 音量調整装置
JPH0934392A (ja) * 1995-07-13 1997-02-07 Shinsuke Nishida 音とともに画像を提示する装置
JPH09307833A (ja) 1996-05-17 1997-11-28 Sony Corp 映像機器の音声制御装置および音声制御方法
JP2000069391A (ja) * 1998-08-17 2000-03-03 Toshiba Corp 多画面受像装置
KR100330012B1 (ko) * 1998-09-14 2002-08-08 삼성전자 주식회사 텔레비전의채널변경방법
EP1073270A1 (en) * 1999-07-30 2001-01-31 Deutsche Thomson-Brandt Gmbh Method and apparatus for navigation through multimedia presentations
US7558318B2 (en) * 2002-06-11 2009-07-07 Sanyo Electric Co., Ltd. Method and apparatus for processing images, method and apparatus for recording and reproducing images, and television receiver utilizing the same
US20060177019A1 (en) * 2003-06-07 2006-08-10 Vladimir Portnykh Apparatus and method for organization and interpretation of multimedia data on a recording medium
WO2007097280A1 (ja) * 2006-02-21 2007-08-30 Matsushita Electric Industrial Co., Ltd. 表示制御装置、表示制御方法および表示制御プログラム
US8624975B2 (en) * 2006-02-23 2014-01-07 Robert Bosch Gmbh Audio module for a video surveillance system, video surveillance system and method for keeping a plurality of locations under surveillance
US20070245391A1 (en) * 2006-03-27 2007-10-18 Dalton Pont System and method for an end-to-end IP television interactive broadcasting platform
JP4895739B2 (ja) 2006-09-16 2012-03-14 株式会社神戸製鋼所 バンパー構造体
US20080278628A1 (en) * 2006-10-06 2008-11-13 Sharp Kabushiki Kaisha Content display device, content display method, content display system, content display program, and recording medium

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59187300A (ja) * 1983-04-07 1984-10-24 渡辺　尚道 ピラミツドエネルギ−発生装置
JPH06311448A (ja) * 1993-04-27 1994-11-04 Sanyo Electric Co Ltd テレビジョン受像機
JPH0851580A (ja) * 1994-08-08 1996-02-20 Fujitsu General Ltd 画面分割表示装置の音声回路
JPH0983897A (ja) * 1995-09-18 1997-03-28 Sony Corp テレビ受信機
JPH10262300A (ja) * 1997-03-19 1998-09-29 Sanyo Electric Co Ltd 音声再生装置
JPH11234587A (ja) * 1998-02-16 1999-08-27 Sharp Corp 文字放送特殊再生装置
JP2005117369A (ja) * 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 動画記録装置および動画再生装置並びにデジタルカメラ
JP2006027042A (ja) * 2004-07-15 2006-02-02 Seiko Epson Corp 画像形成装置
JP2006295428A (ja) * 2005-04-08 2006-10-26 Seiko Epson Corp テレビ
JP2007150890A (ja) * 2005-11-29 2007-06-14 Sharp Corp 映像表示装置
JP2008028936A (ja) * 2006-07-25 2008-02-07 Sharp Corp 映像表示装置、映像表示方法、映像表示プログラム、および記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029790A1 (ja) * 2010-09-02 2012-03-08 シャープ株式会社 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2012054829A (ja) * 2010-09-02 2012-03-15 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2013062653A (ja) * 2011-09-13 2013-04-04 Sony Corp 情報処理装置およびコンピュータプログラム
JP2013051686A (ja) * 2012-09-18 2013-03-14 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置

Also Published As

Publication number Publication date
CN101540859B (zh) 2012-03-21
JP4735991B2 (ja) 2011-07-27
EP2104343B1 (en) 2011-05-18
US8761420B2 (en) 2014-06-24
KR20090100235A (ko) 2009-09-23
CN101540859A (zh) 2009-09-23
US20090262243A1 (en) 2009-10-22
EP2104343A1 (en) 2009-09-23

Similar Documents

Publication Publication Date Title
JP4735991B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP4602204B2 (ja) 音声信号処理装置および音声信号処理方法
JP2007311942A (ja) コンテンツ表示装置
JP2000069391A (ja) 多画面受像装置
JP2007013725A (ja) 映像表示装置及び映像表示方法
JP2010147608A (ja) 音声出力装置、映像音声再生装置及び音声出力方法
JP4587821B2 (ja) 映像再生装置
JP5215077B2 (ja) コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
JP2007096745A (ja) 表示制御装置、表示制御方法、およびプログラム
JP5071040B2 (ja) 情報処理装置、情報処理方法、プログラム並びに記録媒体
JP2013026700A (ja) 映像コンテンツ選択装置及び映像コンテンツ選択方法
JP2008141463A (ja) オンスクリーン表示装置及びテレビジョン受像機
JP6609795B2 (ja) 映像音声処理装置、映像音声処理方法およびプログラム
JP2009027430A (ja) 動画再生装置
JP5531898B2 (ja) チャンネル受信装置及びプログラム
JP2008278199A (ja) テレビジョン受信装置
KR20070058814A (ko) 컨텐츠 네비게이션 방법 및 이를 수행하는 영상처리장치
KR100635277B1 (ko) Ｐｉｐ 영상 선택방법
KR101265592B1 (ko) 방송용 단말기 및 방송용 단말기의 방송 화면 전환 방법
JP2010109792A (ja) 出音方法、出音装置、及び受像装置
JP2010226471A (ja) 映像再生装置及びその制御方法
JP2006304156A (ja) 選局方法、選局装置および表示装置
JP2010141581A (ja) 映像表示装置、映像表示方法及びプログラム
JP2007093702A (ja) 画像表示装置及び画像表示方法
JP2006211322A (ja) 放送受信装置および放送受信処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100917

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees