CN101540859B - 图像处理设备和方法 - Google Patents

Abstract

一种图像处理设备，包括：生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述多个声音信号的声音被定位的位置彼此不同。

Description

图像处理设备和方法

对相关申请的交叉引用

本发明包含与2008年3月18日向日本专利局提交的日本专利申请JP 2008-068849相关的主题，通过引用将该专利申请的全部内容合并于此。

技术领域

本发明涉及图像处理设备和方法以及记录介质，特别而言，涉及可迅速地识别内容的内容的图像处理设备和方法以及记录介质。

背景技术

近年来，显示电视广播图像的显示器尺寸增大，即使在一个显示器上显示多个画面，用户也可充分欣赏各画面的图像。然而，对于声音来说，在多数情形下，只能听到一个所选择的画面的立体声音。

然后，在同为本申请人拥有的在先专利申请中，提出了一种技术，其中当在一个显示器上显示两个画面时，从左和右扬声器分别输出左画面的单声道声音和右画面的单声道声音，并按需要调整两个单声道声音的音量的平衡(例如，日本特开平9-307833号公报)。

发明内容

然而，为了调整平衡，需要为此进行特别操作。而且，在向一侧调整平衡并确认声音之后，当确认另一侧的声音时，必须朝相反方向操作平衡。结果，用户难以迅速地识别作为内容的声音的内容。

鉴于以上情况，希望迅速地识别内容的内容。

根据本发明的一个实施例，提供了一种图像处理设备，包括：生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。

当多个画面中的第一画面和第二画面以相等尺寸显示时，基于与所述第一画面对应的第一声音信号的声音被定位的第一位置和基于与所述第二画面对应的第二声音信号的声音被定位的第二位置可以距所述第一画面和所述第二画面等距离的线为基准、朝所述第一画面的方向和朝所述第二画面的方向分别移位。

可根据所述第一画面和所述第二画面的协作缩放来改变所述定位的位置。

当所述第一画面和所述第二画面的尺寸不同时，较大的一个所述画面的声音可定位于距所述线较近的位置。

当所述第一画面和所述第二画面二者之一的尺寸变得最大时，最大所述画面的声音可定位于所述线上。

在所述第一画面显示与从显示在所述第二画面上的多个缩略图像中选择的缩略图像对应的图像这一情形下，当与所述第一画面的图像对应的所述缩略图像被聚焦在所述第二画面上时，所述第一画面的所述声音定位于所述线上，而当与所述第一画面的图像不同的所述缩略图像被聚焦在所述第二画面上时，可根据所述第一画面和所述第二画面的协作缩放来改变所述定位的位置。

在所述第一画面显示与从显示在所述第二画面上的多个缩略图像中选择的缩略图像对应的图像这一情形下，当所述第一画面的图像被聚焦时，所述第一画面的所述声音可定位于所述线上。

可显示所述第一画面和所述第二画面二者的所述声音被定位的位置。

可显示所述第一画面和所述第二画面二者的所述声音的音量。

根据本发明的另一个实施例，提供了一种图像处理设备的图像处理方法，包括以下步骤：生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。

根据本发明的又一个实施例，提供了一种使得计算机执行以下处理的程序：生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。

根据本发明的再一个实施例，提供了一种记录介质，所述记录介质记录有使得计算机执行以下处理的程序：生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。

根据本发明的一些实施例，可提供：生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。

如上所述，根据本发明的诸实施例，可迅速地识别内容的内容。

附图说明

图1是示出了本发明的一个实施例的图像处理设备的结构的框图。

图2是说明协作缩放处理的流程图。

图3是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。

图4是示出了协作缩放时的左画面小这一情形的状态的图。

图5是示出了协作缩放时的左画面大这一情形的状态的图。

图6是说明协作特性的图。

图7是说明图像协作缩放处理的流程图。

图8是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。

图9是示出了协作缩放时的左画面小这一情形的状态的图。

图10是示出了协作缩放时的左画面大这一情形的状态的图。

图11是说明声音协作缩放处理的流程图。

图12是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。

图13是示出了协作缩放时的左画面小这一情形的状态的图。

图14是示出了协作缩放时的左画面大这一情形的状态的图。

图15是示出了协作缩放时的左画面小这一情形的状态的图。

图16是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。

图17是示出了协作缩放时的左画面大这一情形的状态的图。

图18是示出了所定位的位置和音量的显示的图。

图19是示出了所定位的位置和音量的显示的图。

图20是示出了所定位的位置和音量的显示的图。

具体实施方式

下面，参照附图说明本发明的诸实施例。

图1示出了本发明的一个实施例的图像处理设备的结构。该图像处理设备1基于来自由用户操作的操作单元21的操作信号而进行指定的处理，并将内容的图像显示在显示单元16上。操作单元21包括例如遥控器，并且具有左按钮22、右按钮23、移动按钮24、确定按钮25和其它按钮(未示出)。当然，操作单元21还可包括附接至图像处理设备1的主体的各种按钮、开关等。

图像处理设备1包括操作信号获取单元11、控制单元12、内容获取单元13、记录单元14、图像信号生成单元15、显示单元16、音量定位计算单元17、声音合成单元18和声音输出单元19。在这些单元中，记录单元14、显示单元16和声音输出单元19可独立于图像处理设备1的主体而提供。

操作信号获取单元11获取从用户操作的操作单元21供给的、来自用户的操作信号。所获取的操作信号被供给控制单元12。控制单元12基于该操作信号来控制各单元的工作。

内容获取单元13合并了多个调谐器，并具有从通过卫星广播、通信卫星或线缆传输的广播信号中独立且同时地接收不同信道的图像信号的功能。内容获取单元13同时且独立地对调谐器接收到的图像信号进行解码，并将它们输出至图像信号生成单元15。在本实施例的情形下，可同时获取共计九个信道的图像信号。当然，该数目是任意的而不限于九个。

而且，内容获取单元13还对记录在记录单元14中的图像信号进行编码，对由记录单元14再现的图像信号进行解码，并将它们输出至图像信号生成单元15。

此外，内容获取单元13具有通过以因特网为代表的各种网络同时接收多个不同图像信号的功能。

记录单元14包括硬盘、光盘、磁光盘或固态存储器，并且记录由内容获取单元13获取并编码的图像信号。记录单元14还按需要存储计算机程序。

图像信号生成单元15生成用于在显示单元16上显示多个画面的图像信号。具体地，生成主显示区和副显示区这两个画面的图像信号(显示区将在后面参照图3来说明)。图像信号生成单元15对从内容获取单元13供给的九个信道的图像信号都进行缩放以作为副显示区的图像信号，生成动画缩略图像的图像信号，并使得副显示区中所选择的区域的图像信号成为主显示区的图像信号。图像信号生成单元15将生成的图像信号输出至显示单元16并使得对应的图像被显示。

显示单元16包括LCD(液晶显示器)、CRT(阴极射线管)、有机EL(电致发光)显示器或等离子体显示器，并且在一个显示表面上显示多个画面。

音量定位计算单元17计算主显示区的画面的声音的音量和所定位的位置以及副显示区的画面的声音的音量和所定位的位置。声音合成单元18对从内容获取单元13供给的声音信号的电平和相位进行调整并将它们合成，以使得由音量定位计算单元17计算出的音量的声音被定位于计算出的位置。

包括扬声器等在内的声音输出单元19设置在显示单元16的左右两端，并且输出与从声音合成单元18供给的声音信号对应的声音。

接下来，参照图2的流程图说明由图像处理设备1进行的协作缩放处理。该处理是当指示进行图像显示时开始的。

在步骤S1中，图像信号生成单元15按默认进行显示。在本实施例中，如图3所示，默认状态是如下状态：在显示单元16的一个显示表面16A的左侧显示主显示区51，并在右侧显示与主显示区的尺寸相同并与其略微分离的副显示区52。由内容获取单元13同时接收到的或由记录单元14再现的两个信道的图像信号是主显示区51和副显示区52的图像信号。在图3的实例中，图像V1和V2分别显示在主显示区51和副显示区52中。

当发出指令时，在步骤S2中，控制单元12判断是否指示了放大左画面的协作缩放。即，当用户改变左侧的主显示区51的画面尺寸与右侧的副显示区的画面尺寸之比时，用户对操作单元21的专用左按钮22或右按钮23进行操作。当放大主显示区51的画面尺寸时操作左按钮22，而当放大右侧的副显示区的画面尺寸时操作右按钮23。

当指示了放大左画面的协作缩放时(即，当操作信号获取单元11获取了左按钮22的操作信号时)，在步骤S3中，图像信号生成单元15进行放大左画面并与之协作地缩小右画面的处理。

例如，如图4所示，当在主显示区51的画面尺寸小而副显示区52的画面尺寸大这一状态下操作了左按钮23时，图像信号生成单元15放大左侧的主显示区51的画面尺寸并缩小右侧的副显示区52的画面尺寸。结果，如图3所示，出现了主显示区51的画面尺寸与副显示区52的画面尺寸相等这一状态。

当进一步操作了左按钮22时，图像信号生成单元15进一步放大左侧的主显示区51的画面尺寸并进一步缩小右侧的副显示区52的画面尺寸。结果，如图5所示，主显示区51的画面尺寸变得大于副显示区52的画面尺寸。在操作左按钮22期间，进行上述操作直到主显示区51的画面尺寸变得最大(即，副显示区52的画面尺寸变得最小)为止。结果，通过调整左按钮22的操作时间，用户可将主显示区51的画面尺寸改变为任意尺寸。

在步骤S3的处理之后，在步骤S5中，声音合成单元18沿着协作特性来调整声音。具体地，如图4所示，当主显示区51的画面尺寸最小而副显示区52的画面尺寸最大时，音量定位计算单元17计算声音Lv2和Rv2的声音信号的相位，以使得此时为最大的副显示区52的画面的图像V2的声音Lv2和Rv2被定位于通过显示表面16A的中央的线LNc(如图3所示，当主显示区51的画面尺寸与副显示区52的画面尺寸相等时，该线距两个画面距离相等)上的位置Pv2。基于该计算值，声音合成单元18对从位于显示表面16A的左端的声音输出单元19L输出的声音Lv2的声音信号的相位和从右侧的声音输出单元19R输出的声音Rv2的声音信号的相位进行控制。

然后，音量定位计算单元17计算用于将变得最小的主显示区51的画面的图像V1的声音定位于最左端位置Pv1的相位，且声音合成单元18基于该计算值对从左侧的声音输出单元19L输出的声音Lv1的声音信号的相位和从右侧的声音输出单元19R输出的声音Rv1的声音信号的相位进行控制。

此外，音量定位计算单元17计算从左侧的声音输出单元19L输出的声音Lv2和从右侧的声音输出单元19R输出的声音Rv2的声音信号电平，以使得变得最大的副显示区52的画面的图像V2的声音的音量大于变得最小的主显示区51的画面的图像V1的声音的音量。声音合成单元18基于该计算值来控制声音信号的电平。变得最小的主显示区51的画面的图像V1的声音也可基本上设为静音状态的电平。

在左侧的主显示区51的画面尺寸变大并且如图3所示那样变得与副显示区52的画面尺寸相等这一状态下，声音合成单元18基于音量定位计算单元17的计算结果对从左侧的声音输出单元19L输出的声音Lv1的相位和从右侧的声音输出单元19R输出的声音Rv1的相位进行控制，以使得主显示区51的画面的图像V1的声音被定位的位置Pv1变成从线LNc向左(朝主显示区51的画面的方向)移位的位置。

而且，声音合成单元18基于音量定位计算单元17的计算结果对从左侧的声音输出单元19L输出的声音Lv2的相位和从右侧的声音输出单元19R输出的声音Rv2的相位进行控制，以使得副显示区52的画面的图像V2的声音被定位的位置Pv2变成从线LNc向右(朝副显示区52的画面的方向)移位的位置。

然后，声音合成单元18基于音量定位计算单元17的计算结果对从左侧的声音输出单元19L输出的声音Lv1和Lv2以及从右侧的声音输出单元19R输出的声音Rv1和Rv2的声音信号电平进行控制，以使得主显示区51的画面的图像V1的声音的音量与副显示区52的画面的图像V2的声音的音量相等。然而，该音量成为比图4的最大副显示区52的画面的图像V2的声音的音量小的值。

因而，在线LNc附近的位置，用户通过将注意力集中于主显示区51的画面的图像V1的声音和副显示区52的画面的图像V2的声音这二者中的一个、或者通过仅略微地向左或向右倾斜身体而不进行特别的操作，可迅速地确认二者。而且，由于用户可以立体声方式收听声音，因而可感到真实地欣赏声音。

此外，在左侧的主显示区51的画面尺寸变大并且如图5所示那样主显示区51的画面尺寸变得最大且副显示区52的画面尺寸变得最小这一状态下，声音合成单元18对从左侧的声音输出单元19L输出的声音Lv1的相位和从右侧的声音输出单元19R输出的声音Rv1的相位进行控制，以使得此时为最大的主显示区51的画面的图像V1的声音被定位于线LNc上的位置Pv1。

然后，对从左侧的声音输出单元19L输出的声音Lv2的相位和从右侧的声音输出单元19R输出的声音Rv2的相位进行控制，以使得副显示区52的画面的图像V2的声音被定位于最右端的位置Pv2。

此外，声音合成单元18对从左侧的声音输出单元19L输出的声音Lv1和从右侧的声音输出单元19R输出的声音Rv1的声音信号电平进行控制，以使得主显示区51的画面的图像V1的声音的音量变得大于变得最小的副显示区52的画面的图像V2的声音的音量。变得最小的副显示区52的画面的图像V2的声音也可基本上设为静音状态的电平。

图4的位置Pv2处的音量与图5的位置Pv1处的音量相等，并且图4的位置Pv1处的音量与图5的位置Pv2处的音量相等。

图6示出了对应于两个画面的协作缩放而改变声音被定位的位置这一状态。当左侧的主显示区51的尺寸变大时，相应的声音被定位的位置沿着协作特性线LNv1以箭头A的方向改变，即，按位置Pv11、位置Pv12和位置Pv13的顺序改变。当右侧的副显示区52的尺寸与该改变协作而变小时，相应的声音被定位的位置沿着协作特性线LNv2以箭头B的方向改变，即，按位置Pv21、位置Pv22和位置Pv23的顺序改变。

顺带地说，当左侧的主显示区51的定位位置是Pv11时，对应的右侧的副显示区52的定位位置是Pv21。当左侧的主显示区51的定位位置是Pv12时，对应的右侧的副显示区52的定位位置是Pv22。当左侧的主显示区51的定位位置是Pv13时，对应的右侧的副显示区52的定位位置是Pv23。变大的画面的声音的音量变大，且其定位位置变得靠近线LNc。

声音合成单元18基于音量定位计算单元17的计算值对左和右的相应声音Rv11、Lv11、Lv12、Rv12、Lv13、Rv13、Lv21、Rv21、Lv22、Rv22、Lv23和Rv23的相位和电平(直接对声音信号的相位和电平)进行控制，从而调整定位位置和音量。

在步骤S2中，当判定未指示放大左画面的协作缩放时(即，当判定指示了放大右画面的协作缩放时)，进行与步骤S3相反方向的处理。

即，在步骤S4中，图像信号生成单元15进行放大右画面并与之协作地缩小左画面的处理。如图5所示，当在副显示区52的画面尺寸小而主显示区51的画面尺寸大这一状态下操作右按钮23时，图像信号生成单元15放大右侧的副显示区52的画面尺寸并缩小左侧的主显示区51的画面尺寸。结果，如图3所示，出现了副显示区52的画面尺寸与主显示区51的画面尺寸相等这一状态。

当进一步操作右按钮23时，图像信号生成单元15进一步放大右侧的副显示区52的画面尺寸并进一步缩小左侧的主显示区51的画面尺寸。结果，如图4所示，副显示区52的画面尺寸变得大于主显示区51的画面尺寸。在操作右按钮23期间，进行上述操作直到副显示区52的画面尺寸变得最大(直到主显示区51的画面尺寸变得最小)为止。结果，通过调整右按钮23的操作时间，用户可将副显示区52的画面尺寸改变为任意尺寸。

在步骤S4的处理后，在步骤S5中，声音合成单元18沿着协作特性来调整声音。这种情形下的处理与在步骤S3的处理后进行的处理基本上相同。

然而，在这种情形下，由于右侧的副显示区52的画面尺寸被放大，因而在图6中，相应的声音被定位的位置沿着特性线LNv2以箭头C的方向改变，即，按位置Pv23、位置Pv22和位置Pv21的顺序改变。当左侧的主显示区51的尺寸与该改变协作而变小时，相应的声音被定位的位置沿着特性线LNv1以箭头D的方向改变，即，按位置Pv13、位置Pv12和位置Pv11的顺序改变。

在步骤S5的处理之后，在步骤S6中，控制单元12判断是否指示了结束。当未指示结束时，处理返回步骤S2，并重复其后的处理。当指示了结束时，结束处理。

如上所述，当操作左按钮22和右按钮23二者之一时，不仅左画面和右画面二者之一被缩放，而且另一个与之协作地被缩放。因而，用户不仅能同时且并行地欣赏分别显示在两个画面上的两个内容，而且用户还能按需要通过简单的操作在任意时刻有选择地欣赏一个内容。

而且，两个内容的声音被定位于不同的位置。因而，与以单声道方式输出两个声音的情形相比，用户可容易且迅速地识别作为内容的内容的声音。此外，由于两个声音都是立体声，因而用户可在有真实感的状态下观看和收听两个内容。

此外，还根据画面协作缩放来协作地控制声音的音量和定位。因而，与画面尺寸的缩放的操作和声音控制的操作是独立的操作这一情形相比，可操作性得以改进。

与画面的缩放协作地调整声音，以使得变大的画面的音量变大，且其定位变得靠近中线LNc。因而，在同时观看和收听的两个内容之间，用户可容易、迅速且有选择地观看和收听较引人注意的一个内容。

当其中一个画面变得最大时，该最大画面的声音被定位于中央。结果，用户仅通过适当地调整两个画面的缩放即可贯注于两个内容之一并且可容易地观看和收听该内容。

在第一实施例中，在两个画面中的每个画面上显示每个不同的图像(当然，图像也可以是相同的)。在第二实施例中，对两个画面中的副显示区52的画面进行划分，并在每个划分的区域中显示一个图像，从而在一个副显示区52的画面上显示多个图像。在两个画面中的另一个主显示区51中显示从划分的区域中选择的一个图像。

在第二实施例中，如图7所示那样进行图像协作缩放处理。该处理与图2的步骤S1至S4以及S6的处理相同，并且当指示图像显示时开始。

在步骤S51中，控制单元12产生默认显示。在本实施例中，如图8所示，默认状态是左侧的主显示区51与右侧的副显示区52以相等尺寸显示这一状态。

副显示区52划分成九个区域，并且由内容获取单元13同时接收到的或由记录单元14再现的九个信道的图像信号是副显示区52的各划分区域的图像信号。图像信号生成单元15对这九个图像信号进行缩放，以使得可显示九个动画缩略图像(在图8中用V1至V9表示)。

在主显示区51中显示从显示在副显示区52的九个划分区域中的九个缩略图像中选择并确定的区域的图像。在默认状态下，如图8所示，副显示区52的左上区域被光标71选择并确定，并且与该区域的图像V1相同的图像V1显示在主显示区51中。刚好在图像处理设备1被断电之前选择的区域的图像可显示在主显示区51中。

当用户操作移动按钮24时，图像信号生成单元15以该操作方向移动光标71。当用户操作确定按钮25时，图像信号生成单元15确定此时被光标71选择的副显示区52的区域的图像信号的选择，并将其作为主显示区51的图像而显示。

按上面所述的方式，用户在观看和收听主显示区51的内容的同时，可同时且并行地确认显示在副显示区52中的九个内容。由此，与在显示表面16A上仅显示一个画面并且通过切换显示在该画面上的图像来进行换台的情形相比，可不漏看此时关注的内容的内容而确认其它内容。

此外，通过由光标71按需要选择九个内容中的一个内容，可基于声音更详细地确认所选择的内容的内容。顺带地说，将在后面参照图11说明这一点。

当发出指令时，在步骤S52中，控制单元12判断是否指示了放大左画面的协作缩放。当指示了放大左画面的协作缩放时(当由操作信号获取单元11获取了左按钮22的操作信号时)，在步骤S53中，进行放大左画面并与之协作地缩小右画面的处理。

例如，如图9所示，当在主显示区51的画面尺寸小而副显示区52的画面尺寸大这一状态下操作左按钮22时，图像信号生成单元15放大左侧的主显示区51的画面尺寸并缩小右侧的副显示区52的画面尺寸。结果，如图8所示，逐渐地出现了主显示区51的画面尺寸与副显示区52的画面尺寸相等这一状态。

当进一步操作左按钮22时，图像信号生成单元15进一步放大左侧的主显示区51的画面尺寸并进一步缩小右侧的副显示区52的画面尺寸。结果，如图10所示，主显示区51的画面尺寸变得大于副显示区52的画面尺寸。在操作左按钮22期间，进行以上操作直到主显示区51的画面尺寸变得最大(直到副显示区52的画面尺寸变得最小)为止。结果，通过调整左按钮22的操作时间，用户可将主显示区51的画面尺寸改变为任意尺寸。

在步骤S52中，当判定未指示放大左画面的协作缩放时(当判定指示了放大右画面的协作缩放时)，在步骤S54中进行与步骤S53相反方向的处理。

即，在步骤S54中，控制单元12进行放大右画面并与之协作地缩小左画面的处理。如图10所示，当在副显示区52的画面小而主显示区51的画面尺寸大这一状态下操作右按钮23时，图像信号生成单元15放大右侧的副显示区52的画面尺寸并缩小左侧的主显示区51的画面尺寸。结果，如图8所示，逐渐地出现了副显示区52的画面尺寸与主显示区51的画面尺寸相等这一状态。

当进一步操作右按钮23时，图像信号生成单元15进一步放大右侧的副显示区52的画面尺寸并进一步缩小左侧的主显示区51的画面尺寸。结果，如图9所示，副显示区52的画面尺寸变得大于主显示区51的画面尺寸。在操作右按钮23期间，进行以上操作直到副显示区52的画面尺寸变得最大(主显示区51的画面尺寸变得最小)为止。结果，通过调整右按钮23的操作时间，用户可将副显示区52的画面尺寸改变为任意尺寸。

在步骤S53和S54的处理之后，在步骤S55中，控制单元12判断是否指示了结束。当未指示结束时，处理返回步骤S52，并重复其后的处理。当指示了结束时，结束处理。

如上所述，根据用户对左按钮22和右按钮23二者之一所作的操作，对主显示区51的画面尺寸和副显示区52的画面尺寸进行协作缩放，这与第一实施例的情形相同。

进一步与上述图7的图像协作缩放处理协作地进行图11的流程图所示的声音协作缩放处理。

在步骤S71中，控制单元12设定默认声音。如上所述，在本实施例的情形下，图8所示的状态是默认状态。在这种情形下，副显示区52的左上区域被光标71选择，并且该左上区域的图像显示在主显示区51的画面上。因此，用户试图观看和收听的图像是图像V1。然后，声音合成单元18基于音量定位计算单元17的计算值对从左侧的声音输出单元19L输出的声音Lv1和从右侧的声音输出单元19R输出的声音Rv1的声音信号的相位进行控制，以使得定位位置变成线LNc上的位置Pv1。

在步骤S72中，控制单元12判断主显示区的画面是否被聚焦。在本实施例的情形下，判定光标71所位于的画面被聚焦。在图8所示的情形下，由于光标71位于副显示区52的左上区域上，因而判定副显示区52而不是主显示区51被聚焦。

在这种情形下，在步骤S74中，控制单元12判断被聚焦在副显示区上的图像是否是被选择作为主显示区图像的图像。在图8所示的情形下，被光标71选择的图像V1以图像V1显示在主显示区51中。然后，在这种情形下，在步骤S73中，声音合成单元18基于音量定位计算单元17的计算值来选择主显示区的图像的声音，并将定位位置设在中央。即，如图8所示，选择主显示区51的图像V1的声音，对相位进行控制以使得声音被定位于线LNc上的位置Pv1，从左侧的声音输出单元19L输出声音Lv1并从右侧的声音输出单元19R输出声音Rv1。

同样地，在图9和图10所示的情形下，副显示区52的左上区域的图像V1被光标71选择，并且以图像V1显示在主显示区51中。因而，同样地，在这些情形下，主显示区51的图像V1的声音Lv1和Rv1被输出为定位于线LNc上的位置Pv1。

如上所述，当由光标71在副显示区52中选择的内容与显示在主显示区51中的内容相同时，用户贯注于所选择的内容(即，显示在主显示区51中的内容)。然后，在这种情形下，仅输出显示在主显示区51中的内容的声音，从而防止向用户提供不必要的声音。

同样地，当在步骤S72中判定被聚焦的画面是主显示区51的画面时，进行步骤S73的处理。因而，例如，如图12所示，在主显示区51与副显示区52的画面尺寸相同并且主显示区51的图像V1被光标71聚焦这一状态下，当主显示区51的画面如图13所示那样缩小时，或者同样地，当主显示区51的画面如图14所示那样放大时，主显示区51的图像V1的声音Lv1和Rv1被输出为定位于线LNc上的位置Pv1。

如上所述，同样地，在主显示区51被光标71选择的情形下，用户贯注于主显示区51的内容。然后，在这种情形下，仅输出显示在主显示区51中的内容的声音，从而防止向用户提供不必要的声音。

在步骤S74中，当判定被聚焦在副显示区52中的图像不是被选择作为主显示区51的图像的图像时，在步骤S75中，声音合成单元18沿着协作特性来调整声音。即，进行与图2的步骤S5类似的处理。

例如，在图15所示的情形下，其中显示了图像V5的中央区域被光标71聚焦在副显示区52中，而其中显示了显示在主显示区51中的图像V1的左上区域未被聚焦。在图15的情形下，主显示区51的画面最小而副显示区52的画面最大，因此，选择了副显示区52的被聚焦区域、即光标实际位于的区域的图像V5的声音。对相位进行控制，以使得来自左侧的声音输出单元19L的声音Lv5和来自右侧的声音输出单元19R的声音Rv5被定位于线LNc上。图像V1的声音基本上为静音而不输出。

当从图15的状态放大左侧的主显示区51的画面并如图16所示那样使该画面与副显示区52的画面尺寸相同时，对主显示区51的画面的图像V1的声音Lv1和Rv1的相位进行控制，以使得声音相对于线LNc被定位于主显示区51侧的位置Pv1。类似地，对副显示区52的画面的图像V5的声音Lv5和Rv5的相位进行控制，以使得声音相对于线LNc被定位于副显示区52侧的位置Pv5。

当从图16的状态进一步放大左侧的主显示区51的画面并如图17所示那样使该画面具有最大尺寸时，对主显示区51的画面的图像V1的声音Lv1和Rv1的相位进行控制，以使得声音被定位于线LNc上的位置Pv1。图像V5的声音基本上为静音而不输出。

当与主显示区51的画面的内容不同的区域的内容的图像被聚焦在副显示区52中时，可以设想，用户正在搜寻要在副显示区52中看见的内容。然后，在这种情形下，与图6所示的情形类似，沿着协作特性线LNv1和LNv2调整声音。即，与在图2至图6所示的第一实施例的副显示区52中显示由光标71选择的内容这一情形类似地调整声音。

由此，同样地，在步骤S75的处理中，可获得与第一实施例的情形类似的效果。

即，当操作左按钮22和右按钮23二者之一时，不仅左画面和右画面二者之一被缩放，而且另一个与之协作地被缩放。因而，在确认显示在主显示区51的内容的同时，用户可容易地并行地从副显示区52的画面中搜寻任意内容。

而且，两个内容的声音被分别定位于不同的位置。因而，与以单声道方式输出两个声音的情形相比，用户可容易且迅速地识别作为内容的内容的声音。此外，由于两个声音都是立体声，因而用户可在有真实感的状态下、并因此更具体地搜索任意内容。

此外，还根据画面的协作缩放来协作地控制声音的音量和定位。因而，与画面尺寸的缩放操作与声音的控制操作彼此独立这一情形相比，可操作性得以改进。

与画面的缩放协作地调整声音，以使得变大的画面的音量变大并且被定位于更靠近中线LNc的位置。因而，用户可容易、迅速且有选择地观看和收听同时搜索的内容的内容。

当其中一个画面变得最大时，该最大画面的声音被定位于中央。结果，用户仅通过适当地调整两个画面的缩放即可贯注于两个内容之一并且可容易地观看和收听该内容。

图18至图20示出了在画面上显示声音被定位的位置和音量这样的第三实施例的显示实例。如这些图所示，在主显示区51和副显示区52的画面上，由移动部分92和102在条91和101上表示各显示图像的声音被定位的位置。移动部分92和102在条91和101上的位置是根据主显示区51和副显示区52的画面声音被定位的位置而移动的。图像信号生成单元15根据由音量定位计算单元17计算出的音量的值和定位位置来控制这些显示。

在图18中，由于主显示区51的画面的图像V1的声音被定位于左端的位置Pv1，因而移动部分92显示在条91的左端。由于副显示区52的画面的图像V2的声音被定位于线LNc上的位置PV2，因而移动部分102显示在条101的中央，条101表示副显示区52的声音被定位的位置。

在图19中，由于主显示区51的画面的图像V1的声音被定位于比左端更靠近中央并且在线LNc的左侧的位置Pv1，因而移动部分92显示在条91的左端和中央之间。由于副显示区52的画面的图像V2的声音被定位于比右端更靠近中央并且在线LNc的右侧的位置Pv2，因而移动部分102显示在条101的右端和中央之间。

在图20中，由于主显示区51的画面的图像V1的声音被定位于线LNc上的位置PV1，因而移动部分92显示在条91的中央，条91表示主显示区51的画面的声音被定位的位置。由于副显示区52的画面的图像V2的声音被定位于右端的位置Pv2，因而移动部分102显示在条101的右端。

此外，在图18至图20中，在主显示区51中显示条93，条93表示画面的声音的音量。在条93中，对应声音的音量由点亮的块的数目表示。类似地，在副显示区52中显示条103，条103表示画面的声音的音量。同样地，在条103中，对应声音的音量由点亮的块的数目表示。

如上所述，在图18至图20的实例中，由于显示了声音被定位的位置和音量，因而用户可确切地识别定位位置和音量。

尽管未示出，但在图8至图10以及图12至图17所示的情形下，可类似地显示声音被定位的位置和音量。

顺带地说，在上面，尽管画面数目是两个，但本发明也可应用于画面数目为3个或更多的情形。

而且，尽管多个画面显示在一个显示表面16A上，但本发明也可应用于如下情形：分别显示各画面的各单独的显示单元共同地并排布置在左和右方向上，并且声音输出单元19L和19R设置在该多个显示单元的左和右端。

前述的一系列处理可由硬件执行，或者也可由软件执行。当一系列处理由软件执行时，将构成该软件的程序组装在计算机的专用硬件中，或者将构成该软件的程序从程序记录介质安装到可通过安装各种程序来执行各种功能的通用个人计算机中。

对安装在计算机中并由计算机置于可执行状态的程序进行存储的程序记录介质是：作为封装介质的可移动介质如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)、DVD(数字通用盘)或磁光盘)或半导体存储器、或暂时或永久地存储程序的ROM、或硬盘。将程序存储在程序存储介质中是按需要通过路由器或调制解调器等接口、使用局域网、因特网或数字卫星广播这样的有线或无线通信媒介来进行的。

顺带地说，在本说明书中，描述程序的步骤包括沿着所记述的顺序按时间序列进行的处理，并且还包括不必按时间序列进行而是并行地或单独地进行的处理。

而且，本发明的诸实施例不限于前述实施例，而是可以在不脱离本发明的要旨的范围内作出各种修改。

Claims (8)

1.一种图像处理设备，包括：

生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及

合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述多个声音信号的声音被定位的位置彼此不同，

其中，在所述多个画面中的第一画面显示与从显示在所述多个画面中的第二画面上的多个缩略图像中选择的缩略图像对应的图像这一情形下：

当与所述第一画面的图像对应的所述缩略图像被聚焦在所述第二画面上时，基于与所述第一画面对应的第一声音信号的声音被定位于距所述第一画面和所述第二画面等距离的线上；

当与所述第一画面的图像不同的所述缩略图像被聚焦在所述第二画面上时，根据所述第一画面和所述第二画面的协作缩放来改变所述定位的位置；

而当所述第一画面的图像被聚焦时，基于与所述第一画面对应的所述第一声音信号的所述声音被定位于所述线上。

2.根据权利要求1所述的图像处理设备，其中，当所述第一画面和所述第二画面以相等尺寸显示时，基于与所述第一画面对应的所述第一声音信号的所述声音被定位的第一位置和基于与所述第二画面对应的第二声音信号的声音被定位的第二位置以所述线为基准、朝所述第一画面的方向和朝所述第二画面的方向分别移位。

3.根据权利要求2所述的图像处理设备，其中根据所述第一画面和所述第二画面的协作缩放来改变所述定位的位置。

4.根据权利要求3所述的图像处理设备，其中，当所述第一画面和所述第二画面的尺寸不同时，较大的一个所述画面的声音被定位于距所述线较近的位置。

5.根据权利要求4所述的图像处理设备，其中，当所述第一画面和所述第二画面二者之一的尺寸变得最大时，最大所述画面的声音被定位于所述线上。

6.根据权利要求3所述的图像处理设备，其中，显示所述第一画面和所述第二画面二者的所述声音被定位的位置。

7.根据权利要求3所述的图像处理设备，其中，显示所述第一画面和所述第二画面二者的所述声音的音量。

8.一种图像处理设备的图像处理方法，所述方法包括以下步骤：

生成用于在多个画面中的每个画面上显示内容的图像信号；以及

合成与多个所述图像信号对应的多个声音信号，以使得基于所述多个声音信号的声音被定位的位置彼此不同，

其中，在所述多个画面中的第一画面显示与从显示在所述多个画面中的第二画面上的多个缩略图像中选择的缩略图像对应的图像这一情形下：

当与所述第一画面的图像对应的所述缩略图像被聚焦在所述第二画面上时，基于与所述第一画面对应的第一声音信号的声音被定位于距所述第一画面和所述第二画面等距离的线上；

当与所述第一画面的图像不同的所述缩略图像被聚焦在所述第二画面上时，根据所述第一画面和所述第二画面的协作缩放来改变所述定位的位置；

而当所述第一画面的图像被聚焦时，基于与所述第一画面对应的所述第一声音信号的所述声音被定位于所述线上。

Images