CN101106708B - 发送设备及方法 - Google Patents
发送设备及方法 Download PDFInfo
- Publication number
- CN101106708B CN101106708B CN 200710142655 CN200710142655A CN101106708B CN 101106708 B CN101106708 B CN 101106708B CN 200710142655 CN200710142655 CN 200710142655 CN 200710142655 A CN200710142655 A CN 200710142655A CN 101106708 B CN101106708 B CN 101106708B
- Authority
- CN
- China
- Prior art keywords
- data
- click
- image
- consideration
- transmitting apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
在发送方,背景图像和对象#1至#3每个以传送速率R/4发送。在接收方,以特定的空间分辨率和特定的时间分辨率显示由对象#1至#3和背景图像组成的图像。在此情况下,接收方在特定时间t1拖动对象#1时,在发送方(如图所示)则停止对背景图像和对象#2和#3的传送。此时以传送路径的传送速率R仅发送对象#1。从而,以图像的时间分辨率为代价,显示改善了拖动对象#1的空间分辨率的图像。
Description
本案是申请日为2000年8月9日、申请号为00802048.5、发明名称为“发送、接收及发送和接收的设备及方法、记录介质和信号”的发明专利申请的分案申请。
技术领域
本发明涉及发送设备,发送方法,接收设备,接收方法,发送和接收设备,发送和接收方法,记录介质,和信号。特别是,本发明涉及允许例如按有限发送速率(具有一个有限发送带宽)发送图像数据和允许显示具有高空间分辨率的图像的一种发送设备,一种发送方法,一种接收设备,一种接收方法,一种发送和接收设备,一种发送和接收方法,一种记录介质,和一种信号。
背景技术
例如,一个相关参考文件,日本专利待审公开平10-112856公开了一种图像发送设备。在该图像发送设备中,发送方发送图像的一个特定区域的图像数据,该图像其它区域的图像数据相应于接收方发出的命令用不同信息量发送。接收方显示处在含有一个较高空间分辨率(空间方向的分辨率)的指定点的区域中的图像,和显示处在一个较低空间分辨率的其他区域中的图像。
换句话说,当发送方经一个发送路径向接收方发送图像数据时,发送方不能以高于该发送路径的数据速率发送图像。因而,当接收方在实际的时基上显示一个数据时,发送方将以对应于发送路径的发送速率向接收方发送图像数据。因此,如果发送速率不足够时,那么在接收方显示的图像的空间方向上的空间分辨率则完全恶化。
为了解决这一问题,在日本专利待审公开平10-112856的图像发送设备中,图像的一个区域中的图像数据和该图像的其它区域中的图像数据以不同信息量发送。含有一个指定点的该区域中的图像和其它区域中的图像在接收方分别以高空间分辨率和低空间分辨率显示。
换句话说,在日本待审公开平10-112856的图像发送设备中,用户要仔细观看的一个部分的空间分辨率的改善是以其它部分的空间分辨率(降低)为代价的。
另一方面,在日本专利待审公开平10-112856的图像发送设备中,由于用户要仔细观看的部分空间分辨率的改善是以其它部分的空间分辨率为代价的,所以用户要仔细观看的部分空间分辨率仅以牺牲的空间分辨率为代价得到改善。
此外,发送路径的发送速率非常低时,如果用户要仔细观看部分的空间分辨率的改善以其它部分的空间分辨的牺牲为代价,那么其它部分的空间分辨率则严重恶化。在最坏的情况下,用户不能清楚地观看其它部分。
本发明是基于上述观点做出的。本发明的目的是允许图像的空间分辨率相应于用户的偏爱得到更好的改善。
发明概述
本发明的第一发送设备是向接收设备发送数据的发送设备,包括:接收装置,用于接收从接收设备发送的控制信息;控制装置,相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电平(level)方向中的至少两个方向的分辨率;和发送装置,向接收设备发送相应于控制信息已经控制至少两个方向中的分辨率的数据。
本发明的接收设备是接收从发送设备发送的数据的接收设备,包括:发送装置,用于向发送设备发送控制信息,以便相应于控制信息控制数据的时间方向、空间方向和电平方向的至少两个方向上的分辨率;接收装置,用于接收发送设备发送的数据,该数据的分辨率在数据的至少两个方向已经得到控制;和输出装置,输出由接收装置接收的数据。
本发明的发送和接收设备是具有用于发送数据的发送设备和用于接收数据的接收设备的发送和接收设备,其中发送设备包括:控制信息接收装置,用于接收从接收设备发送的控制信息;控制装置,用于相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电平方向的至少两个方向上的分辨率;和数据发送装置,用于向接收设备发送已经相应于控制信息控制至少两个方向的分辨率的数据;以及其中接收设备包括:控制信息发送装置,用于发送控制信息;数据接收装置,用于接收从发送设备发送的数据,该数据的分辨率在数据的至少两个方向上被控制;和输出装置,用于输出由数据接收装置接收的数据。
本发明的第二发送设备是向接收设备发送数据的发送设备,包括:接收装置,用于接收从接收设备发送的控制信息;归类装置,相应于控制信息对数据归类;和发送装置,相应于数据的归类结果向接收设备发送数据。
本发明的第一发送方法是向接收设备发送数据的发送方法,包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备。
本发明的接收方法是一个接收从发送设备发送的数据的接收方法,包括以下步骤:向发送设备发送控制信息,以便相应于控制信息控制数据的时间方向、空间方向和电平方向的至少两个方向上的分辨率;接收发送设备发送的数据,该数据的分辨率至少在数据的两个方向上被控制;和输出在接收步骤上接收的数据。
本发明的发送和接收方法是具有发送数据的发送设备的处理和接收数据的接收设备的处理的发送和接收方法,其中发送设备的处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备;其中接收设备的处理包括以下步骤:发送控制信息;接收从发送设备发送的数据,该数据的分辨率至少在数据的两个方向上被控制;并输出在数据接收步骤中接收的数据。
本发明的第二发送方法是向接收设备发送数据的发送方法,包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息对数据归类;和相应于数据的归类结果向接收设备发送数据。
本发明的第一记录介质是一种记录程序的记录介质,该程序使计算机执行向接收设备发送数据的发送处理,该发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备。
本发明的第二记录介质是一种记录程序的记录介质,该程序使计算机执行接收从发送设备发送的数据的接收处理,该接收处理包括以下步骤:向发送设备发送控制信息,以便相应于控制信息控制数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;接收从发送设备发送的数据,该数据的分辨率至少在数据的两个方向上已经被控制;和输出在接收步骤中接收的数据。
本发明的第三记录介质是一种记录程序的记录介质,该程序致使计算机执行发送数据的发送设备的发送处理和接收数据的接收设备的接收处理,其中发送设备的发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备;其中接收设备的接收处理包括以下步骤:发送控制信息;接收从发送设备发送的数据,该数据的分辨率至少在数据的两个方向上已经被控制;并输出在数据接收步骤上接收的数据。
本发明的第四记录介质是一种记录程序的记录介质,该程序使计算机执行向接收设备发送数据的发送处理,该发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息归类数据;和相应于数据的归类结果向接收设备发送数据。
本发明的第一信号是一种包含程序的信号,该程序致使计算机执行向接收设备发送数据的发送处理,该发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备。
本发明的第二信号是一种包含程序的信号,该程序致使计算机执行接收从发送设备发送的数据的接收处理,该接收处理包括以下步骤:向发送设备发送控制信息,以便相应于控制信息控制数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;接收从发送设备发送的数据,该数据的分辨率至少在数据的两个方向上已经被控制;和输出在接收步骤中接收的数据。
本发明的第三信号是一种包含程序的信号,该程序致使计算机执行发送数据的发送设备的发送处理和接收数据的接收设备的接收处理,其中发送设备的发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息控制发送给接收设备的数据在时间方向、空间方向和电平方向的至少两个方向上的分辨率;和把已经相应于控制信息控制至少两个方向的分辨率的数据发送给接收设备;其中接收设备的接收处理包括以下步骤:发送控制信息;接收从发送设备发送的数据,该数据的分辨率至少在数据的两个方向上被控制;和输出在数据接收步骤上接收的数据。
本发明的第四信号是一种包含程序的信号,该程序致使计算机执行向接收设备发送数据的发送处理,该发送处理包括以下步骤:接收从接收设备发送的控制信息;相应于控制信息归类数据;和相应于数据的归类结果向接收设备发送数据。
根据本发明的第一发送设备、第一发送方法、第一记录介质和第一信号,接收从一个接收设备发送的控制信息。相应于该控制信息,控制时间方向、空间方向和电平方向中的至少两个方向上的分辨率。把相应于该控制信息控制至少两个方向分辨率的数据发送给接收设备。
根据本发明的接收设备、接收方法、第二记录介质和第二信号,向发送设备发送控制信息,该发送设备相应于该控制信息控制时间方向、空间方向和电平方向的至少两个方向上的分辨率。此外,相应于该控制信息已经控制的至少两个方向上的分辨率的数据自发送设备发送,接收和输出。
根据本发明的发送和接收设备、发送和接收方法、第三记录介质和第三信号,发送设备接收自接收设备发送的控制信息。相应于该控制信息,控制时间方向、空间方向和电平方向的至少两个方向上的分辨率备。相应于该控制信息已经控制的至少两个方向上的分辨率的数据备传送给接收设备,此外,接收设备向发送设备发送控制信息。相应于该控制信息控制的至少两个方向上的分辨率的数据自发送设备发送,接收和输出。
根据本发明的第二发送设备、第二发送方法、第四记录介质和第四信号,接收自一个接收设备发送的控制信号,相应于该控制信息,归类数据。相应于该数据的归类结果,向该接收设备发送数据。
附图的简单说明
图1是显示本发明的实施例的发送系统的结构实例的示意图;
图2是显示图1所示的发送系统的第一结构的实例的详细示意图;
图3是显示图1所示的发送设备(终端单元)1的结构实例的方框图;
图4是解释图3所示的发送设备的处理的流程图;
图5是显示图1所示的接收设备(终端单元)2的结构实例的方框图;
图6解释图5所示的接收设备2的处理的流程图;
图7是显示图3所示的发送处理部分16的结构实例的方框图;
图8是显示图7所示的编码部分31的结构实例的方框图;
图9A、9B和9C是解释分层编码/解码的示意图;
图10是解释图7所示的发送处理部分16的发送处理流程图;
图11是显示图5所示的接收处理部分21的结构实例的方框图;
图12是图11所示的解码部分53的结构实例的方框图;
图13是显示图5所示的组合处理部分22的结构实例的方框图;
图14是解释图13所示组合处理部分22的组合处理的流程图;
图15A、15B和15C是显示图5所示的图像输出部分23的图像显示实例的示意图;
图16A和16B解释图1所示的从发送设备1向接收设备2发送的图像的空间分辨率与时间分辨率之间关系的示意图;
图17是显示图3所示的对象提取部分14的结构实例的方框图;
图18A和18B是解释图17所示的开始区域划分部分83的处理示意图;
图19A、19B、19C和19D是解释图17所示的区域拼接部分84的处理的示意图;
图20是图17所示的拼接区域处理部分85和分离区域处理部分86的处理的示意图;
图21是解释图17所示的对象提取部分4的对象提取处理的流程图;
图22是解释图21所示的步骤S43上的区域拼接处理细节的流程图;
图23是图21所示的步骤S44上的拼接区域处理的细节的流程图;
图24是解释图21所示的步骤S44上的分离区域处理细节的流程图;
图25是显示图7所示的控制部分35的结构实例的方框图;
图26是解释对象的特征量(feature amount)的示意图;
图27是解释图25所示的控制部分35的处理细节的流程图;
图28是显示图1所示的发送系统的第二结构的实例的详细示意图;
图29是显示图28所示的发送设备1的结构实例的方框图;
图30是解释图29所示的发送设备1的处理的流程图;
图31是显示图28所示的接收设备2的结构实例的方框图;
图32是解释图31所示的接收设备2的处理的流程图;
图33是显示图29所示的发送处理部分1016的结构实例的方框图;
图34是解释图33所示的发送处理部分1016的发送处理的流程图;
图35是显示图31所示的组合处理部分的结构实例的方框图;
图36是解释的图35所示的组合处理部分的组合处理的流程图;
图37是显示图29所示的对象提取部分1014的实际结构示意图;
图38是解释活动对象图像或静止对象图像的提取处理的流程图;
图39是解释静止区域或活动区域确定处理的流程图;
图40A、40B、40C、40D和40E是解释帧差(帧间差值)的计算方法的示意图;
图41是解释连续点击确定处理的流程图;
图42A、42B、42C、42D、42E和42F是解释对象号分配方法的示意图;
图43是解释静止对象组合处理的流程图;
图44是解释活动对象组合处理的流程图;
图45是解释对象提取处理的流程图;
图46A、46B、46C、46D和46E是解释对象提取方法的示意图;
图47是显示图31所示的组合处理部分1022的另一个结构实例的方框图;
图48是显示图28所示的发送设备1的另一个结构实例的方框图;
图49是显示图48所示的变化确定和归类部分240的结构实例的方框图;
图50A和50B是解释变化确定和归类部分240的兴趣对象区域变化处理和兴趣对象区域归类处理的流程图;
图51是解释兴趣变化确定处理的流程图;
图52是图1所示的发送系统的第三结构的详细实例的示意图;
图53是显示图52所示的收费服务器4的结构实例的方框图;
图54是解释图53所示的收费服务器4的处理的流程图;
图55是显示本发明的实施例的计算机的结构实例的方框图。
实施发明的最好形式
图1示出了根据本发明的实施例的图像发送系统的结构(该系统是作为多个装置的逻辑组合的一个实体,而且与每个装置是否设置在一个机架中无关)。
发送装置由至少两个终端单元1和2组成。就终端单元1和2的关系而言,一个是发送设备,另一个是接收设备。图像(图像数据)从发送设备经传送路径3发送给接收设备。
根据本发明的实施例,例如,假定终端单元1是发送设备,而终端设备2是接收设备,并且假定图像数据在它们之间发送和接收。在下文中,终端单元1或2可以被分别称作发送设备1或接收设备2。
在该情况下,发送设备1经传送路径3向接收设备2发送图像数据。接收设备2接收来自发送设备1的图像数据。下面将要说明图像数据在图像输出部分23(参见图5)上的显示。图像输出部分23例如由液晶显示器或CRT(阴极射线管)组成。此外,接收部分2经传送路径3向发送设备1发送控制信息,该控制信息控制图像输出部分23所显示的图像空间方向的空间分辨率和时间方向的时间分辨率。
发送设备1接收来自接收设备2的控制信息,并相应于该控制信息控制图像数据的传送,使接收设备2所显示的图像的空间分辨率和时间分辨率在满足预定条件时变化。
就发送设备1和接收设备2来说,可以使用诸如PHS(个人手持电话系统)(商标)单元的终端单元和诸如便携电话单元的便携式终端单元。当使用PHS单元时,传送路径3具有1895.1500至1905.9500Mhz的频带,其传送速率为128Kbps(每秒比特)。
图2示出了图1所示的图像发送系统的第一结构的实例;在此,诸如PHS单元和便携式电话单元的便携式终端单元被用作图1所示的发送设备1和接收设备2。
根据图2所示的实施例,图1所示的传送路径3由无线基站3-1或3-2和交换站3-3组成。该交换站3-3是(例如)连接无线基站3-1和3-2的电话站。无线基站3-1或3-2向/从终端单元1或2发送和接收一个无线信号。在终端单元1与2之间,其每一个可以经过由无线基站3-1和3-2、收费服务器4等组成的传送路径3向另一个发送信号,并从另一个终端接收信号。基站3-1的类型可以基站3-2的类型相同或者不相同。
参见图2,终端单元1包括摄像机部分1-1、显示器部分1-2、按键部分1-3、扬声器部分1-4和麦克风1-5。摄影机部分1-1具有可以摄取活动图像的图像拾取装置和光系统。显示部分1-2可以显示字符、符号、图像等。在输入电话号码、字符、命令等时操作按键部分1-3。扬声器1-4输出声音。麦克风1-5输入声音。同样,终端单元2包括摄影机部分2-1、显示部分2-2、按键部分2-3、扬声器2-4和麦克风2-5,它们分别具有与摄影机部分1-1、显示部分1-2、按键部分1-3、扬声器1-4和麦克风1-5相同的结构。
麦克风1-5和1-6采集的语音信号在终端单元1和2之间发送和接收。此外,可以发送和接收由摄像机部分1-1和2-1摄取的图像数据。因此,终端单元1的显示部分1-2可以显示由终端单元2的摄影机部分2-1获取的图像数据。同样,终端单元2的显示部分2-2可以显示由终端单元1的摄影机部分1-1获取的图像数据。
换句话说,发送设备1的摄像机部分1-1所摄取的图像数据以及诸如帧速率的所需信息经过有基站部分3-1和3-2以及交换站3-3组成的传送路径3发送给接收设备2。接收部分2在由例如液晶显示器组成的显示部分2-1上显示接收的图像数据(相对应的图像)。另一方面,接收设备2经传送路径3向发送设备1发送用于控制在显示部分2-1上显示的图像的空间分辨率和时间分辨率的控制信息。发送设备1接收来自接收设备2的控制信息并相应于控制信息控制图像数据的传送,使接收设备2所显示的图像的空间分辨率和时间分辨率在满足预定条件时变化。
下面图3示出了图2所示的发送设备1的结构的实例。
图像输入部分11相当于图2所示的摄像机部分1-1。图像输入部分11摄取一个特定的对象,并把它的图像输送给预处理部分12。预处理部分12由背景图像提取部分13、对象提取部分14和附加信息计算部分15组成。预处理部分12执行从图像输入部分11输入的图像的预处理和把该合成图像供应给发送处理部分16。
换句话说,背景图像提取部分13从图像输入部分11供应的图像中提取所谓的背景图像,和把提取的背景图像供应给发送处理部分16。此外,背景图像提取部分13所提取的背景图像还供应给对象提取部分14和附加信息计算部分15。
作为提取背景图像的方法,获取多个连续帧(例如当前帧和过去的10个帧)的相同空间位置上的多个像素的像素值的出现频率。具有最高频率的像素值可以作为该位置是背景对待。另一方面,可以取得多个帧的相同位置上的像素值的平均值(活动平均值),以作为该位置上的背景图像。
对象提取部分14执行例如从图像输入部分11所供给的图像中减去由背景图像提取部分13所提取的背景图像的减法运算,获得所谓的前景图像,并把该前景图像供应给发送处理部分16。当图像输入部分11输入的图像包含作为前景的多个实体时,对象提取部分14相应于每一实体提取前景图像并将所提取的前景背景提供给发送处理部分16。另一方面,由对象提取部分14提取的前景图像还被提供给附加信息计算部分15。此后,相应于每一实体的前景图像可以看作是一个对象。
附加信息计算部分15检测背景图像移动矢量和对象移动矢量。背景图像移动矢量表示由背景图像提取部分13提取的背景图像的移动(相应于图像输入部分11的拍摄方向的移动的背景图像的移动)。对象移动矢量表示由对象提取部分14提取的对象的移动。另外,附加信息计算部分15将对象提取部分14提供的作为附加信息的一帧中的对象的位置信息等提供给发送处理部分16。换句话说,当对象提取部分14提取一个对象时,该对象提取部分14还提取与该对象有关的信息,比如该对象的位置信息等,并把该信息供应给附加信息计算部分15。附加信息计算部分15还把该位置信息等作为附加信息输出。
发送处理部分16多路复用由背景图像提取部分13提取的背景图像、由对象提取部分14提取的对象和由附加信息计算部分15获取的附加信息,并按其数据速率经过传送路径3将合成的多路复用数据发送给接收设备2。发送处理部分16经传送路径3接收自接收设备2发送的控制信息,并相应于该控制信息控制背景图像、对象和附加信息的发送,使接收设备2所显示的图像的空间分辨率和时间分辨率在满足预定条件时变化。
下面结合图4所示的流程图简要地说明图3所示的发送设备1的处理。
图像输入部分11输出的图像供给预处理部分12。在步骤S1上,与处理部分12执行图像的预处理。换句话说,在步骤S1上,背景图像提取部分13或前景图像提取部分14从图像输入部分11输入的图像中分别提取背景图像或对象,并把提取的背景图像或提取的对象供应给发送处理部分16。此外,在步骤S1上,附加信息计算部分15从图像输入部分11输入的图像中获得上述的附加信息,并把获得的附加信息供应给发送处理部分16。发送处理部分16经传送路径3发送背景图像、前景图像和附加信息。此后,流程返回到步骤S1,发送设备1重复相似的处理。
图5示出了图2所示的接收设备2的结构实例。
发送设备1经传送路径3发送多路复用数据。该多路复用数据由接收处理部分21接收。接收处理部分21把该多路复用数据分离成背景图像、对象和附加信息,并把它们供应给组合处理部分22。
组合处理部分22把从接收处理部分21接收的背景图像、对象和附加信息组合成原始图像,并把该合成的图像供应给图像输出部分23。组合处理部分22相应于下面将要说明的高分辨率信息等改变组合的图像的空间分辨率和时间分辨率。
图像输出部分23由例如液晶显示器或CRT组成。图像输出部分23显示从组合处理部分22输出的图像。
控制信息输入部分24把控制信息输出给组合处理部分22和控制信息发送部分25。换句话说,控制信息输入部分24组成按键部分2-3。控制信息输入部分24由例如诸如跟踪球的指点器组成。当用户用控制信息输入部分24指定一个由图像输出部分23显示的图像的特定位置时,控制信息输入部分24把该位置检测为用户正在考虑的一个考虑点,把该考虑点的坐标放入控制信息中,并输出所得的控制信息。另一方面,控制信息输入部分24由例如一个摄影机组成。当用户摄取和认可一个图像时,控制信息输入部分24把用户正在考虑的一个点检测为考虑点,把该考虑的点的坐标放入控制信息中,并输出该合成的控制信息。控制信息输入部分24可以被构造成使用户可以直接输入作为控制信息的由图像输出部分23显示的图像的空间分辨率和时间分辨率的结构。
当控制信息发送部分25接收来自控制信息输入部分24的控制信息时,控制信息发送部分25经传送路径3向发送设备1发送控制信息。
下面结合图6所示的流程图简要说明图5所示的接收设备2的处理。
在接收设备2中,接收处理部分21经传送路径3接收来自发送设备1的多路复用数据。在步骤S11,接收处理部分21执行一个接收处理,将多路复用数据分离成背景图像、对象和附加信息。接收处理部分21向组合处理部分22供应作为接收处理结果的背景图像、对象和附加信息。在步骤S12,组合处理部分22把背景图像、对象和附加信息组合为原始图像并把该组成图像供应给图像输出部分23。图像输出部分23显示该组合图像。此后,流程返回到步骤S11,随后接收设备重复相似的处理。
在接收设备2中,当用户用控制信息输入部分24指定一个图像输出部分23所显示的图像的考虑点时,该考虑点的坐标被放入控制信息中。该合成控制信息被供给控制信息发送部分25。控制信息发送部分25经传送路径3向发送设备1发送该控制信息。当发送设备1接收到如上所述的控制信息时,发送处理部分16控制背景图像、对象和附加信息的发送,使接收设备2所显示的图像的空间分辨率和时间分辨率可以在满足约定条件时改变。此后,由于已经被控制的背景图像、对象和附加信息从发送设备1发送到接收设备2,因此在满足一个预定条件时已改变了空间分辨率和时间分辨率的图像由接收设备2显示。
图7示出了图3所示的发送设备1的发送处理部分16的结构实例。
背景图像、对象和附加信息从预处理部分12(参见图3)供给编码部分31和控制部分35。编码部分31对背景图像、对象和附加信息编码,并把该合成的编码数据供应给MUX(多路复用器)32。MUX32在控制部分35的控制下选择从编码部分31接收的背景图像、对象和附加信息并把选择的编码数据作为多路复用数据供给发送部分33。发送部分33调制从MUX32接收的多路复用数据,并经传送路径3把该调制的数据发送给接收设备2。数据量计算部分34监视MUX32向发送部分33输出的多路复用数据,计算多路复用数据的数据速率,并把计算的数据速率供应给控制部分35。
控制部分35控制MUX32的多路复用数据的输出,使数据量计算部分34的数据速率不超过传送路径3的传送速率。此外,控制部分35经传送路径3接收从接收设备2发送的控制信息,并相应于该控制信息控制MUX32的编码数据的选择。
图8示出了图7所示的编码部分31的结构实例。
背景图像被供应给差值计算部分41B。差值计算部分41从处理的当前帧(在下文中,该帧可以称作考虑帧)的背景图像中减去刚处理的在前帧的背景图像,并把背景图像的差值数据作为相减结果供应给分层编码部分42B。分层编码部分42B对从差值计算部分41B接收的背景图像的差值数据进行分层编码,并把编码结果提供给存储部分43B。存储部分43B临时存储从分层编码部分42接收的分层编码结果。存储部分43B中存储的分层编码结果作为背景图像的编码数据供应给MUX32(参见图7)。
存储部分43B中存储的分层编码结果供应给本地解码器44B。本地编码器44B把分层编码结果进行解码成为原始背景图像,并把解码的背景图像供应给差值计算部分部分41B。由本地解码器部分44B解码的背景图像由差值计算部分41B使用。差值计算部分41B使用解码的背景图像来获得下一帧的背景图像的差值数据。
对象被供应给差值计算部分41F。差值计算部分41F、分层编码部分42F、存储部分43F和本地解码器部分44F执行与上述的差值计算部分41B、分层编码部分42B、存储部分43B和本地解码器44B相同的处理。因而,按照与背景图像相同的方式,对象被分层编码并供应给MUX32(参见图7)。当存在多个对象时,差值计算部分41F、分层编码部分42F存储部分43F和本地解码部分44F以上述方式对多个对象分层编码。
附加信息提供给VLC(可变长度编码)部分45。VCL部分45按照可变长码编码方法对附加信息进行编码,并把编码的附加信息供应给MUX32(参见图7)。
下面结合附图9将说明由图8所示的编码部分31所执行的分层编码/解码。
假定较低层次的2×2像素(水平×垂直)的四个像素的平均值被视为较高层次的一个像素(像素值),并且假定按三个层次级对一个图像编码。在这种情况下,对于考虑到如图9(A)所示的8×8个像素的最低层次级中的一个图像,计算2×2个像素的左上部分的四个像素h00、h01、h02和h03的平均值m0。该平均值被m0视作第二层次级的左上部分的一个像素。计算最低层次级的右上部分的四个像素h10、h11、h12和h13的平均值m1。计算最低层次级的左下部分的四个像素h20、h21、h22和h23的平均值m2。计算最低层次级的右上部分的四个像素h30、h31、h32和h33的平均值m3。平均值m1、m2和m3被分别视作第二层次级的右上部分、左下部分和右上部分上的像素。此外,计算第二层次级的2×2像素的四个像素m0、m1、m2和m3的平均值q。该平均值被视作是最高层次级的第三层次级的一个象素。
根据上述的分层编码,最高层次级中的图像的空间分辨率是最低的。图像的空间分辨率与层次级成反比。换句话说,最低层次级中的图像的空间分辨率是最高的。
在所有象素h00至h03、h10至h13、h20至h23、h30至h33、m0至m3和q被发送的情形下的数据量大于仅由较高层次级的象素m0至m3和q发送最低层次级的图像情形下的数据量。
因此,如图9(B)所示,第三层次级的象素q被发送,而不是例如第二层次级的象素m0至m3的右下位置上的像素m3被发送。
此外,如图9(C)所示,发送第二层次级的象素m0,而不是发送例如最低层次级的象素m0至m3的右下位置上的像素h03。同样,第二层次级的剩余像素m1、m2和q被发送,而不是发送第一层次级的象素h13、h23和h33。尽管像素q不是第二层次级的一个像素,但它被发送,而不是发送直接从像素h30至h33得到的像素m3。因而,发送像素q,而不是发送替代像素h33的像素m3。
因而,如图9(C)所示,发送的像素数目变成4×4像素=16像素。因此发送的像素数目相同于仅仅发送图9(A)所示的最低层次级的象素的情况。在这种情况下,发送的数据量可以避免增加。
替代像素q发送的像素m3以及替代像素m0至m3发送的像素h03、h13、h23和h33可以按下述方式被解码。
换言之,由于q是m0至m3的平均值,因此满足等式q=(m0+m1+m2+m3)/4。因此可以相应于等式m3=4×q-(m0+m1+m2)用第三层次级的象素q和第二层次级的象素m0至m2获得(解码)第二层次级的象素m3。
此外,由于m0是h00至h03的平均值,因此满足等式m0=(h00+h01+h02+h03)/4。因此,相应于等式h03=4×m0-(h00+h01+h02),可以用第二层次级的象素m0和第一层次级的象素h00至h02获得第一层次级的象素h03。按相同的方式,可以获得h13、h23和h33。
因此,在未在一个特定层次级中发送的像素可以用该层次级中发送的像素和上一级的层次级的一个像素来解码。
下面将结合图10所示的流程图说明图7所示的发送处理部分16的发送处理。
在步骤S21,在发送处理部分16中,控制部分35确定接收设备2是否已经发送控制信号。当步骤S21的确定结果表明控制信号还未从接收设备2发送(即,控制部分35还未接收到该控制信息)时,流程前进到步骤S22。控制部分35控制MUX32选择背景图像、对象和附加信息的编码数据,并多路复用它们,以使接收设备2可以用正常的时间分辨率(例如,一个默认时间分辨率)显示一个图像。
当正常的时间分辨率是例如30帧/秒时,MUX32选择背景图像、对象和附加信息的编码数据,多路复用该编码数据,和输出该多路复用的数据,以使该图像用按传送路径3的传送速率发送多路复用数据的最大时间分辨率来显示。
实际上,例如,在按三个层次级执行分层编码的情况中,当(只有)第三层次级的数据以传送路径3的传送速率发送时,选择背景图像、对象和附加信息的编码数据以显示第三层次级的图像。因此,在这种情况下,接收设备2用是原始图像(第一层次级)的1/4(水平方向和垂直方向)的空间分辨率和30帧/秒的时间分辨率来显示一个图像。
此后,流程前进到步骤S23。在步骤S23,发送部分33发送MUX32经传送路径3输出的多路复用数据。此后,步骤返回到步骤S21。
当步骤S21上的确定结果表明控制信号已经从接收设备2发送(即,控制部分35已经接收到该控制信息)时,流程前进到步骤S24。控制部分35相应于控制信号操纵控制信息输入部分24,从而认可指定的考虑点。此后,流程前进到步骤S25。
在步骤S25,控制部分35把具有一个考虑点(矩形框具有在帧水平方向和垂直方向的平行边并且考虑点在矩形框的重心上)周围预定尺寸的矩形那样的区域指定为一个优先权范围,在该范围中用优先权改善空间分辨率并且检测在该优先权范围中组成图像的背景图像、对象和附加信息。
此后,流程前进到步骤S26。在步骤S26,控制部分35控制MUX32选择和多路复用背景图像、对象和附加信息的编码数据,并多路复用被选择的编码数据以使接收设备2可以用较高的时间分辨率显示该优先权范围内的图像。
换言之,当控制部分35接收来自接收设备2的控制信号时,控制部分35控制MUX32以牺牲时间分辨率为代价来改善优先权范围内的图像的空间分辨率。
因此,MUX32用优先权选择显示第三层次级的图像和第二层次级的图像所需的背景图像、对象和附加信息的编码数据,多路复用被选择的编码数据和输出该多路复用的数据。
此外,在步骤S26,控制部分35控制MUX32把优先权范围、大小等等的位置信息插入到选作多路复用数据的附加信息中。此后,流程前进到步骤S23。
在步骤S23,如上述的那样,发送部分33发送MUX32经传送路径3输出的多路复用数据。此后,流程返回到步骤S21。
为简单起见,假定在步骤S26上对于作为非优先权范围中的一个图像的第三层次级的一个图像连续选择显示第三层次级的图像的背景信息、对象和附加信息的编码数据,被多路复用的数据量大于在步骤S22上的优先权范围内的图像的第二层次级的数据的情形。根据本发明的实施例,按照上述的方式以30帧/秒显示图像,则仅以传送路径3的传送速率发送第三层次级的数据。这样就不能发送步骤S26上获得的多路复用数据,以便按30帧/秒显示图像。从而,在步骤S23的极端情况下,在步骤S26上获得的多路复用数据用0帧/秒的时间分辨率发送。
因此,在这种情况下,对于优先权范围内的图像,接收设备2所显示图像的水平方向和垂直方向每个的空间分辨率为原始图像(即第一层次级)空间分辨率的1/2。换句话说,接收设备2显示其水平方向和垂直方向每个的空间分辨率二倍于第三层次级的图像空间分辨率的图像(第二层次级)。然而,其时间分辨率为0帧/秒。换言之,接收设备2显示一个静止图像。
在发送用于优先权范围内图像的第二层次级的数据之后,当步骤S21的确定结果表明已经再次从接收设备2发送(即,用户连续操作控制信息输入部分24并指定相同的考虑点)控制信号时,流程前进到步骤S24。在步骤S24,控制部分35认可该相同的考虑点。此后,流程前进到步骤S25。在步骤S25,控制部分35指定相同的优先权范围。此后,流程前进到步骤S26。
在步骤S26,控制部分35控制MUX32选择背景图像、对象、和附加信息的编码数据和多路复用该选择的编码数据,以使接收设备2可以显示具有较高空间分辨率的优先权范围内的图像。
在这种情况下,对于优先权范围内的图像,用优先权选择第三层次级和第二层次级的背景图像、对象和附加信息的编码数据。在这种情况下,用优先权选择第一层次级的背景图像、对象和附加信息的编码数据,并按多路复用数据输出。此外,在步骤S26,如上所述,高分辨率信息被插入附加信息中。此后,流程前进到步骤S23。在步骤S23,发送部分33发送MUX32经传送路径3输出的多路复用数据。此后,流程前进到步骤S21。
因此,在这种情况下,对于优先权范围内的图像,接收设备2显示具有与原始图像(第一层次级)相同的空间分辨率的图像。换句话说,接收设备2显示具有四倍于第三层次级的图像的空间分辨率(水平方向和垂直方向的每个中的)的图像。然而,时间分辨率例如为0帧/秒。换言之,接收设备2显示一个静止图像。
因而,当用户连续操作控制信息输入部分24和指定相同的考虑点时,对于含有该考虑点的优先权范围内的图像,以图像的时间分辨率为代价借助优先权发送改善了空间分辨率的数据。因而,尽管图像的时间分辨率恶化,但含有考虑点的优先权内的图像的空间分辨率得到了改善。因此,优选权范围内的图像被更加清楚地显示。换句话说,用户考虑的部分的图像被更加清楚地显示。
因此,图像数据的发送被控制,以使含有一个考虑点的特定优先权范围内的图像的空间分辨率和时间分辨率在按传送路径3传送速率发送的图像数据的分辨率范围内变化。换句话说,图像数据的发送被控制,以使优先权范围内的图像的空间分辨率得到改善和使该图像的时间分辨率恶化。因而,借助于按传送路径3的传送速率发送的图像数据获得改善的空间分辨率分辨率和恶化的时间分辨率。结果,在一个限制的传输速率上,接收设备2所显示的图像的空间分辨率可以进一步得到改善。
下面图11示出了图5所示的接收处理部分21的结构实例。
接收部分51经传送路径3接收多路复用的数据。在多路复用数据被解调后,供给DMUX(解复用器)52。DMUX52把从接收部分51接收的多路复用数据分解成背景图像、对象和附加信息的编码数据,和把分解的数据供应给解码部分53。解码部分53把背景图像、对象和附加信息的编码数据解码成它们的原始数据并输送给组合处理部分22(参见图5)。
换言之,图12示出了图11所示的解码部分53的结构实例。
作为背景图像的编码数据的分层编码差值数据被供应给加法装置61B。此外,已经解码并存储在存储部分62B中的前一帧的一个背景图像也送给加法装置61B。加法装置61B将背景图像的差值数据和自存储部分62B接收的前一帧的背景图像相加,以便对一个预期层次级的背景图像进行解码。该解码的背景图像被供应给存储部分62B。存储部分62B存储从加法装置61B接收的背景图像。该解码的背景图像被供应给加法装置61B和组合处理部分22(参见图5)。
作为对象编码数据的分层编码差值数据被供应给加法器61F。加法装置61F和存储部分62F执行与加法装置61B和存储部分62B相似的处理。从而,按照与背景图像相同的方式,把对象的差值数据解码为预期的层次级的对象,然后供应给组合处理部分22(参见图5)。当存在多个对象时,加法部分61F和存储部分62F对多个对象的差值数据进行解码(分层解码)。
作为附加信息编码数据的用可变长度码编码的附加信息被供应给反向VLC部分63。反向VLC部分63用可变长度编码对该附加信息进行解码。从而获得原始附加信息,并供应给组合处理部分22。
图8所示的本地解码器44B被构成为加法装置61B和存储部分62B。同样,本地解码器44F被构成为加法装置61F和存储部分62F。
图13示出了图5所示的组合处理部分22的结构实例。
解码部分53输出的背景图像(参见图1)被供应给背景图像写入部分71。解码部分53输出的对象被供应给对象写入部分72。解码部分53输出的附加信息被供应给背景图像写入部分71、对象写入部分72和组合部分77。
背景图像写入部分71连续地把背景图像写入背景图像存储器73。当一个图像是在摄像机摇镜头或倾斜情况下拍摄的时,背景图像是移动的。在此点,背景图像写入部分定位该背景图像,然后把定位的背景图像写入背景图像存储器73。因此,背景图像存储器73可以存储一个在空间上宽于一帧的图像的图像。背景图像是相应于包含在附加信息中的一个背景图像移动矢量来定位背景图像的。
当背景图像写入部分71把具有高空间分辨率的背景图像写入背景图像存储器73时,背景图像写入部分71相应于从0至1的背景图像的像素来改变按背景图像标志存储器74的地址所存储的背景图像标志的数值。当背景图像写入部分71把一个背景图像写入背景图像存储器73时,背景图像写入部分71核对背景图像标记存储器74。背景图像写入部分71不将一个具有低空间分辨率的背景图像写入其背景图像标志是1(表明该像素存储具有高空间分辨率的一个背景图像)的一个像素上。因而,大体上,不论背景图像何时供应给背景图像写入部分71,都被写入到背景图像存储器73。然而,背景图像写入部分71并不把具有低空间分辨率的背景图像写入到存储具有高空间分辨率的背景图像的像素上。结果,无论高空间分辨率的背景图像何时供应给背景背景图像写入部分71,都使高空间分辨率的范围在背景图像存储器内变宽。
对象写入部分72连续地把所供给的对象写入到对象存储器75上。当存在多个对象时,对象写入部分72把每个对象写入到对象存储器75。当对象写入部分72把相同的对象(分配相同的标志)写入到对象存储器75时,对象写入部分72用新对象(新近供应给对象写入部分72的对象)替代旧对象。
此外,当对象写入部分72把高空间分辨率的一个对象写入到对象存储器75时,对象写入部分72相应于从0到1的对象的像素改变按对象标识存储器76的一个地址存储的一个背景图像标志。当对象写入部分72把对象写入到对象存储器75时,对象写入部分72核对对象标志存储器76。对象写入部分72不把具有低空间分辨率的对象写入到存储高空间分辨率的对象(对象标志=1)的对象存储器75上。以背景图像存储器73相同的方式,无论对象何时供给对象写入部分72,都将该对象写入到对象写入部分72。然而,对象写入部分72不把低空间分辨率的对象写入到存储高空间分辨率的对象的一个象素上。结果,无论高空间分辨率的对象何时被供应给对象写入部分72,高空间分辨率的对象的数目在对象存储器75中递增。
背景图像存储器73存储从背景图像写入部分71供应的背景图像。背景图像标志存储器74按背景图像存储器73的一个地址存储上述的一比特背景图像标志。背景图像标志存储器74表示高空间分辨率的背景图像是否已经被存储在背景图像存储器73的一个地址上。对象存储器75至少包括一个存储从对象写入部分72供给的每个对象的存储器部分。对象标志存储器部分76存储上述的一比特对象标志,该标志代表一个高空间分辨率的对象是否已经存储在对象存储器75中。
在这种情况下,为简单起见,背景图像标志和对象标志是一比特标志。另一方面,背景图像标志和对象标志可以是多比特标志。在此情况下,背景图像标志和对象标志可以代表多等级分辨率。换句话说,一比特标志只代表高分辨率和低分辨率这两个等级。然而,一个多比特标志代表多等级分辨率。
组合部分77相应于附加信息中含有的一个背景图像移动矢量读出背景图像存储器73中存储的当前帧(该帧可以被称之为考虑帧)的背景图像。此外,组合部分77相应于附加信息中含有的一个对象移动矢量来组合该背景图像和对象存储器75中存储的一个对象。结果,组合部分77生成一个考虑帧的图像,并把该图像供给一个显示存储器78。
此外,组合部分77接收来自控制信息输入部分24(参见图5)的控制信息时,组合部分77从对象存储器75中读出该控制信息中含有的考虑点上的一个对象,并把该对象供给子窗口存储器79。
显示存储器78作为一个所谓的VRAM(视频只读存储器)。显示存储器78暂时存储组合部分77供给的考虑帧的图像。
子窗口存储器79暂时存储组合部分77供给的一个对象。
叠加部分80读出显示存储器78的存储内容,并把存储的内容供给图像输出部分23(参见图5)。图像输出部分23显示该存储的内容。必要时,叠加部分80打开图像输出部分23上的子窗口(下文将进行说明),读出子窗口存储器79的存储内容,并在该子窗口上显示该内容。
下面,结合图14将说明图13所示的组合处理部分22所执行的处理(组合处理)。
首先,在步骤S31,背景图像写入部分71或对象写入部分72分别相应于背景图像标志存储器74以上述方式所存储的背景图像标志或对象标志存储器75以上述方式所存储的对象标志将解码部分53(参见图12)供给的一个背景图像或一个对象写入相关存储器。
换言之,背景图像写入部分71核对背景图像标志存储器74,并且把供给的背景图像写入到背景图像存储器73的该地址上,此时与该地址相对应的象素的背景图像标志为0。相反,如果供给的背景图像的空间分辨很高时,背景图像写入部分71把该背景图像写入背景图像存储器73的一个地址上,此时对应该地址的象素的背景图像标志为1。
同样,当对象存储器75的对象标志为0时,对象写入部分72将供给的对象写入到对象存储器75。当对象存储器75的对象标志为1时,如果供给的对象的空间分辨率很高时,对象写入部分72将供给的对象写入到对象存储器75。
当背景图像写入部分71将背景图像写入到背景图像存储器73的一个特定地址时,如果该地址已经存储了一个背景图像,则背景图像写入部分71将该背景图像覆盖写到该地址上。该处理也适用于对象存储器75。
此后,流程前进到步骤S32。在步骤S32,背景图像写入部分71和对象写入部分72确定附加信息是否含有高分辨率信息。当步骤S32上的确定结果表明附加信息含有高分辨率信息(即,用户已经操作控制信息输入部分24(参见图5)、合成控制信息已经发送给发送设备,以及发送设备1随后已经为优先权范围内的一个图像发送高空间分辨率的一个背景图像和一个对象)时,流程前进到步骤S33。在步骤S33,背景图像写入部分71或对象写入部分72将背景图像标志存储器74的背景图像标志或对象标志存储器76的对象标志改变为1。
换句话说,当发送设备1为优先权范围内的一个图像发送具有高空间分辨率的一个背景图像和一个对象时,在步骤S31,背景图像写入部分71和对象写入部分72将具有高空间分辨率的背景图像和对象分别写入背景图像存储器73和对象存储器75。因而,在步骤S33,组成具有高空间分辨率的背景图像和对象的一个象素的背景图像标志和对象标志被改变为1。
此后,流程前进到步骤S34。组合部分77从对象存储器75中读出优先权范围内的一个对象,并把该对象写入子窗口存储器79。
换句话说,当步骤S32上的确定结果表明附加信息含有高分辨率信息时,则表示用户已经操作了控制信息输入部分24(参见图5)、控制信息已经被发送给发送设备1、以及发送设备1随后为优先权范围内的一个图像已经发送具有高分辨率的一个背景图像和一个对象。发送给发送设备1的控制信息还供应给组合部分77。因而,当组合部分77接收控制信息时,在步骤S34上组合部分77相应于控制信息中含有的考虑点的坐标认同(recognize)其优先权范围,从对象存储器75中读出发送设备1已经发送的该优先权范围内的高空间分辨率对象,并把该对象写入到子窗口存储器79。
此后,流程前进到步骤S35。在步骤S35,组合部分77相应于附加信息中含有的背景图像移动矢量从背景图像存储器73读出显示的当前帧(该帧被称之为考虑帧)的背景图像。此外,组合部分77从对象存储器75读出关于该考虑帧的所显示的一个图像。组合部分77相应于附加信息内含有的对象移动矢量将该考虑帧的背景图像与从对象存储器75读出的对象相组合,并把该考虑帧的组合图像写入到显示存储器78。换言之,组合部分77将一个背景图像写入到(例如)显示存储器78,随后将一个对象覆盖写到显示存储器78上。结果,组合部分77将一个背景图像和一个对象被组合为一个考虑帧图像的一个图像写入到显示存储器78上。
在这种方式中,写入到显示存储器78考虑帧的图像和写入到子窗口存储器79的一个对象被供应给图像输出部分23(参见图5)。图像输出部分23显示供给的图像和对象。
在发送设备1中,所谓的软健可以被包含在例如附加信息中。在这种情况下,组合部分77使用软健将对象和背景图像相组合。
相反,当步骤S32上的确定确定结果表明附加信息不包含高分辨率信息(即,用户未操作控制信息输入部分24(参见图5)),流程前进到步骤S35,跳过步骤33和34。如上所述,组合部分77从背景图像存储器73中读出考虑帧的一个背景图像。此外,组合部分77从对象存储器75中读出一个所需对象,并相应于附加信息将考虑帧的背景图像与从对象存储器75中读出的对象相结合。结果,生成一个考虑帧的图像,并将其写入到显示存储器78。此后,流程返回到步骤S31。然后,组合处理部分22重复相似的处理。
在上述组合处理中,当用户未操作控制信息输入部分24(参见图5)(即,由诸如没有被拖动(或点击)的鼠标的指点装置组成的控制信息输入部分24)时,如图15(A)所示,低空间分辨率的图像在图像输出部分23(参见图5)上用一个默认时间分辨率显示。在图15(A)中,低空间分辨率的图像在低空间分辨率的背景图像上移动。
当用户操作控制信息输入部分24(参见图5)时,把光标移动到对象,并把该光标拖动到对象的位置上,像上所述的那样,将控制信息发送给发送设备1。发送设备1以时间分辨率为代价为一个优先权范围内的图像发送显示高空间分辨率图像所需的数据。结果,如图15(B)所示的那样,尽管时间分辨率为(例如)0帧/秒,但在图像输出部分23(参见图5)上显示出围绕拖动位置的优先权范围内的一个对象和一个背景图像的空间分辨率被逐渐改善的图像。换句话说,相应于拖动时间(或点击的数目),在优先权范围内的图像的空间分辨率被逐渐改善。
在此情况下,如图15(B)所示,在图像输出部分23(参见图5)上打开一个子窗口。围绕拖动位置的优先权范围内的一个对象按照对象的空间分辨率被逐渐改善的方式来显示。
此后,当用户用控制信息输入部分24(参见图5)停止拖动操作时,如上述的那样,在步骤S35上组合部分77从背景图像存储器73读出考虑帧的一个背景图像,从对象存储器75读出一个对象,相应于附加信息将考虑帧的背景图像与从对象存储器75中读出的对象相组合,并将该组合图像写入到显示存储器78。如上述的那样,由于作为拖动操作结果的高空间分辨的对象被存储在对象存储器75中,图像输出部分23(参见图5)用图15(C)所示的常规时间分辨率显示在考虑帧的相关位置上粘贴作为拖动操作结果的具有高空间分辨率的一个对象的图像。
此后,图像输出部分23(参见图5)用常规时间分辨率显示相应于附加信息移动的高空间分辨率的一个对象的图像。
因而,当用户执行在他或她要仔细观看的对象的位置上的拖动操作时,他或她可以观看具有高空间分辨率的对象。换句话说,用户可以详细观看一个对象。
当用户执行拖动操作时,优先权范围内的高空间分辨率的背景图像被存储在背景图像存储器73。因而,即使用户停止拖动操作,也显示背景图像存储器73内存储的高空间分辨率的背景图像。因而,当用户执行拖动操作时,由于围绕拖动位置的优先权范围内的背景图像被改善,因此无论用户何时执行在图像输出部分23(参见图5)的显示屏幕的每个位置上的拖动操作,高空间分辨率的背景图像按一个镶嵌模式逐渐展宽。最后,图像输出部分23显示整个高空间分辨率的背景图像。
此外,根据该实施例,如上所述,由于一个背景图像被存储在背景图像存储器73中,因此发送设备1不需要发送一个已经发送的具有低空间分辨率的一个背景图像。因而,背景图像的传送带宽(传送速率)可以分配给高空间分辨率的一个对象和一个背景图像。
在上述情况下,作为拖动操作结果的高空间分辨率的对象被存储到对象存储器75。停止拖动操作后,该高空间分辨率的对象被粘贴到背景图像上。因而,由接收设备2所显示的一个对象的空间分辨率变得高了。然而,发送设备1所拍摄的对象的状态不对接收设备2所显示的对象发生影响。
为了解决这一问题,在停止拖动操作后,存储在对象存储器75中的高空间分辨率的一个对象可以用解码部分53(参见图12)的存储部分62F中存储的一个对象替代,而忽略对象标志。换句话说,发送设备1发送的对象被连续存储到解码部分53(参见图12)的存储部分62F上。因而,当对象被写入到对象存储器75时,图像输出部分23上显示的一个图像的对象受发送设备1拍摄的对象的状态影响(然而,该对象的空间分辨率降低)。
包括发送设备1的发送处理部分16的图7所示的MUX32在控制部分35的控制下将高分辨率信息的有/无、对应于该高分辨率信息的优先权范围内的一个帧速率(时间分辨率)和一个空间分辨率、以及非优先权范围内的一个帧速率和一个空间分辨率放置到多路复用数据的一个首部或类似物上。接收设备2相应于该首部(header)内放置的信息(在下文中将该信息称作首部信息)认同高分辨率信息的有/无、优先权范围内的帧速率和空间分辨率、以及非优先权范围内的帧速率和空间分辨率。
在发送设备1中,首部信息可以包含例如接收设备2发送的控制信息中所含有的考虑点的(坐标)。在该情况下,图13所示的组合部分77可以相应于发送设备1所发送的首部信息认同一个考虑点位置上的一个对象。换句话说,在上述情况中,组合部分77相应于控制信息输入部分24(参见图5)供给的控制信息认同控制信息中含有的考虑点位置上的一个对象,从对象存储器75中读出对象,并把该对象供应给子窗口存储器79。然而,当首部信息含有一个考虑点时,组合部分77相应于该首部信息认同该考虑点一个位置上的一个对象。在此情况下,在图5中,控制信息输入部分24不需要把该控制信息供应给接收设备2。
下面,结合图16说明发送设备1经传送路径3向接收设备2发送的一个图像的空间分辨率与时间分辨率之间的关系。
假定传送路径3的传送速率为R(bps)以及发送了由一个背景图像和三个对象#1至#3组成的一个图像。为简便起见,在该实施例中不考虑附加信息。此外,假定为了显示具有特定空间分辨率的背景图像和对象#1至#3,它们的每个需要相同的数据量。
在此情况下,当用户不执行拖动操作时,在发送设备1中,如图16(A)所示,按传送速率R除以4的R/4[bps]发送背景图像和对象#1至#3。当常规时间分辨率为1/T帧/秒时,发送设备1在至多T秒的时间内可以发送背景图像和对象#1至#3的每个的一帧数据。因而,在此情况下,接收设备2显示用每帧T×R/4比特的数据获得的一个空间分辨率的背景图像和对象#1至#3。
当用户执行在例如对象#1的位置上的拖动操作时,如图16(A)所示,发送设备1停止发送背景图像和对象#2和#3,并以传送路径3的整个传送速率R仅发送对象#1。此后,在从时间t1经过时段4T的时间t2上,当用户停止拖动操作时,发送设备1按每个传送速率R/4来发送背景图像和对象#1至#3。
因而,在用户执行拖动操作的时候,发送设备1为对象#1发送4T×R比特的数据。因此,假定用户执行拖动操作时,时间分辨率为0帧/秒,则接收设备2显示用每帧4T×R比特的数据获得的一个空间分辨率的对象#1。换句话说,为相同量改善水平空间分辨率和垂直空间分辨率时,尽管时间分辨率变为0帧/秒,但接收设备2显示是用户不执行拖动操作的情况的四倍(=(4T×R/(T×R/4比特)))的水平方向和垂直方向的每个中的一个空间分辨率的对象#1。
换句话说,该空间分辨率的对象可以以牺牲时间分辨率为代价得到改善。此外,与牺牲时间分辨率的情况相比较,用户考虑的部分的空间分辨率可以快速改善。
在上述情况下,当用户为对象#1执行拖动操作时,不发送背景图像和其它对象#1和#3的所有数据。然而,如图16(B)所示,可以把较高传送速率分配给对象#1的数据,而较低传送速率可以分配给背景图像和其它对象#2和#3的数据。
另一方面,即使执行了拖动操作,分配给背景图像和对象#1至#3的每个的传送速率也不会从R/4变化。换句话说,在此情况下,由于以时间分辨率为代价改善空间分辨率,(例如)尽管花费长时间显示数据,因此可以改善空间分辨率,而不需要改变传送速率。
根据该实施例,如上所述,作为拖动操作结果的具有高空间分辨率的一个对象被存储在对象存储器75中。在拖动操作停止后,高空间分辨率的对象被粘贴到一个背景图像上。然而,粘贴高空间分辨率的对象的背景图像的位置取决于发送设备1发送的对象附加信息中含有的一个对象移动矢量。
因而,接收设备2将应当相应于什么样的一个相邻帧的对象来认同什么样的一个特定帧的对象。因此,当发送设备1的对象提取部分14(参见图3)提取一个对象时,对象提取部分14将允许接收设备2将执行这样一个认同操作的信息加到附加信息上。
图17示出了图3所示的对象提取部分14的结构实例。
图像输入设备11输出的一个图像和背景图像提取部分13输出的一个背景图像被供应给一个减法部分81。减法部分81从图像输入部分输出的图像中减去背景图像提取部分13输出的背景图像,和获得作为一个对象的一个前景图像。减法部分81获得的前景图像被供应给帧存储器82和初始区域划分部分83。
帧存储器82暂时存储减法部分81所供给的前景图像。初始区域划分部分83使用减法部分81供给的处理的当前帧(该帧被称作考虑帧)的前景图像和帧存储器82中存储的前一帧的前景图像(该前景图像被称作在前帧的前景图像)执行初始区域划分处理。
换句话说,初始区域划分部分83相应于象素值按类别归类组成考虑帧的前景图像的每个象素。实际上,当一个象素值由RGB(红、绿、蓝)表示时,初始区域划分部分83根据由R、G、B值的要素组成的一个矢量(该矢量可称之为颜色矢量)与该RGB空间中的多个小区域之间的关系按类别归类每个象素。此外,初始区域划分部分83以相同的方式按类别归类包括帧存储器82中存储的前一帧的前景图像的每个象素。
当考虑帧是例如第n帧时,初始区域划分部分83把第n帧的前景图像和前一帧的第(n-1)帧的前景图像划分成时间上和空间上相邻的并按相同类别归类的多个象素组成的区域。
换句话说,例如,假定组成第n帧的前景图像的每个象素和组成第(n-1)帧的前景图像的每个象素如图18(A)所示按类别归类。在图18中(还在图19和图20中),一个矩形中包含的一个字符C和一个数字的一个组代表一个象素的类别。
在图18(A)所示的情况中,当第n帧的前景图像和第(n-1)帧的前景图像被划分成由按相同类别归类的多个象素组成的多个区域时,形成图18(B)所示的虚线所代表的初始区域。
初始区域划分部分83所获得的初始区域被供应给图17所示的区域拼接部分84。
区域拼接部分84执行区域边界处理,对初始区域划分部分83所供给的初始区域进行边界处理。
换句话说,区域拼接部分84从对象信息存储器88中读出第(n-1)帧中包含的一个对象的对象信息,并认同第(n-1)帧中包含的对象的位置和范围。此外,区域拼接部分84认同组成第(n-1)帧中所含有的对象的象素,并拼接含有象素的初始区域。
实际上,例如,假定在图19(A)所示的实线表示的一个范围(一个方框)内包含一个特定的对象Obj,该对象Obj由被归类为类别c2、c3、c4和c5的诸多象素组成。包含这些象素的初始区域被拼接。因而,在该实例中,由类别c2、c3、c4和c5的象素组成的初始区域(在下文中,类别c#i的象素组成的初始区域被称之为初始区域c#i)被拼接为图19(B)所示的阴影区域。
此外,区域拼接部分84计算拼接的初始区域(以下可以称之为拼接区域)与邻近该拼接区域的初始区域之间的距离。在该实例中,一个拼接区域与一个邻近的初始区域(以下可以称之为邻近初始区域)之间的距离可以是包括两个区域(拼接区域和邻近初始区域)的象素的象素值(颜色)的平均值的距离(该距离可以被称之为RGB空间的距离)或两个区域的边界附近中的象素的象素值(颜色)的连续性。
当拼接区域与邻近初始区域之间的距离小于(或等于)一个预定阈值时,区域拼接部分84拼接拼接区域和邻近初始区域,并生成一个新的拼接区域。区域拼接部分84计算上述的距离,并重复拼接邻近初始区域和拼接区域直至没有可以被拼接成拼接区域的邻近初始区域为止。
因而,用图19(B)所示的拼接区域形成(例如)图19(C)所示的一个拼接区域。在图19C中,由于初始区域c7与c8之间的距离接近,它们被拼接为图19(B)所示的拼接区域。相反,由于初始区域c1与c6之间的距离远,它们不能被拼接为一个拼接区域。
当没有邻近初始区域可以被拼接成如图19(C)所示的拼接区域时,区域拼接部分84提取由组成第n帧的前景图像的象素组成的一个部分,作为与第(n-1)帧的对象Obj相对应的一个对象(该对象可以被称之为对应对象),指定与第n帧的对象Obj的标志相同的标志,并把该对象输出给拼接区域处理部分85和分离区域处理部分86。
换句话说,根据该实施例,各帧中一致的对象被指定相同的标志。接收设备2相应于该标志认同与邻近帧的某对象相当的邻近帧的某对象。
分配给第(n-1)帧的对象Obj的标志被包含在对象信息中,并存储在对象信息存储器88中。对于对象信息存储器88,区域拼接部分84认同分配给第(n-1)帧的对象Obj标志。
此外,当区域拼接部分84以上述方式提取与第(n-1)帧的所有对象相对应的第n帧的对象时,区域拼接部分84提取将第n帧的每个初始区域和其另一个邻近初始区域拼接为一个对象的一个区域,并把一个新标志(而不是指定给(n-1)帧的对象的任何标志)分配给被提取的对象和把被提取的对象输出给拼接区域处理部分85和分离区域处理部分86。
拼接区域处理部分85和分离区域处理部分86分别执行一个拼接区域处理和一个分离区域处理。当拼接对象时执行拼接区域处理。当分离拼接对象时执行分离区域处理。
换句话说,例如,就第(n-1)帧、第n帧和第(n+1)帧这三个连续帧而言,如图20所示,在第(n-1)帧中,对象A和B相互接近。在第n帧中,对象A和B相互重叠。换句话说,在第n帧中,对象A和B可以被拼接为一个对象。在此情况下,已被拼接为一个对象的对象A和B按它们的方向连续移动。在第(n+1)帧中,拼接对象被分离成两个对象A和B。
在此情况下,在在区域拼接部分84的区域拼接处理中,第n帧的被拼接对象相当于地(n-1)帧中的对象A和B二者。相反,第(n+1)帧中被分离的对象A和B相当于第N帧中的一个拼接对象。根据该实施例,假定特定帧的一个对象相当于前一帧的一个对象。因而,如上所述,最好不用一个对象相关两个对象。相反,最好不用两个对象相关一个对象。
因而,通过用第(n-1)帧的对象A和B的一个计算相关第n帧的一个被拼接对象,拼接处理部分85执行一个拼接区域处理。通过用第n帧的一个被拼接对象相关第(n+1)帧的两个对象A和B之一,分离区域处理部分86执行分离区域处理。
换句话说,拼接区域处理部分85把与第(n-1)帧的对象A和B之一相同的标志分配给第n帧的一个拼接对象。另一方面,分离区域处理部分86把与第n帧的拼接对象相同的标志分配给第(n+1)帧的两个被分离对象A和B之一,并把一个新标志分配给第(n+1)帧的另一个被分离的对象。
作为由拼接区域处理部分85执行的拼接区域处理的结果的对象提取结果和作为由分离区域处理部分86执行的分离区域处理的结果的对象提取结果由区域拼接部分84进行拼接,并供应给一个新区域处理部分87。
当拼接区域处理部分85和分离区域处理部分86的对象提取结果含有一个新对象时,新区域处理部分87执行新对象的新区域处理。
有三种类型的对象,它们在拼接区域处理部分85和分离区域处理部分86的对象提取结果中被分配新标志。第一类型的对象是这样一种对象:由于对象移动快并且该对象不在考虑帧和前一帧内空间重叠,因此区域拼接部分84不提取像前一帧的对应对象那样的考虑帧的对象。第二类型的对象是这样一种对象:由于前一帧的对应对象与另一对象拼接,因此分离区域处理部分86不可能用前一帧的对应帧相关考虑帧的对象。第三类型的对象是这样一种对象:由于在考虑帧中出现一个新对象,因此分配一个新标志给该新对象。
在这三种类型的对象中,一个新标志应当被分配给第三类型的一个对象。因而,对于第一和第二类型的对象,新区域处理部分87从前一帧中检测一个对应对象,并将和考虑帧对象相同的标志再分配给前一帧的对应对象。
事实上,新区域处理部分87核对对象信息存储器88,认同考虑帧的几个过去帧的对象,和获得被认同对象的每个与考虑帧的考虑对象之间的距离,该考虑对象被分配一个新标志。像对象之间的距离那样,也可以使用对象的特征量之间的距离。对象特征量的实例是对象的一个区域、一个由对象的每个象素组成的轮廓线的切线方向的条形图(例如,沿上、下、左、右、左上、左下、右上和右上八个方向的每个方向的条形图)、和对象的一个移动矢量。
新区域处理部分87获得被认同对象与考虑对象之间的距离的最小值。当最小值小于(或等于)预定阈值时,新区域处理部分87把具有距考虑对象最小距离的一个对象处理为与考虑对象相对应的一个对象,把与获得的对象的标志相同的标志分配给考虑对象,和输出该考虑对象。当认同对象与考虑对象之间的距离的最小值不小于预定阈值(即,没有这样的对象,其相距考虑对象的距离在过去帧中是短的)时,新区域处理部分87把该考虑对象处理为考虑帧中新近出现的一个对象,把一个新标志分配给该考虑帧,和输出该考虑帧。
新区域处理部分87的输出被供应给附加信息计算部分15(参见图3)和发送处理部分16(参见图3)。此外,新区域处理部分87的输出被供应给对象信息存储器88。对象信息存储器88暂时存储一个对象(该对象的位置和尺寸(轮廓)、组成该对象的象素的象素值等)和作为对象信息分配的一个标志。
下面结合图21所示的流程图说明从一个图像提取一个对象的对象提取处理。对象提取处理由图17所示的对象提取部分14执行。
图像输出部分11输出的一个图像和背景图像提取部分13输出的一个背景图像被供应给减法部分81。在步骤S41,减法部分81从图像输入部分11输出的图像中减去背景图像提取部分13输出的背景图像,获得作为一个对象的一个前景图像。减法部分81获得的前景图像被供应给帧存储器82和初始区域划分部分83。帧存储器82存储从减法部分81输出的前景图像。
另一方面,在步骤S42,初始区域划分部分83核对考虑帧的前一帧的一个前景图像,执行根据图18所述的初始区域划分处理,获得初始区域,并把获得的初始区域供应给区域拼接部分84。在步骤S43,区域拼接部分84核对对象信息存储器88中存储的前一帧的对象信息,按照结合图19所述的方式为初始区域划分部分83输出的初始区域执行区域拼接处理,并提取考虑帧的一个对象。
区域拼接部分84所提取的对象被供应给拼接区域处理部分85和分离区域处理部分86。在步骤S44,拼接区域处理部分85或分离区域处理部分86按照结合图20所述的方式执行拼接区域处理或分离区域处理,把处理的结果输出给新区域处理部分87。
在步骤S45,新区域处理部分87为拼接区域处理部分85和分离区域处理部分86的输出执行上述的新区域处理。因而,新区域处理部分87输出考虑帧的最终对象提取结果。对象的提取结果被供应给附加信息计算部分15(参见图3)和发送处理部分16(参见图3)。此外,对象的提取结果被供应给对象信息存储器88并存储在其中。
此后,流程返回到步骤S20,在此步骤上,下一帧被指定为一个新考虑帧。然后对象提取部分14重复相似的处理。
下面结合图22所示的流程图详细说明在图21的步骤S43上由区域拼接部分84执行的区域拼接处理。
在区域拼接处理中,首先,在步骤S51上,区域拼接部分84核对关于在考虑帧的前一帧(在前帧)中含有的一个对象的对象信息,把在前帧的对象处理为一个考虑对象。在步骤S51上,使用考虑对象,如图19(B)所示,区域拼接部分84拼接初始区域划分部分83输出的初始区域,形成一个拼接区域。
此后,流程前进到步骤S52。在步骤S52,区域拼接部分84搜索邻近拼接区域的一个初始区域(该初始区域可以称之为邻近初始区域)。此后,流程前进到步骤S53。在步骤S53,区域拼接部分84计算拼接区域与考虑的初始区域之间的距离。此后,流程前进到步骤S54。在步骤S54,区域拼接部分84确定区域间的距离是否小于一个预定的阈值。
当步骤S54上的确定结果表明拼接区域与考虑的初始区域之间的距离小于预定的阈值时,流程前进到步骤S55。在步骤S55,区域拼接部分84把考虑的初始区域拼接到拼接区域,从而形成一个新的拼接区域。此后,流程前进到步骤S56。
相反,当步骤S54上的确定结果表明拼接区域与考虑的初始区域之间的距离不小于预定的阈值时,流程前进到步骤S56,跳过步骤S55。换句话说,区域拼接部分84不把考虑的初始区域拼接到拼接区域。在步骤S56,区域拼接部分84确定邻近拼接区域的所有初始区域是否已经都被搜索。当步骤S56上的确定结果表明邻近拼接区域的所有初始区域还未被搜索时,流程返回到步骤S52。在步骤S52,区域拼接部分84搜索未被搜索到的邻近初始区域。此后,区域拼接部分84重复相似的处理。
当步骤S56上的确定结果表明邻近拼接区域的所有初始区域已经被搜索时,流程前进到步骤S57。在步骤S57,区域拼接部分84确定在前帧中含有的所有对象的每个是否已经被指定为考虑对象。当步骤S57上的确定结果表明在前帧中含有的所有对象的每个都未被指定为考虑对象时,流程返回到步骤S51。在步骤S51,区域拼接部分84把在前帧中含有的一个对象指定为考虑对象,然后为新近考虑的对象重复相似的处理。
相反,当步骤S57上的确定结果表明在前帧中含有的所有对象的每个已经被指定为考虑对象时,流程返回到被调用进程。
下面,结合图23所示的流程图详细说明在图21所示的步骤S44上由拼接区域处理部分85执行的拼接区域处理。
首先,在步骤S61上,拼接区域处理部分85把处理的一个帧指定为一个考虑帧,核对对象信息存储器88,在在前帧的对象在空间上与考虑帧的考虑对象重叠的条件下认同前一帧(在前帧)中含有的对象数目(即,考虑帧的在前帧的对象数目),并把对象的数目调整到一个变量N。
此后流程前进到步骤S62。在步骤S62,拼接区域处理部分85确定变量N是否为2或是否大于2。当变量N小于2(即,在前帧中不含有空间上与考虑对象重叠的对象或对象的数目为1)时,流程前进到步骤S65,跳过步骤S63和S64。
相反,当步骤S62上的确定结果表明变量N等于2或大于2(即,在前帧中含有空间上与考虑对象重叠的两个或多个对象)时,流程前进到步骤S63。在步骤S63,拼接区域处理部分85计算考虑对象与在空间上和考虑对象重叠的在前帧的两个或多个对象的每个之间的距离。此后流程前进到步骤S64。
在步骤S64,拼接区域处理部分85从步骤S63上获得的对象中选择具有到考虑帧最小距离的一个对象,并把和所选择对象的标志相同的标志分配给考虑对象。
此后,流程前进到标志S65。在步骤S65,拼接区域处理部分85确定考虑帧中含有的所有对象的每个是否已经被指定为考虑对象。当步骤S65上的确定结果表明考虑帧中含有的所有对象的每个还未被指定为考虑对象时,拼接区域处理部分85把这些对象中的一个指定为考虑帧。此后,流程返回到步骤S61。在步骤S61,拼接区域处理部分85重复相似的处理。
另一方面,当步骤S65上的确定结果表明考虑帧中含有的所有对象的每个已经被指定为考虑对象时,流程返回到被调用进程。
下面,结合图24所示的流程图详细说明图21所示的在步骤S44上由分离区域处理部分86执行的分离区域处理。
分离区域处理部分86核对对象信息存储器88并把考虑帧的前一帧(在前帧)中含有的对象之一指定为一个考虑对象。此外,在步骤S71,分离区域处理部分86认同与对应于考虑对象的考虑帧的对象数目(认同的对象被称之为对应对象),并把对象的数目调整到变量N。
此后,流程前进到步骤S72。在步骤S72,分离区域处理部分86确定变量N是否等于2或大于2。
当步骤S72上的确定结果表明变量N不大于2(即,考虑帧中不含有在空间上与考虑对象重叠的对象或对象的数目为1)时,流程前进到步骤S76,跳过步骤S73至S75。
相反,当步骤S72上的确定结果表明变量N等于2或大于2(即,考虑帧中含有空间上与考虑对象重叠的两个或多个对象(对应于考虑对象的对象))时,流程前进到步骤S73。在步骤S73,分离区域处理部分86计算这些对象的每个与考虑对象之间的距离。此后,流程前进到步骤S74。
在步骤S74,分离区域处理部分86从这些对象中选择相距考虑对象具有最小距离的一个对象,和把与被选择对象的标志相同的标志分配给考虑对象。
此后,流程前进到步骤S75。在步骤S75,分离区域处理部分86把一个新标志分配给在步骤S74上未被选择的对象之一(即,除相距考虑对象最短距离的对象以外的对象)。此后,流程前进到步骤S76。
在步骤S76,分离区域处理部分86确定在前帧中含有的所有对象的每一个是否已经被指定为考虑对象。当步骤S76上的确定结果表明在前一帧中含有的所有对象的每一个还未被指定为考虑对象时,分离区域处理部分86指定这些对象之一为考虑对象。此后,流程返回到步骤S71。在步骤S71,分离区域处理部分86重复相似的处理。
当步骤S76上的确定结果表明在前帧中含有的所有对象的每一个已经被指定为考虑对象时,流程返回到被调用进程。
在上述情况下,当用户用控制信息输入部分24指定一个考虑点时,发送设备1控制数据的传送,以便以图像的时间分辨率为代价来改善含有考虑点的优先权范围内的一个图像的空间分辨率。另一方面,发送设备1可以学习用户的偏爱,相应于学习结果来检测用户打算用一个高空间分辨率观看的一个对象或类似物,并控制数据的传送以便用一个高空间分辨率显示该对象。
图25示出了在发送设备1执行这样一种控制的情况下图7所示的控制部分35的结构实例。
优先权范围指定部分91接收从接收设备2发送的一个控制信号,按上述方式指定优先权范围,并把指定的优先权范围供应给选择控制部分92和特征量提取部分93。
选择控制部分92控制MUX32(参见图7)的背景图像、对象和附加信息的数据选择。换句话说,当选择控制部分92从优先权范围指定部分91接收到优先权范围时,选择控制部分92控制MUX32(参见图7)以图像的时间分辨率为代价改善该优先权范围内图像的空间分辨率。此外,当选择控制部分92接收到来自对象检测部分95的一个标志时,选择控制部分92控制MUX32(参见图7)以图像的时间分辨率为代价改善具有该标志的对象的空间分辨率。
数据量计算部分34(参见图7)向选择控制部分92供应MUX32输出的多路复用数据的数据速率。选择控制部分92控制MUX32的数据选择,使多路复用的数据速率不超过传送路径3的传送速率。
预处理部分12(参见图3)输出的背景图像、对象和附加信息,以及优先权范围指定部分91输出的优先权范围,被供应给特征量提取部分93。特征量提取部分93提取从优先权范围指定部分91输出的优先权范围内的图像的特征量。换句话说,特征量提取部分93提取优先权范围内含有的对象的特征量,使该特征量反映用户正在考虑的图像的趋势。
实际上,例如如图26所示,特征量提取部分93提取的特定人的一个对象的特征量表示:一个对象是一个人,对象的移动是一致的,对象的景深方向的位置(景深)是前景,显示的对象的位置是中央,对象正在移动(对象是正在移动的一个位置),对象的区域包含眼睛、鼻子和嘴巴(对象的区域由眼睛、鼻子和嘴巴组成),对象的图案是条纹图案(对象是一个条纹部分),对象的颜色是红色的(对象是一个红色部分)。
特征量提取部分93获得一个提取对象的矢量(具有特征量的元素)(该矢量可以被称之为特征量矢量),并将条形图存储部分94中存储的获得特征量矢量的条形图的频率递增1。
条形图存储部分94把特征量矢量的条形图作为用户偏爱的学习结果进行存储。
对象检测部分95从预处理部分12(参见图3)供应的那些对象中检测一个对象,以便从条形图存储部分94中获得具有条形图最高频率的特征量矢量。换句话说,对象检测部分95按照与特征量提取部分93相同的方式获得一个特征矢量,用于预处理部分12(参见图3)供给的一个对象。此外,对象检测部分95核对条形图存储部分94中存储的条形图,确定预处理部分12(参见图3)供给的对象的特征量矢量是否被包含在具有最高频率的特征量矢量的特征量矢量空间的一个预定范围内。当特征量矢量被包含在预定范围内时,对象检测部分95把该对象指定为用户打算考虑的对象,并把该对象的标志供应给选择控制部分92。
下面,结合图27所示的流程图说明MUX32(参见图7)的控制处理。该控制处理由图25所示的控制部分35执行。
首先,在步骤S81,优先权范围指定部分91确定控制信号是否已经从接收设备2发送。当步骤S81上的确定结果表明控制信号已经从接收设备2发送时,流程前进到步骤S82。在步骤S82上,优先权范围指定部分91相应于该控制信号按上述方式指定一个优先权范围,并把该优先权范围供应给选择控制部分92和特征量提取部分93。
在步骤S83,选择控制部分92控制MUX32(参见图7)以图像的时间分辨率为代价改善优先权范围指定部分91所供给的优先权范围内一个图像的(一个对象和一个背景图像)的空间分辨率。
在步骤S84上,特征量提取部分93提取优先权范围指定部分91所供给的优先权范围内的图像的特征量,获得具有由对象的每一特征量所组成的元素的一个特征量矢量。在步骤S85上,特征量提取部分93将条形图存储部分94中存储的特征量矢量的条形图的频率递增1。流程返回到步骤S81。
在步骤S81到步骤S85的循环中,条形图存储部分94形成用户打算考虑的对象特征矢量的一个条形图。换句话说,条形图存储部分94学习用户的偏爱。
此外,特征量提取部分93可以量化所获得的特征量矢量,并递增与特征量矢量的量化结果相对应的代码的频率。在这种情况下,条形图存储部分94暂时存储代码的条形图。
相反,当步骤S81上的确定结果表明接收设备2还未发送控制信号时,流程前进到步骤S86。在步骤S86上,对象检测部分95按照与特征量提取部分93相同方式获得预处理部分12(参见图3)所提供的对象的特征量矢量。此外,在步骤S87上,对象检测部分95核对条形图存储部分94中所存储的条形图,并确定在有最高频率的特征量矢量周围的特征量矢量空间的一个预定范围内是否包含预处理部分12(参见图3)所提供的对象的一个特征量矢量。换句话说,在步骤S87,对象检测部分95确定具有最高频率的特征量矢量与预处理部分12所供给的对象的特征量矢量之间的距离是否等于或小于一个预定值。
如上所述,当条形图存储部分94存储作为矢量量化结果的代码条形图时,对象检测部分95量化所获得的特征量矢量。在步骤S87,对象检测部分95确定作为矢量量化结果的代码是否与条形图存储部分94中存储的条形图的最高频率的代码相匹配。
当步骤S87上的确定结果表明具有最高频率的特征量矢量与预处理部分12所供给的对象的特征量矢量之间的距离不小于预定值(即,由于用户的癖好,预处理部分12供给的对象是用户不打算考虑的对象)时,流程前进到步骤S88。在步骤S88上,选择控制部分92控制MUX32(参见图7),使接收设备2用常规空间分辨率和常规时间分辨率显示一个图像。此后,流程返回到步骤S81。
相反,当步骤S87上的确定结果表明具有最高频率的特征量矢量与预处理部分12所供给的对象的特征量矢量之间的距离等于或小于预定值(即,由于用户的癖好,预处理部分12供给的对象是用户打算考虑的对象)时,对象检测部分95把预处理部分12供给的对象的标志输出到选择控制部分92。此后,流程前进到步骤S89。
在步骤S89上,选择控制部分92控制MUX32(参见图7)以时间分辨率为代价改善具有从对象检测部分95供给的标志的对象的空间分辨率。此后,流程返回到步骤S81。
因而,在这种情况下,接收设备2显示具有从对象检测部分95输出的标志的一个对象,以便以时间分辨率为代价提高其空间分辨率。此后,接收设备2连续显示具有高空间分辨率的对象。
结果,接收设备2自动地显示用户倾向考虑的对象,从而不需要用户控制(干预)控制信息输入装置24就可以提高对象的空间分辨率。此后,接收设备2连续显示高空间分辨率的对象(然而,在此情况下,正如上所述那样,图像的时间分辨率恶化)。
在条形图存储部分94中作为用户偏爱的学习结果存储的特征量矢量的条形图可以周期性地、非周期性地或相应于接收设备2的用户请求来重新设置。
在上述情况下,其特征量矢量等于(匹配)或小于条形图最高频率的特征量矢量的对象的空间分辨率得到改善。另一方面,具有这样一种特征量矢量的所有对象的空间分辨率也得到改善:它的特征量矢量等于(匹配)或小于其条形图中的频率超过一个预定值的特征量矢量。
优先权范围是考虑点位于重心的一个预定范围(在上述情况下,优先权范围是一个矩形范围)。然而,也可以被说成:包含考虑点的一个矩形范围中的一个图像区域是用户有兴趣观看的一个图像区域(以下,把该区域称之为兴趣对象区域)。
另一方面,接收设备2显示的移动图像具有一个移动图像区域(以下,该区域可以称之为移动区域)和一个静止图像区域(以下,该区域可以称之为静止区域)。
为了改善兴趣对象区域的空间分辨率,必须在图像的移动区域或静止区域中认同(指定)用户正在考虑的兴趣对象区域。当用户正在考虑的兴趣对象区域可以被指定时,就可以获得用户未考虑的图像区域(例如,背景图像区域)。
即使用户考虑的一个兴趣对象区域可以在一个特定时间被指定,此后也可以被改变。因而,当用户考虑的一个图像区域被改变到另一个图像区域时,必须把新图像区域认同为兴趣对象区域。
此外,可以存在多个用户考虑的兴趣对象区域。在这种情况下,必须分离地认同这些兴趣对象区域。
于是图28示出了在便携式终端单元被用作图1所示的发送设备1和接收设备2的情况下图1所示的图像发送系统的第二结构的实例。在图28中,与图2相似的部分有相同的参考标号表示,并省略对它们的说明。换句话说,图28所示的图像发送系统的结构基本上与图2所示的图像发送系统的结构相同。
在图2所示的实施例中,控制诸如用户正在考虑的考虑点的坐标的空间分辨率和时间分辨率所需的所有信息、空间分辨率、时间分辨率和传送速率作为控制信息从接收设备2发送到发送设备1。相反,根据图28所示的实施例,正如下面将要说明的那样,用户用接收设备2的按键部分2-3操作(点击)的显示部分2-2上所显示的图像的考虑点的信息作为控制信息被发送(在下文中,可以把考虑点上的信息称之为点击数据)。
当发送设备1收到来自接收设备2的点击数据时,发送设备1相应于点击数据指定从接收设备2所显示的图像(该图像由发送设备1的摄像机部分1-1拍摄)中用户正在考虑的一个图像区域(兴趣对象区域),并控制发送给接收设备2的图像数据的信息量,以便当满足一个预定条件时改变指定图像区域的空间分辨率和时间分辨率。
下面图29示出了图28所示的发送设备1的结构实例。在图29中,与图3相似的部分由相同的参考标号表示,并省略对它们的说明。在图29所示的发送设备1中,背景图像提取部分1013、对象提取部分1014和发送处理部分1016被设置,以分别替代背景图像提取部分13、对象提取部分14和发送处理部分16。此外,接收设备2发送的点击数据不仅供应给与发送处理部分16相对应的发送处理部分1016,还供应给预处理部分12。除这些方面(要点)外,图29所示的发送设备1的结构大体上与图3所示的发送设备1的结构相同。然而,在图29所示的发送设备1中,背景图像提取部分1013的输出不供应给对象提取部分1014。相反,在图3所示的发送设备1中,背景图像提取部分13的输出被供应给对象提取部分14。此外,在图29所示的发送设备1中,对象提取部分1014的输出被供应给背景图像提取部分1013。相反,在图3所示的发送设备1中,对象提取部分14的输出不供应给背景图像提取部分13。
点击数据被供应给预处理部分12。在与处理部分12中,点击数据被供应给对象提取部分1014。对象提取部分1014提取(指定)接收设备2的用户从图像输入部分11所拍摄的图像中考虑的一个图像区域(兴趣对象区域),并把与提取的(指定的)兴趣对象区域相对应的图像数据供应给发送处理部分1016。当存在接收设备2的用户对图像输入部分11所拍摄的图像进行考虑的多个兴趣对象区域时,对象提取部分1014把多个兴趣对象区域的图像数据供应给发送处理部分1016。此外,对象提取部分1014所提取的兴趣对象区域的图像数据还被供应给附加信息计算部分15。
作为一个实例,用户进行考虑的兴趣对象区域是诸如一个实物的对象。下面,说明对象提取部分1014提取作为兴趣对象区域的一个实例的一个对象(以下称之为对象图像)的情况。应当注意的是兴趣对象区域不局限于一个对象。相反,一个兴趣对象区域可以是一个图像区域,而不是一个对象、一个对象中的一个图像区域、或背景图像部分(下面将进行说明)。然而,根据该实施例,将作为一个实例说明一个兴趣对象区域是一个对象的情况。下面将说明对象提取部分1014所执行的对象提取处理(兴趣对象区域指定处理)。
背景图像提取部分1013相应于对象提取部分1014的对象提取结果从图像输入部分11供给的图像数据中提取与该图像一个背景图像的部分(即,除兴趣对象区域外的一个图像区域;以下把背景图像部分称之为背景图像)相对应的一个信号(以下称之为背景图像数据),并把提取的背景图像数据供应给发送处理部分1016和附加信息计算部分15。在该实例中,其活动性低(即,没有像图像那样的价值)的一个平面图像区域被处理为一个背景图像。当然,像没有价值的图像那样,背景图像可以是用户不感兴趣对象。在该实例中,为了简便起见,上述平面图像区域将被说成背景图像。
附加信息计算部分15相应于背景图像提取部分1013供给的背景图像数据检测代表背景图像移动的背景图像移动矢量(该背景图像的移动相当于沿着图像输入部分11的拍摄方向移动)。此外,附加信息计算部分15相应于对象提取部分1014供给的对象图像的图像数据(在下文中,把该图像数据称之为对象图像数据)检测代表对象移动的一个对象移动矢量。附加信息计算部分15把作为附加信息一部分的被检测的移动矢量供应给发送处理部分1016。此外,附加信息计算部分15相应于作为附加信息的从对象提取部分1014供给的对象图像数据,向发送处理部分1016供应关于对象的信息,比如由图像输入部分11拍摄的图像(帧)的对象位置和轮廓。换句话说,当对象提取部分1014从图像数据中提取一个对象图像时,对象提取部分1014还提取有关该对象的信息,比如对象的位置和轮廓,并把该信息供应给附加信息计算部分15。附加信息计算部分15把有关该对象的信息输出为附加信息。
发送处理部分1016相应于接收设备2供给的点击数据对对象提取部分1014供应的对象图像数据、背景图像提取部分1013供应的背景图像数据、和附加信息计算部分15供应的附加信息进行编码,以便当接收设备2显示的图像的对象图像的空间分辨率被改善时,满足传送路径3的数据速率的条件。此后,发送处理部分1016多路复用该被编码的对象图像数据、编码的背景图像数据、和编码的附加信息,并且经传送路径3向接收设备2发送多路复用数据、帧速率信息等。
下面结合图30所示的流程图说明图29所示的发送设备1所执行的处理。
在步骤S91,发送设备1把图像输入部分11获得的图像数据输入给预处理部分12。
此后,在步骤S92,发送设备1接收从接收设备2发送的点击数据,并把该点击数据输入给预处理部分12。
在步骤S93,已经接收到图像数据和点击数据的预处理部分12执行用于提取背景图像、对象和附加信息的预处理,并把在预处理中获得的背景图像数据、对象图像数据和附加信息供应给发送处理部分1016。
在步骤S94上,发送处理部分1016计算对象图像数据、背景图像数据和附加信息的数据量,以便满足传送路径3的数据速率的条件。此后,发送处理部分1016相应于该数据量对对象图像数据、背景图像数据、和附加信息进行编码,随后多路复用它们。此后,发送处理部分1016经传送路径3将多路复用的数据和帧速率信息发送给接收设备2。
此后,流程返回到步骤S1。在步骤S1上,发送设备1重复相似的处理。
图31示出了图28所示的接收设备2的结构实例。在图31中,与图5中相似的部分用相似的参考标号表示,并省略对它们的说明。换句话说,在图31所示的接收设备2中,设置一个组合处理部分1022,来代替组合处理部分22。此外,设置了点击数据输入部分1024和点击数据发送部分1025,来分别代替设置了控制信息输入部分24和控制信息发送部分25。除这些方面外,图28所示的接收设备2的结构基本上和图5所示的接收设备2的结构相同。
发送设备1经传送路径3发送的多路复用数据被接收处理部分21接收。接收处理部分21把接收的多路复用数据分离成编码背景图像数据、编码对象图像数据、和编码附加信息数据,并对分离的数据进行解码。此后,接收处理部分21把解码的背景图像数据、对象图像数据和附加信息供应给组合处理部分1022。
组合处理部分1022组和解码的背景图像数据、对象图像数据和附加信息,并把该组合的图像信号供应给图像输出部分23。此外,组合处理部分1022相应于点击数据输入部分1024供应的点击数据控制组合的图像的空间分辨率和时间分辨率。
点击数据输入部分1024相应于用户进行的按键部分2-3的操作生成代表点击位置(坐标位置)和点击时间的点击数据。按键部分2-3作为一个指点装置,用于指定在相当于接收设备2(参见图28)的显示部分2-2的图像输出部分23上显示的图像的坐标位置。换句话说,当用户为图像输出部分23上显示的图像的预期图像位置(兴趣对象区域)点击按键部分2-3时,点击数据输入部分1024生成点击数据,它代表点击位置的坐标信息和点击时间。点击数据输入部分1024生成的点击数据被发送给组合处理部分1022和点击数据发送部分1025。
当点击数据发送部分1025接收到来自点击数据输入部分1024的点击数据时,点击数据发送部分1025经传送路径3把该点击数据发送给发送设备1。
下面结合图32所示的流程图简要说明由图31所示的接收设备2执行的处理。
首先,在步骤S101,接收设备2接收发送设备1经传送路径3发送的多路复用数据。
在步骤S102,接收处理部分21将多路复用数据分离成编码背景图像数据、编码对象图像数据、和编码附加信息数据,并对分离的编码数据进行解码。该解码的背景图像数据、对象图像数据和附加信息被发送给组合处理部分1022。
在步骤S103上,在接收设备2中,点击数据输入部分1024获得与用户进行的按键部分2-3的点击操作相对应的点击数据,并把点击数据供应给组合处理部分1022和点击数据发送部分1025。这样,该点击数据就从点击数据发送部分1025发送到发送设备1。
在步骤S104,组合处理部分1022相应于接收处理部分21供给的背景图像数据、对象图像数据、和附加信息以及点击数据输入部分1024供给的点击数据组合一个图像并控制该组合图像的空间分辨率及时间分辨率。发送设备1可以把接收设备2发送的点击数据放置在多路复用数据的首部信息中,并把合成的首部信息发送给接收设备2。在此情况下,接收设备2的组合处理部分1022可以从首部信息中获得点击数据。因而,不需要将该点击数据从点击数据输入部分1024供应给组合处理部分1022。
在步骤S105,在图像输出部分23的液晶显示器或类似物上显示由组合处理部分1022组合的图像。
此后,流程返回到步骤S101。在步骤S101上,接收设备2重复相似的处理。
图33示出了图29所示的发送设备1的发送处理部分1016的真实(实际)的结构实例。在图33中,与图7相似的部分用相似的参考标号表示,并省略对它们的说明。换句话说,除了图33所示的发送处理部分1016把点击数据而不是整个控制信息供应给控制部分35外,图33所示的发送处理部分1016的结构基本上与图7所示的发送处理部分1016的结构相同。
在图33中,背景图像数据、对象图像数据、和附加信息从图29所示的预处理部分12供应给发送处理部分1016。背景图像数据、对象图像数据和附加信息被输入给编码部分31和控制部分35。编码部分31按上述方式对供应的背景图像数据、对象图像数据和附加信息进行编码,并把得到的编码数据供应给MUX32。MUX32在控制部分35的控制下选择编码的背景图像数据、编码的对象图像数据和编码的附加信息数据,并把选择的数据作为多路复用数据供应给发送部分33。发送部分33相应于传送路径3的传送标准把MUX32供给的多路复用数据调制为下游部分(下行数据流),并经过传送路径3向接收设备2发送调制的数据。
另一方面,控制部分35控制从MUX32供应的多路复用数据的输出,,使数据量计算部分34供应的数据速率不超过传送路径3的传送速率。此外,控制部分35经传送路径3接收从接收设备2发送的点击数据,并相应于点击数据控制MUX32选择和多路复用编码的数据。
下面,结合图34所示的流程图由说明图33所示的发送处理部分1016执行的发送处理。
首先,在步骤S111,发送处理部分1016的控制部分35确定点击数据是否已从接收设备2发送。当步骤S111上的确定结果表明接收设备2未发送点击数据(即,控制部分35未接收到点击数据)时,流程前进到步骤S112。在步骤S112,和图10所示的步骤S22的情况一样,控制部分35控制MUX32选择编码的背景图像数据、编码对象数据和编码附加信息数据,并多路复用该选择的数据,以便接收设备2可以用常规时间分辨率显示一个图像。
此后,流程前进到步骤S113。在步骤S113上,发送处理部分1016从发送部分33经传送路径3发送MUX32供应的多路复用数据。此后,流程返回到步骤S111。
当步骤S111上的确定结果表明接收设备2已经发送点击数据(即,控制部分35已经接收到点击数据)时,流程前进到步骤S114。在步骤S114上,控制部分35相应于点击数据认同用户已经用接收设备2的按键部分2-3指定的一个考虑点的坐标(点击位置)和点击时间。
此后,在步骤S115上,控制部分35相应于考虑点的坐标(点击位置)和点击时间按下面将要描述的方式指定接收设备2方的用户考虑的兴趣对象区域,把兴趣对象区域指定为其空间分辨率被优先改善的一个图像的优先权范围,并检测优先权范围内的一个图像以及其附加信息。在这种情况下,优先权范围内的图像是对象图像。非优先权范围内的一个图像是例如像不感兴趣对象区域内的一个背景图像那样的一个图像。
此后,在步骤S116上,控制部分35控制MUX32选择优先权范围内的图像(对象图像)、非优先权范围内的一个图像(背景图像)以及附加信息的编码数据,并多路复用它们。换句话说,当控制部分35接收到来自接收设备2的点击数据时,像图10所示的步骤S26上情况那样,控制部分35控制MUX32,以便优先权范围内的图像的空间分辨率以时间分辨率为代价得到改善。
此外,在步骤S116上,控制部分35控制MUX32把高分辨率信息作为优先权范围的位置和尺寸信息插入到被选作多路复用数据的附加信息中。此后,流程前进到步骤S113。
在步骤S113上,发送设备33经传送路径3发送MUX32输出的多路复用数据。此后,流程返回到步骤S111。
如上述的那样,在图34所示的发送处理中,执行和图10所示的处理相似的处理。因而,当接收设备2的用户为了包含考虑点上的优先权分为内的图像而连续地操作点击数据输入部分1024(例如,他和她连续地指定相同的考虑点)时,优先发送改善空间分辨率的数据。因而,包含考虑点的优先权范围内的图像的空间分辨率被逐渐改善。结果优先权范围内的图像被更加清晰地显示了。换句话说,接收设备2侧的用户进行考虑的一个图像(一个兴趣对象区域和一个对象图像)被更加清楚地显示。
如上所述,图像数据的传送相应于传送路径3的传送速率进行控制,以便优先权范围内的图像(一个兴趣对象区域和一个对象图像)的空间分辨率和时间分辨率在分辨率的范围内变化。因而,在有限的传送速率下,可以进一步改善与接收设备2所显示的一个考虑点相对应的一个对象图像的空间分辨率。换句话说,由于优先权范围内的对象图像的空间分辨率以图像的时间分辨率为代价得到改善,因此可以以有限传送速率更加清楚地显示在接收设备2上显示的对象图像(即,空间分辨率可以被进一步改善)。
下面图35示出了图31所示的组合处理部分1022的结构的实例。在图35中,和图13所示的部分相同的部分由相同的参考标号表示,并省略对它们的说明。换句话说,组合处理部分1022中不设置背景图像标志存储器74。组合处理部分1022中设置的是组合部分1077而不是组合部分77。此外,供给组合部分1077的是点击数据而不是控制信息。除了这些方面外,图35所示的组合处理部分1022的结构基本上与图13所示的组合部分22的结构相同。
参见图35,接收处理部分21(参见图31)输出的背景图像数据被输入给背景图像写入部分71。接收处理部分21输出的对象图像数据被输入给对象写入部分72。接收处理部分21输出的附加信息被输入给背景图像写入部分71、对象写入部分72和组合部分1077。
背景图像写入部分71把供给的背景图像数据连续地写入背景图像存储器73。然而,在图35所示的实施例中,未设置图13所示实施例的背景图像标志存储器74。因而,在图35中,当背景图像写入部分71把背景图像数据写到背景图像存储器73上时,背景图像写入部分71不核对一个背景图像标志。
组合部分1077相应于附加信息中包含的背景图像移动矢量从背景图像存储器73中存储的背景图像数据中读出在当前时间(当前帧)显示的帧的一个背景图像,相应于附加信息中包含的一个对象移动矢量将对象存储器75中存储的一个对象图像与该背景图像相组合,并把当前帧的组合图像供应给显示存储器78。
此外,当组合部分1077接收到来自图31所示的点击数据输入部分1024的点击数据时,组合部分1077从对象存储器75中读出包含一个考虑点坐标位置的对象图像数据,该考虑点被包含在点击数据中,并把获得的对象图像数据供应给子窗口存储器79。
下面结合图36所示的流程图说明图35所示的组合处理部分1022所执行的处理(组合处理)。
首先,在步骤S121上,对象写入部分72相应于对象存储器75中存储的一个对象标识按上述方式写入图35所示的解码部分53所供应的对象图像数据。
此后,流程前进到步骤S122。对象写入部分72确定附加信息是否包含高分辨率信息。当步骤S122上的确定结果表明附加信息包含高分辨率信息(即,接收设备2的用户已经操作按键部分2-3,点击数据已经发送给发送设备1,并且发送设备1随后为优先权范围内的一个图像发送具有高空间分辨率的对象图像数据)时,流程前进到步骤S123。在步骤S123上,对象写入部分72将对象标志存储器76的相关对象标志调整到“1”。
换句话说,当发送设备1已经为优先权范围内的图像发送具有高空间分辨率的对象图像数据时,在步骤S121上,具有高空间分辨率的对象图像数据被写入对象存储器75。因而,在步骤S123上,组成具有高空间分辨率的对象的像素的对象标志被调整到“1”。
此后,流程前进到步骤S124。在步骤S124上,组合部分1077从对象存储器75中读出优先权范围内的对象图像数据,并把获得的对象图像数据写入到子窗口存储器79。
换句话说,当步骤S122上的确定结果表明附加信息包含高分辨率信息时,则如上述的那样,用户已经操作按键部分2-3,点击数据已经发送给发送设备1,并且发送设备1随后为优先权范围内的一个图像发送具有高空间分辨率的对象图像数据。发送给发送设备1的点击数据还供应给组合部分1077。当组合部分1077接收到点击数据时,在步骤S124上,组合部分1077相应于包含在点击数据中的考虑点的坐标和点击时间认同优先权范围,从对象存储器75中读出已从发送设备1发送的在优先权范围内的具有高空间分辨率的一个对象,并把获得的对象写到子窗口存储器79。此外,如上所述的那样,当发送设备1发送的首部信息包含点击数据时,组合部分1077可以依据首部信息中包含的点击数据认同该优先权范围。
此后,流程前进到步骤S125。在步骤S125上,组合部分1077相应于附加信息中包含的背景图像移动矢量从背景图像存储器73中读出当前帧的背景图像数据。此外,组合部分1077从对象存储器75中读出显示的当前帧的对象图像数据。此后,组合部分1077相应于附加信息中包含的一个对象移动矢量将当前帧的背景图像数据与已经从对象存储器75中读出的对象图像数据相组合,并把该当前帧的组合图像写到显示存储器78。换句话说,组合部分1077把背景图像数据写入到显示存储器78,然后将对象图像数据覆盖写到显示存储器78。结果,组合部分1077将已经组合了背景图像和对象图像的当前帧的图像数据写入到显示存储器78。
在上述方式中,写入到显示存储器78的当前帧的图像数据和写入到子窗口存储器79的对象图像数据被供应给图31所示的图像输入部分23,并在其上显示。
相反,当步骤S122上的确定结果表明附加信息不包含高分辨率信息(即,接收设备2的用户还未操作按键部分2-3),流程前进到步骤S125,跳过步骤S123和S124。如上所述的那样,在步骤S125,组合部分1077从背景图像存储器73读出当前帧的背景图像数据,从对象存储器75中读出所需的对象图像数据,并相应于附加信息将当前帧的背景图像和已经从对象存储器75中读出的对象图像数据进行组合。结果,当前帧的图像数据被形成并被写入到显示存储器78。此后,流程返回到步骤S121。在步骤S121上,组合部分1077重复相似的处理。
根据上述的组合处理,按照和结合图15所述情况相同的方式,显示用户考虑作为一个对象的具有高空间分辨率的一个图像。图35所示的组合处理部分1022没有图13所示的背景图像标志存储器74。因此,图35所示的背景图像写入部分71总是把供应的背景图像数据写入到背景图像存储器73。因此,在图36所示的组合处理中,背景图像的空间分辨率不像参考图13至15所述的情况那样能够得到改善。
下面,将说明相应于从接收设备2供给的点击数据提取对象图像(兴趣对象区域)的方法。该方法由图29所示的对象提取部分1044执行。
图37示出了图29所示的预处理部分12的对象提取部分1014的结构实例。
在图37中,图29所示的图像输入部分11所供应的图像数据被存储到图像存储器201。该图像数据从图像存储器201中读出,并供应给静止区域和移动区域确定部分203的公共端、对象图像提取部分213和选择开关207。图像存储器201存储静止区域和移动区域确定部分203进行静止区域和移动区域确定所需的至少几个帧的图像数据,该静止区域和移动区域确定部分203是图像存储器201的一个下游部分。
此外,接收设备2经传送路径3发送的点击数据被存储到点击数据存储器202。该点击数据从点击数据存储器202中读出并供应给静止区域和移动区域确定部分204的公共端、连续点击确定部分204和选择开关206。点击数据存储器202存储在作为点击数据存储器202的一个下游部分的连续点击确定部分204所执行的连续点击确定一个预定时间周期(例如,大于500到700毫秒)所需的点击数据。
静止区域和移动区域确定部分203确定由接收设备2发送的当前点击数据所代表的点击位置(图像上的坐标值)周围的局部小块的图像区域(例如,16×16像素)是移动区域还是静止区域。换句话说,静止区域和移动区域确定部分203为点击位置周围的16×16个像素获得当前帧的图像区域与一个过去帧的图像区域之间的差值,该过去帧先于当前帧几个帧(以下,把该过去帧称为过去帧)。当帧间的差值等于或小于预定阈值时,静止区域和移动区域确定部分203确定该图像区域是静止区域。相反,当该差值大于预定阈值时,静止区域和移动区域确定部分203确定该图像区域是移动区域。当处理彩色图像时,静止区域和移动区域确定部分203为R、G和B的每一个的16×16个像素的图像获得当前帧的图像区域与过去帧的图像区域之间的差值。当为R、G、B获得的帧差值的绝对值的平均值等于或小于一个预定阈值(例如,等于或小于10)时,静止区域和移动区域确定部分203确定该图像区域是静止区域。相反,当该平均值大于预定阈值时,静止区域和移动区域确定部分203确定该图像区域是一个移动区域。当移动区域和静止区域确定部分203确定图像区域是一个静止区域时,静止区域和移动区域确定部分203确定点击数据存储器202输出的当前点击数据是静止点击(静止区域中的一个点击)。当静止区域和移动区域确定部分203确定图像区域是一个移动区域时,静止区域和移动区域确定部分203确定点击数据存储器202输出的当前点击数据是移动点击(移动区域中的一个点击)。此后,静止区域和移动区域确定部分203向处理确定部分205发送作为静止区域和移动区域确定结果的表示静止点击和移动点击的信息。
连续点击确定部分204相应于从接收设备2发送的点击数据的点击时间确定接收设备2的用户是否已经连续执行点击操作。换句话说,连续点击确定部分204获得接收设备2发送的当前点击数据的点击时间与前一点击数据的点击时间之间的时间差(即,点击时间间隔)。当该时间差等于或小于预定阈值时,连续点击确定部分204确定用户未执行连续点击操作。当连续点击确定部分204确定用户已经执行连续点击操作时,连续点击确定部分204按连续点击处理从点击数据存储器202输出的当前点击数据。相反,连续点击确定部分204确定用户还未执行连续点击操作(即,当前点击时间与前一点击时间之间的时间差等于或小于预定阈值)时,连续点击确定部分204按非连续点击处理从点击数据存储器202输出的当前点击数据。此后,连续点击确定部分204向处理确定部分205发送作为连续点击确定结果的表示连续点击或非连续点击的信息。
处理确定部分205相应于静止区域和移动区域确定部分203的静止区域和移动区域确定结果和连续点击确定部分204的连续点击确定结果控制选择开关206、选择开关207和选择开关208。
换句话说,相应于静止区域和移动区域确定结果和连续点击确定结果,当点击数据存储器202输出的当前点击数据是静止点击和连续点击时,处理确定部分205控制选择开关206,使点击数据存储器202输出的当前点击数据被发送给静止对象连接处理部分211。此外,处理确定部分205控制选择开关207,使图像存储器201输出的图像数据被发送给静止图像连接处理部分211。然而,处理确定部分205控制选择开关208,使对象提取结果存储器214输出的前一点击数据(后面将要说明)、分配给该点击数据的对象号(相当于上述的标志,并归类(标识)对象)和与该对象号相对应的对象图像数据发送给静止对象连接处理部分211。
此外,相应于静止区域和移动区域确定结果和连续点击确定结果,当点击数据存储器202输出的当前点击数据是一个移动点击和一个连续点击时,处理确定部分205控制选择开关206,使点击数据存储器202输出的当前点击数据发送给移动对象连接处理部分210。此外,处理确定部分205控制选择开关207,使图像存储器201输出的图像数据发送给移动对象连接处理部分210。此外,处理确定部分205控制选择开关208,使对象提取结果存储器214输出的前一单击数据(后面将进行说明)、分配给该点击数据的对象号、和对应于该对象号的对象图像数据发送给移动对象连接处理部分210。
此外,相应于静止区域和移动区域确定结果和连续点击确定结果,当点击数据存储器202输出的当前点击数据是一个静止点击和一个连续点击(当前点击时间与前一点击时间之间的时间差等于或大于预定阈值)时,处理确定部分205控制选择开关206,使点击数据存储器202输出的当前点击数据发送给对象号分配部分209。此外,处理确定部分205控制选择开关207,使从图像存储器201输出的图像数据发送给静止对象连接处理部分211。此时,选择开关208控制选择开关208。使对象提取结果处理器214输出的前一点击数据、对象号、和对象图像数据不发送给静止对象连接处理部分211(在此情况下,例如,选择开关208打开)。
此外,相应于静止区域和移动区域确定结果和连续点击确定结果,当点击数据存储器202输出的当前点击数据是一个移动点击和一个非连续点击(当前点击时间与前一点击时间之间的时间差等于或大于预定阈值)时,处理确定部分205控制选择开关206,使点击数据存储器202输出的当前点击数据不发送给对象号分配部分209。此外,处理确定部分205控制选择开关207,使图像存储器201输出的图像数据发送给移动对象连接处理部分210。此时,处理确定部分205控制选择开关208,使得对象提取结果存储器214输出的前一点击数据、对象号、和对象图像数据不发送给移动对象连接处理部分210(例如,打开选择开关208)。
对象号分配部分209把一个新对象号分配给由静止对象连接处理部分211和移动对象连接处理部分210按一个连接处理进行处理的作为一个非连续点击而不是连续点击的点击数据(下面将进行说明),并把该对象号和点击数据发送给对象号存储器212。
当处理确定部分205确定点击数据存储器202输出的当前点击数据是移动点击和连续点击时,移动对象连接处理部分210确定前一点击数据是否是移动点击,当前点击位置附近的图像特征是否被包含在具有分配给前一点击数据的对象号的移动对象图像区域的特征内,或它们(当前点击数据和前一点击数据)是否相同。当确定结果是肯定的时,移动对象连接处理部分210确定当前点击是对相同对象图像的点击。因而,移动对象连接处理部分210执行一个连接处理,将与前一点击数据相同的对象号分配给当前点击数据和把该对象号和点击数据发送给对象号存储器212。
当处理确定部分205的确定结果表明点击数据存储器202输出的当前点击数据是静止点击和连续点击时,静止对象连接处理部分211确定前一点击是否是静止点击,以及当前点击位置是否被包含在具有分配给前一点击数据的对象号的静止对象图像的区域中,或当前点击位置是否接近该区域。当静止对象连接处理部分211的确定结果是肯定的时,静止对象连接处理部分211确定当前点击是用于与前一点击相同的对象的点击。因而,静止对象连接处理部分211执行一个静止对象连接处理,将与前一点击数据相同的对象号分配给当前点击数据并把该对象号和点击数据发送给对象号存储器212。
对象号存储器212存储已经由对象号分配部分209、移动对象连接处理部分210和静止对象连接处理部分211分配了对象号的多个过去帧的点击数据,并把该存储的点击数据和对象号发送给对象图像提取部分213。
对象图像提取部分213相应于已从对象号存储器212供应的并且已经分配了对象号多个过去帧的点击数据,从图像存储器201供给的图像数据中提取静止对象图像、移动对象图像、背景图像等,并且把提取的结果供应给对象提取结果存储器214。
换句话说,对象图像提取部分213相应于从对象提取部分213供应的并且已经分配了对象号多个过去帧的点击数据,从作为静止点击的具有高点击数据密度的点击数据的图像部分中获得一个占优的对象号。对象图像提取部分213相应于用占优对象号分配的点击数据的分配形成一个对象的形状,并从该图像数据中提取按一个对象图像构形对象的一个图像。
此外,对象图像提取部分213对于在被确定为移动点击的点击数据中分配了相同对象号的点击位置附近的帧的图像,执行一个图案匹配操作,并相应于该匹配结果为该图像执行移动补偿。然而,对象图像提取部分213从被确定为相似图像区域的一个图像数据中获得具有高点击密度的一个图像区域(即,通过移动补偿调整的图像区域)的占优对象号。对象图像提取部分213相应于分配了占优对象号的点击数据的分配构成一个图像的形状,并从该图像区域中提取以一个对象图像构形的一个图像。
此后,对象图像提取部分213把具有低静止点击密度和低移动点击密度的一个图像部分指定为一个背景图像。
对象提取结果存储器214存储由对象图像提取部分213提取的对象图像数据,以及点击数据、对象号等。必要时,对象提取结果存储器214向图29所示的背景图像提取部分1013、附加信息计算部分15和发送处理部分1016供应该对象图像数据。
下面,结合图38所示的流程图说明相应于接收设备2发送的点击数据来提取接收设备2的用户从正在拍摄的一个图像中考虑的一个对象图像(感兴趣的对象区域)的处理。该处理由图37所示的对象提取设备1014执行。
首先,在步骤S131,图像存储器201存储图像输入部分11输入的一帧的图像数据(输入无论何时发送的帧图像数据)。图像存储器201存储在步骤S133上执行静止区域和移动区域确定处理所需的至少几个帧的图像数据。
在步骤S131上,当接收设备2经发送路径3发送点击数据时,点击数据存储器202存储该点击数据。点击数据存储器202存储在步骤S133上执行的连续点击确定处理(下面将进行说明)至少一个预定时间周期(例如,长达500至700毫秒)所需的的点击数据。
此后,流程前进到步骤S132,在步骤S132,对象提取部分1014确定是否存储了接收设备2已发送的并且未被处理的点击数据。当步骤S132上的确定结果表明点击数据存储器202没有存储未被处理的点击数据时,流程返回到步骤S131。在步骤S131上,对象提取部分1014等待输入图像数据和点击数据。相反,当步骤S132上的确定结果表明点击数据存储器202存储了未被处理的点击数据时,流程前进到步骤S133。在步骤S133上,对象提取部分1014把未被处理的最旧的点击数据指定为当前点击数据。静止区域和移动区域确定部分203、连续点击确定部分204和处理确定部分205为该当前点击数据执行静止区域和移动区域确定处理和连续点击确定处理。
换句话说,在步骤S133上,静止区域和移动区域确定部分203使用接收设备2发送的当前点击数据中含有的点击位置信息(图像坐标值)执行静止区域和移动区域的确定处理,以确定作为一个点击位置周围的局部小块的一个图像区域是一个移动区域还是一个静止区域。
下面,更实际地说明由静止区域和移动区域确定部分203执行的图38所示的在步骤S133上进行的静止区域和移动区域确定处理。如图39所示的流程图所示,在步骤S141上,静止区域和移动区域确定部分203从图像存储器201和点击数据存储器202分别读出几个帧的图像数据和点击数据。处理一个彩色图像时,如图40(A)所示,静止区域和移动区域确定部分203读出用于R(红)、G(绿)、B(蓝)的几个帧的图像数据。此外,静止区域和移动区域确定部分203从图像数据存储器201和点击数据存储器202中分别读出包含对应于当前点击数据的一个帧的几个过去帧的图像数据和对应于为这几个帧所执行的点击的点击数据。
此后,在步骤S142上,对于当前点击数据的点击位置周围的水平方向和垂直方向上的由16×16象素组成的一个局部小块,静止区域和移动区域确定部分203计算当前帧的一个图像区域与超前该当前帧几个帧的过去帧(该过去帧被称之为过去帧)之间的差值。处理一个彩色图像时,在步骤S142上,如图40(B)和40(A)所示,静止区域和移动区域确定部分203获得用于R、G和B每一个的由16×16象素组成的一个图像的帧之间的差值并获得用于R、G和B每一个的差值绝对值的平均值。
此后,在步骤S143上,静止区域和移动区域确定部分203确定在步骤S142上计算的帧间差值是否等于或小于一个确定的阈值。此后,流程前进到步骤S144。当帧间差值等于或小于预定阈值时,静止区域和移动区域确定部分203确定包含当前点击数据的点击位置的一个小块(该小块可以被称之为当前块)是一个静止区域。相反,当帧间差值大于预定阈值时,静止区域和移动区域确定部分203确定该当前块是一个移动区域。此外,当静止区域和移动区域确定部分203的确定结果表明当前块是一个静止区域时,静止区域和移动区域确定部分203把对应于当前块的图像区域的点击数据指定为一个静止点击。相反,当静止区域和移动区域确定部分203的确定结果表明当前块是一个移动区域时,静止区域和移动区域确定部分203把相当于当前块的图像区域点击数据指定为一个移动点击。静止区域和移动区域确定部分203输出作为静止区域和移动区域确定结果的该确定结果。
在处理一个彩色图像的情况下,在步骤S144,如图40(D)所示,当用于R、G和B每一个的16×16象素的每个块的帧间差值的绝对值的平均值小于或等于一个预定阈值(例如,“10”)时,静止区域和移动区域确定部分203把预定标志调整到例如“0”。相反,当该平均值大于预定阈值时,静止区域和移动区域确定部分203把预定标志调整到例如“1”。在步骤S144上,如图40(E)所示,当用于16×16象素的当前块的R、G和B的所有标志都为“0”时,静止区域和移动区域确定部分203确定当前块是一个静止区域,并把对应于当前块的图像区域的点击数据指定为静止点击。相反,当标志之一是“1”时,静止区域和移动区域确定部分203确定当前块是一个移动区域并且把与当前块的图像区域相对应的点击数据指定为一个移动点击。静止区域和移动区域确定部分203输出作为静止区域和移动区域确定结果的静止点击或移动点击的信息。
返回到图38,在步骤S133上,连续点击确定部分204连续点击确定处理,确定接收设备2的用户所执行的点击操作是否是与接收设备2发送的点击数据中包含的点击时间相对应的连续点击操作。
下面说明图38所示的在步骤S133上执行的连续点击确定部分204的处理。根据图41所示的流程图,在步骤S151上,点击数据存储器202读出在点击数据存储器202中存储的点击数据。
此后,在步骤S152上,连续点击确定部分204计算从接收设备2发送的当前点击数据的点击时间与前一点击数据的点击时间(在前时间)之间的时间差(点击间隔)。
然后,在步骤S153上,连续点击确定部分204确定该时间差是否等于或小于一个预定阈值。当步骤S153上的确定结果表明该时间差等于或小于预定阈值时,连续点击确定部分204确定当前点击数据是连续点击。相反,当步骤S153上的确定结果表明该时间差大于预定阈值时,连续点击确定部分204确定当前点击数据不是连续点击。此后,流程前进到步骤S154。在步骤S154上,连续点击确定部分204输出代表作为连续点击确定结果的连续点击或非连续点击的信息。
换句话说,当步骤S153上的确定结果表明当前点击数据是连续点击时,接收设备2的用户往往是对一个对象图像连续执行点击操作。这是因为,当接收设备2的用户请求发送设备1发送具有高空间分辨率的对象图像数据(兴趣对象区域中的数据)时,他或她往往连续地点击用户想要改善其空间分辨率的一个对象图像部分(兴趣对象区域)。因而,当连续点击确定部分204的确定结果表明当前点击操作是连续点击操作时,连续点击确定部分204把当前点击数据指定为连续点击。相反,当连续点击确定部分204的确定结果表明当前点击操作不是连续点击操作(即,当前点击的点击时间与前一点击的点击时间之间的时间差等于或大于预定阈值)时,连续点击确定部分204把当前点击数据指定为一个非连续点击。连续点击确定部分204输出连续点击确定结果。
返回到图38,在步骤S133上,当静止区域和移动区域确定部分203和连续点击确定部分204的确定结果表明当前点击数据是静止点击和连续点击时,处理确定部分205按上述方式控制选择开关206、选择开关207和选择开关208。因而,在步骤S135上,静止对象连接处理部分211执行一个静止图像连接处理。当确定结果表明当前点击数据是一个移动点击和一个连续点击时,处理确定部分205按上述方式控制选择开关206、选择开关207和选择开关208。因而,在步骤S136上,移动对象连接处理部分210执行一个移动对象连接处理。当确定结果表明当前点击数据是非连续点击时,处理确定部分205按上述方式控制选择开关206、选择开关207和选择开关208。在步骤S136上,移动对象连接处理部分210执行移动对象连接处理。当确定结果表明当前点击数据是一个非连续点击时,处理确定部分205按上述方式控制选择开关206。因而,在步骤S134上,对象号分配部分209执行新对象号分配处理。
换句话说,当步骤S133上的确定结果表明当前点击数据是非连续点击时,流程返回到步骤S134。在步骤S134上,对象号分配部分209把一个新对象号分配给当前点击数据。此后,流程返回到步骤S131。
实际上,如图42(A)所示,当分配给由实线X代表的前一点击数据CL1的一个对象号是例如“0”时,如果由图42(A)中的虚线X标记代表的当前点击数据CL2(即,未指定一个对象号的点击数据)被确定为一个非连续点击时,对象号分配部分209把一个新对象号分配给由图42(B)中的实线X标记代表的当前点击数据CL2(在该实例中,新对象号是“1”)。相反,当步骤S133上的确定结果表明当前点击数据是连续点击和静止点击时,如果前一点击是静止点击,以及当前点击位置被包含在与分配给前一点击数据的对象号相对应的一个图像区域中,或者当前点击位置接近该图像区域,则静止对象连接处理部分211判定当前点击是用于与前一点击相同的对象图像的一个点击。因而,在步骤S134上,静止对象连接处理部分211执行静止图像连接处理,用于为当前点击数据分配与前一点击数据相同的对象号。
换句话说,如图43所示的流程图所示,在步骤S161上,静止对象连接处理部分211确定前一点击数据是否是连续点击和静止点击。当步骤S161上的确定结果表明前一点击数据是连续点击和静止点击时,流程前进到步骤S162。相反,当步骤S161上的确定结果表明前一点击不是连续点击和静止点击时,流程前进到步骤S164。
当步骤S161上的确定结果表明前一点击数据不是连续的和静止的点击时,在步骤S164上,静止对象连接处理部分211按照与结合图42(A)和(B)所述的相同的方式把一个新对象号分配给当前点击数据。此后,流程前进到图38所示的步骤S137。
相反,当步骤S161上的确定结果表明前一点击数据是连续点击和静止点击时,流程返回到步骤S162。在步骤S162上,静止对象连接处理部分211获得当前点击位置与对应于分配给前一点击数据的对象号的图像区域之间的空间距离。当当前点击位置被包含在与分配给前一点击数据的对象号相对应的图像区域中时,或当前点击位置接近该图像区域时,静止对象连接处理部分211确定当前点击数据是与前一点击相同的对象图像的点击数据。相反,当当前点击位置未包含在与分配给前一点击数据的对象号相对应的图像区域中时,以及当前点击位置远离该图像区域时,静止对象连接处理部分211确定当前点击数据是与前一点击不同的对象图像的点击数据。当步骤S162上的确定结果表明当前点击数据是与前一点击相同的对象图像的点击数据时,流程前进到步骤S163。相反,当步骤S162上的确定结果表明当前点击数据是不同于前一点击的对象图像的点击数据时,流程返回到步骤S164。
当步骤S162上的确定结果表明当前点击数据是不同于前一点击的对象图像的点击数据时,流程返回到步骤S164。在步骤S164,静止对象连接处理部分211把一个新对象号分配给当前点击数据。此后,流程前进到图38所示的步骤S137。
相反,当步骤S162上的确定结果表明当前点击数据是与前一点击相同的对象图像的点击数据时,在步骤S163上,静止对象连接处理部分211执行静止对象连接处理,用于把和前一点击数据相同的对象号分配给当前点击数据。
实际上,如图42(C)所示,当分配给由实线X标记所表示的前一点击数据CL1的一个对象号是“0”时,如果由图42(C)所示的虚线X标记所表示的当前点击标记CL2(即,未给当前点击数据指定一个对象号)被确定为连续点击和静止点击,前一点是静止点击以及当前点击位置被包含在与分配给前一点击数据的一个对象号相对应的图像区域中,或者当前点击位置接近该图像区域,则静止对象连接处理部分211把与前一点击数据相同的对象号(在该实例中为“1”)分配给由图42(D)所示的实线X标记表示的当前点击数据CL2。
静止对象连接处理部分211把与前一点击数据相同的对象号分配给当前点击数据后。流程前进到图38所示的步骤S137。
当步骤S133上的确定结果表明当前点击数据是连续点击和移动点击、前一点击是移动点击、以及当前点击位置附近的图像特征被包含在与分配给前一点击的对象号相对应的图像区域(16×16象素)的特征中、或前者接近于后者时,移动对象连接处理部分210确定该点击是与前一点击相同的对象图像的点击。在步骤S136上,移动对象连接处理部分210执行移动对象连接处理,用于把和前一点击数据相同的对象号分配给当前点击数据。
换句话说,当步骤S133上的确定结果表明当前点击数据是连续点击和移动点击时,则如图44所示,在步骤S171上,移动对象连接处理部分210确定前一点击数据是否是连续点击和移动点击。当步骤S171上的确定结果表明前一点击数据是连续点击和移动点击时,流程前进到步骤S172。相反,当步骤S171上的确定结果不是连续点击和移动点击时,流程前进到步骤S174。
当步骤S171上的确定结果表明前一点击数据不是连续点击和移动点击时,流程前进到步骤S174。在步骤S174,移动对象连接处理部分210按照结合图41(A)和(B)所述的相同方式把一个新对象号分配给当前点击数据。此后,流程前进到图38所示的步骤S137。
当步骤S171上的确定结果表明前一点击数据是连续点击和移动点击时,流程前进到步骤S172。在步骤S172,移动对象连接处理部分210获得当前点击位置附近的图像数据(16×16象素)的特征,和与分配给前一点击的对象号相对应的图像区域的特征。当当前点击位置附近的图像区域的特征包含在与分配给前一点击数据的对象号相对应的图像区域的特征中,并且前者接近后者时,接收处理部分210确定该点击是与前一点击相同的对象图像的点击。相反,当与分配给前一点击数据的对象号相对应的图像区域的特征中不包含当前点击位置附近的图像区域的特征时,或前者远离后者时,接收处理部分210确定当前点击数据是不同于前一点击的对象图像的点击数据。在此情况下,图像区域的特征是例如一个点击位置附近的局部区域(16×16象素)的颜色(平均颜色,典型颜色,或类似物)、条形图或图案。当相同对象号被分配给多个移动点击时,则意味着在这些点击数据中跟踪一个对象。当步骤S172上的确定结果表明当前点击数据是用于与前一点击相同的对象图像的点击数据时,流程前进到步骤S173。相反,当步骤S172上的确定结果表明当前点击数据是用于不同于前一点击的对象的点击数据时,流程前进到步骤S174。
当步骤S172上的确定结果表明当前点击数据是用于不同于前一点击的对象图像的点击数据时,流程前进到步骤S174。在步骤S174上,移动对象连接部分210按上述方式把一个新对象号分配给当前点击数据。此后,流程前进到图38所示的步骤S137。
当步骤S172上的确定结果表明当前点击数据是用于与前一点击相同的对象图像的点击数据时,流程前进到步骤S173。在步骤S173,移动对象连接处理部分210把与前一点击数据相同的对象号分配给当前点击数据。
实际上,当分配给由图42(E)所示的实线X表示的前一点击数据CL1的一个对象号是例如“0”时,如果由图42(E)所示的虚线X表示的当前点击数据CL2被确定为连续点击和移动点击,以及当前点击位置附近的图像的特征被包含在与分配给前一点击的对象号相对应的对象图像的特征中,或者前者接近于后者,则移动对象连接处理部分210把与前一点击数据相同的对象号(在该实例中为“0”)分配给由图42(F)所示的实线X标记表示的当前点击数据CL2。
在步骤S173,在移动对象连接处理部分210把与前一点击相同的对象号分配给当前点击数据后,流程前进到步骤S137。
当流程从图38所示的步骤S135前进到步骤S137时,对象图像提取部分213从与分配了对象号并存储在对象号存储器212中的过去几个帧的点击数据相对应的输入数据中和存储在图像存储器20中的过去几个帧的图像数据中提取静止对象图像、移动对象图像和其他的背景图像。换句话说,似乎是静止对象图像被包含在具有高静止点击数据密度的图像部分中。此时,对象图像提取部分213获得与分配了对象号的过去几个帧相对应的静止点击数据密度,获得具有高静止点击密度的图像部分的占优对象号,形成与分配了占优对象号的点击数据的分布相对应的对象的形状,和从图像数据中提取按静止对象图像构形对象的一个图像。
当流程从步骤S136前进到步骤S137时,对象图像提取部分213为分配了相同的对象号的移动点击数据的点击位置附近的帧的图像执行图案匹配操作,对应于该匹配结果执行图像的移动补偿,获得具有高点击密度的图案匹配图像区域的占优对象号,相应于分配了占优对象号的点击数据的分布形成一个对象的形状,并从图像数据中提取按移动对象图像构形对象的一个图像。
在步骤S137上,对象图像提取部分213把具有低静止点击密度或低移动点击数据的一个图像部分处理为当前背景图像。换句话说,对象图像提取部分213把从图像数据中提取的除静止对象图像和移动对象图像之外的一个图像部分处理为一个背景图像。
下面结合图45所示的流程图详细说明步骤S137上的处理。首先,在步骤S181上,对象图像提取部分213捕获几个过去帧分配对象号的点击数据和与其对应的图像数据。此后在步骤S182上,对象图像提取部分213把点击数据归类为静止点击和移动点击。当流程从图38所示的步骤S135前进到步骤S137时,流程从图45所示的步骤S182前进到步骤S184。相反,当流程从图38所示的步骤S136前进到步骤S137时,流程从图45所示的步骤S182前进到步骤S184。
当流程从图38所示的步骤S135前进到步骤S137时,流程从图45所示的步骤S182前进到步骤S184。在步骤S184上,对象图像提取部分213获得用于16×16象素的每个块的分配了一个对象号的每个静止点击的一个静止点击数据密度。
此后,在步骤S185上,对象图像提取部分213确定用于由一个图像虚线框表示的16×16象素的每个块bk的由图46(A)所示的X标记所表示的静止点击的静止点击密度是否等于或大于一个预定值。
在发送给接收设备2的一个图像中,具有高静止点击密度的图像部分往往包含一个静止对象图像。因而,当一个特定块的静止点击密度等于或大于预定值时,流程前进到步骤S186。相反,当一个特定块的静止点击密度小于预定值时,流程前进到步骤S190。
在步骤S186,当块的静止点击密度超过一个预定值时,如图46(E)所示,对象图像提取部分213从分配给块的点击数据的对象号中获得最占优的对象号。此后,对象图像提取部分213组合与图46(B)所示的占优对象号相对应的块(BK0,BK2,BK4,和BK5)并构形对象。对象图像提取部分213从图像数据中提取按静止对象图像构形对象的图像。在步骤S186之后,流程前进到图38所示的步骤S138。
另一方面,当流程从图38所示的步骤S136前进到步骤S137时,流程从图45所示的步骤S182前进到步骤S183。
在步骤S183上,如图46(C)所示,对象图像提取部分213为分配了与由图46(C)所示的X标记表示的移动点击相同的点击数据对象号的点击位置附近的多个过去帧的图像执行图案匹配操作,并为对应于匹配结果的图像执行移动补偿。
此后,在步骤S187上,对象图像提取部分213获得图案匹配图像区域中的一个移动点击密度。
此后,在步骤S188上,对象图像提取部分213确定该图像的由图46(D)所示的X标记的表示的移动点击的移动点击密度是否等于或大于预定值。
进行了移动补偿并且具有一个高移动点击密度的一个图像部分往往包含一个移动对象图像。因而,当进行了移动补偿的一个图像区域的移动点击密度等于或大于预定值时,流程前进到步骤步骤S189。相反,当进行了移动补偿的一个图像区域的移动点击密度小于预定值时,流程前进到步骤步骤S190。
在步骤S189上,对象图像提取部分213为具有等于或大于预定值的一个移动点击密度的一个图像区域从分配给点击数据的对象号中获得最占优的对象号。此后,如图46(D)所示,对象图像提取部分213组合与占优对象号相对应的块(BK3和BK6),并构形对象。此后,对象图像提取部分213从该图像数据中提取按移动对象图像构形的图像。在步骤S189之后,流程前进到图38所示的步骤S138。
在步骤S185和S188上,当点击密度小于预定值时,流程前进到步骤S190。在步骤S190上,对象图像提取部分213把具有低静止点击密度或低移动点击密度的一个图像部分处理为当前图像的背景图像区域。换句话说,对象图像提取部分213把已经从图像数据中提取的除静止对象图像和移动对象图像外的图像部分处理为背景图像。在步骤S190之后,流程前进到步骤图38所示的步骤S138。
在对象图像提取部分213已经从图像数据中提取一个静止对象图像、一个移动对象图像和一个背景图像后,流程前进到图38所示的步骤S138。在步骤S138上,对象图像提取部分213确定对象提取处理是否完成。当步骤S138上的确定结果为否定的时,流程前进到步骤S131。当步骤S138上的确定结果是肯定的时,对象提取部分213则完成了对象提取处理。
在上述的处理中,图29所示的发送设备1的对象提取部分1014可以相应于与接收设备2的用户所执行的点击操作相对应的点击数据提取静止对象图像、移动对象图像和背景图像。
在图28所示的实施例中,其活动小的平面图像区域(即,没有图像价值)被处理为背景图像。对于该背景图像,不改善空间分辨率。另一方面,可以相应于从接收设备2发送的点击数据提取背景图像,以便改善其空间分辨率。
在这种情况下,图29所示的背景图像提取部分1013提取与接收设备2发送的点击数据相对应的背景图像。发送处理部分1016发送背景图像,以便按照对象图像的空间分辨率被改善的相同方式改善其空间分辨率。
在这种情况下,如图47所示,图13所示的背景图像标志存储器74被加到图31所示的组合处理部分1022上。除了背景图像标志存储器74之外,图47所示的组合处理部分1022的结构与图35所示的组合处理部分1022的结构相同。如同图13所示的结构,在图47所示的结构中,当背景图像写入部分17把一个具有高空间分辨率的对象的背景图像写入到背景图像存储器73时,相应于组成背景图像的每个象素在背景图像标志存储器74的一个地址上存储的背景图像标志从“0”变为“1”。换句话说,当背景图像写入部分71把背景图像数据写入到背景图像存储器73时,背景图像写入部分71核对背景图像标志存储器74。当背景图像标志为“1”(即,当背景图像存储器73已经存储具有高空间分辨率的背景图像数据)时,背景图像写入部分71不把具有低空间分辨率的背景图像数据写入到背景图像存储器73。无论何时向背景图像写入部分71供应背景图像数据,该背景图像数据都被写入到背景图像写入部分71。然而,当背景图像存储器73已经存储具有高空间分辨率的背景图像数据时,背景图像写入部分71不把具有低空间分辨率的背景图像数据写入到背景图像存储器73。因而,无论何时向背景图像写入部分71供应具有高空间分辨率的背景图像数据,具有高空间分辨率的背景图像的数目都增加到背景图像存储器73中。
在该实例中,当组合部分1077接收到来自图31所示的点击数据输入部分1024的点击数据时,组合部分1077从背景图像存储器73和对象存储器75中读出对象图像数据和背景图像数据,这些数据包含在点击数据中含有的一个考虑点的坐标位置,并把获得的数据供应给子窗口存储器79。
下面说明确定(认同)接收设备2的用户的兴趣对象区域的变化和归类每个兴趣对象区域的技术。
各种类型的图像被分析,以确定用户感兴趣的对象区域是否已经改变以及是否归类了每个兴趣对象区域。该分析显示了以下结果。
首先,人们(用户)的兴趣对象区域是具有价值的区域单元(例如,一个对象)。
第二,当用户的兴趣对象变化时,具有价值的每个区域单元改变。
第三,当用户的兴趣对象改变时,指定用户感兴趣的对象所需的输入时间周期往往变长。
第四,当用户的兴趣对象改变时,用户指定一个兴趣对象区域(例如,点击操作)的输入位置之间的空间距离往往相对地变长。
因而,图48示出了发送设备1的结构实例,它获得与接收设备2的用户输入的点击数据相对应的输入时间间隔和输入位置距离,确定接收设备2的用户的兴趣对象区域是否由于考虑到分析结果(1)至(4)而改变,并归类兴趣对象区域。图48中示出的发送设备1是图28所示的发送设备1的改良。为了简便起见,在图48中,和图29相似的部分由相似的参考标号表示,并省略其说明。换句话说,除了变化确定和归类部分240被新设置为组成预处理部分12的一个模块外,图48所示的发送设备1的结构与图29所示的发送设备1的结构基本相同。
根据图48所示的实施例,变化确定和归类部分240被设置在预处理部分12中。另一方面,变化确定和归类部分240可以被设置在预处理部分12的对象提取部分1014或背景图像提取部分1013中。再一方面,变化确定和归类部分240还可以独立于预处理部分12设置。
在该实施例中,用点击数据表示的一个位置是用户正在考虑的一个考虑点。用户的一个考虑点可以不是点击数据,而是,用户的考虑点可以通过检测用户的观看方向来认同。
图49示出了图48所示的变化确定和归类部分240的结构实例。
输入图像存储部分231暂时存储由图像输入部分11输出的图像数据。必要时,输入图像存储部分231把图像数据供应给周边区域提取部分233以及静止区域和移动区域确定部分234。
点击数据获得部分230暂时存储接收设备2经传送路径3发送的数据,并把存储的点击数据供应给周边区域提取部分233、静止区域和移动区域确定部分234、输入时间间隔计算部分237、和输入位置距离计算部分238。
在该实施例中,与图37所示的图像存储器201一样,可以设置输入图像存储部分231。此外,与图37所示的点击数据存储器202一样,可以设置点击数据存储部分232。
点击周边区域提取部分233从输入图像存储部分231供给的图像数据中提取与点击数据存储部分232供给的点击数据相对应的图像区域(该图像区域是例如点击位置附近的局部小块;在下文中,图像区域被称之为点击周边区域)。由点击周边区域提取部分233提取的点击周边区域的数据被发送给点击周边区域存储部分235。在数据被存储到点击周边区域存储部分235后,该数据被发送给兴趣对象区域归类部分236。
此外,静止和移动区域确定部分234相应于从输入图像存储部分231供应的图像数据和从点击数据存储部分232供应的点击数据使用与图37所示的实施例相同方式的帧间差值执行静止区域和移动区域确定处理。
点击周边区域提取处理以及静止区域和移动区域确定处理可以通过结合附图38所述的相同处理来完成。因而,省略对这些处理的详细说明。在图49所示的实施例中,以上述实施例相同的方式把点击数据被确定为静止点击或移动点击的结果输出为静止点击或移动点击确定。此外,例如,可以输出点击周边区域被确定为静止区域或移动区域的结果。根据图49所示的实施例,为简便起见,作为静止区域和移动区域确定的结果,将说明静止点击或移动点击被输出的情况。
静止区域和移动区域确定部分234的静止区域和移动区域确定结果被发送给输入时间间隔计算部分237和输入位置距离计算部分238。
当静止区域和移动区域确定结果表明点击数据是静止点击时,输入时间间隔计算部分237计算前一点击的输入时间与当前点击的输入时间的时间间隔。在此情况下,计算时间间隔,而不考虑例如一个移动点击是否发生在前一静止点击的输入时间与当前静止点击的输入时间之间。输入时间间隔计算部分237计算的时间间隔的数据被发送给兴趣变化确定部分239。
当静止区域和移动区域确定结果表明点击数据是静止点击时,输入位置距离计算部分238计算前一静止点击的输入点击位置(坐标位置)与当前静止点击的输入点击位置(坐标位置)之间的空间距离。在此情况下,计算空间距离,而不考虑例如在当前静止点击的输入位置与前一静止点击的输入位置之间是否存在例如一个移动点击的输入位置。输入位置距离计算部分238计算的空间距离的数据被发送给兴趣变化确定部分239。
当静止区域和移动区域确定结果点击数据是静止点击时,兴趣变化确定部分239相应于输入时间间隔计算部分237计算的时间间隔和位置距离计算部分238计算的空间距离确定用户的兴趣对象是否变化。换句话说,兴趣变化确定部分239执行时间间隔和空间距离的预定加权处理,确定加权时间间隔是否超过一个预定阈值(时间),并确定加权空间距离是否超过一个预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空间距离超过预定阈值时,兴趣变化确定部分239确定用户的兴趣对象已经改变。兴趣对象确定部分239把兴趣对象变化确定结果发送给兴趣对象区域归类部分236。
当兴趣变化确定部分239的确定结果表明用户的兴趣对象未改变时,兴趣对象区域归类部分236确定当前静止点击的点击周边区域被包含在与前一(过去)静止点击的点击周边区域相对应的兴趣对象相同的图像区域中,把当前静止点击的点击周边区域归类为与前一静止点击的点击周边区域相同的兴趣对象区域(例如,把相同的类别号分配给当前静止点击的点击周边区域),并输出归类的结果。换句话说,当为每个对象归类兴趣对象区域时,按照上述实施例的相同方式分配相同的对象号。
相反,当兴趣变化确定部分239的确定结果表明用户的兴趣对象已经改变时,兴趣对象区域归类部分236确定当前静止点击的点击周边区域未被包含在与前一(过去)静止点击的点击周边区域相对应的兴趣对象区域中,则输出当前静止点击的点击周边图像的存储数据,并且重新设置已经在点击周边区域存储部分235中存储的数据。此后,兴趣对象区域归类部分236把当前静止点击的点击周边区域归类为与前一静止点击的点击周边区域不同的兴趣对象区域(例如,把一个不同的类别号分配给当前静止点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,以上述情况的相同方式分配一个新的不同对象号。
当静止区域和移动区域确定结果表明点击数据是移动点击时,输入时间间隔计算部分237同样计算前一移动点击的输入时间与当前移动点击的输入时间之间的时间间隔。在此情况下,时间间隔被计算,而不考虑例如静止点击是否在当前移动点击的输入时间与前一移动点击的输入时间之间发生。输入时间间隔计算部分237计算的时间间隔的数据被发送给兴趣变化确定部分239。
相反,当静止区域和移动区域确定结果表明点击数据是移动点击时,同样输入位置距离计算部分238计算前一移动点击的输入点击位置与当前移动点击的输入点击位置之间的空间距离。在此情况下,空间距离被计算,而不考虑例如是否在当前移动点击的输入位置与前一移动点击的输入位置之间存在一个静止点击的输入位置。输入位置距离计算部分238计算的空间距离的数据被发送给兴趣变化确定部分239。
此外,在静止区域和移动区域确定结果表明点击数据是一个移动点击的情况下,兴趣变化确定部分239相应于输入时间间隔计算部分237计算的时间间隔和位置距离计算部分238计算的空间距离来确定用户的兴趣对象是否已经改变。换句话说,兴趣变化确定部分239执行时间间隔和空间距离的预定加权处理,确定加权时间间隔是否超过预定阈值(时间),并确定加权空间间隔是否超过预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空间距离超过预定阈值时,兴趣变化确定部分239确定用户的兴趣对象已经改变。兴趣变化确定部分239的兴趣对象变化确定结果被发送给兴趣对象区域归类部分236。
当兴趣变化确定部分239的确定结果表明用户的兴趣对象未变化时,兴趣对象区域归类部分236确定当前移动点击的点击周边区域被包含在与前一(过去)移动点击的点击周边区域相对应的兴趣对象区域相同的图像区域中,把当前移动点击的点击周边区域归类为和前一(旧的)移动点击的点击周边区域相同的兴趣对象区域(即,把相同的类别号分配给当前移动点击的点击周边区域),并输出归类结果。换句话说,当为每个对象归类一个兴趣对象区域时,分配相同的对象号。
相反,当兴趣变化确定部分239的确定结果表明用户的兴趣对象变化时,兴趣对象区域归类部分236确定当前移动点击的点击周边区域未被包含在与前一(过去)移动点击的点击周边区域相对应的兴趣对象区域中,输出当前移动点击的点击周边图像的存储数据,并且重新设置已经在点击周边区域存储部分235中存储的数据。此后,兴趣对象区域归类部分236把当前移动点击的点击周边区域归类为与前一移动点击的点击周边区域不同的兴趣对象区域(例如,把一个不同的类别号分配给当前移动点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,分配一个新的不同对象号。
下面结合图50所示的流程图说明图49所示的变化确定和归类部分240的处理。
在步骤S201,变化确定和归类部分240接收来自图像输入部分11的图像数据和由接收设备2的用户输入的点击数据。
此后,在步骤S202上,图像输入部分11供应的图像数据被存储在输入图像存储部分231。点击数据获得部分230所获得的点击数据被存储在点击数据存储部分232中。
此后,在步骤S203上,点击周边区域提取部分233从已经被存储并从输入图像存储部分231中读出的图像的点击数据中提取与点击数据相对应的一个图像区域(点击周边区域)。在步骤S204上,点击周边区域存储部分235存储已经被提取的点击周边区域的数据。
此后,在步骤S205,静止区域和移动区域确定区域234按上述方式使用帧间差值执行静止区域和移动区域确定处理。
在步骤S205,当步骤S205上确定的结果表明点击数据是静止点击时,流程前进到步骤S206。相反,当步骤S205上的确定结果表明点击数据是移动点击时,流程前进到步骤S212。
当步骤S205上的确定结果表明点击数据是静止点击,流程前进到步骤S206。在步骤S206上,输入时间间隔计算部分237计算前一静止点击的输入时间与当前静止点击的输入时间之间的时间间隔。该时间间隔被计算,而不考虑例如在当前静止点击的输入时间与前一静止点击的输入时间之间是否存在一个移动点击。
此后,在步骤S207上,输入位置距离计算部分238计算前一静止点击的输入点击位置(坐标位置)与当前静止点击的输入点击位置(坐标位置)之间的空间距离。在此情况下,计算空间距离,而不考虑例如在当前静止点击的输入位置与前一静止点击的输入位置之间存在一个移动点击的输入位置。
在步骤S208上,兴趣对象确定部分239相应于步骤S206上计算的时间间隔和步骤S207上计算的空间距离确定用户的兴趣对象是否变化。换句话说,如上所述,兴趣变化确定部分239执行时间间隔和空间间隔的预定加权处理,确定加权时间间隔是否超过一个预定阈值(时间),和确定加权空间距离是否超过一个预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空间距离超过预定阈值时,兴趣变化确定部分239确定用户的兴趣对象已经改变。当步骤S208上的确定结果表明兴趣对象已经改变时,流程前进到步骤步骤S209。当步骤S208上的确定结果表明兴趣对象未改变时,流程前进到步骤S211。
当步骤S208上的确定结果表明兴趣对象未改变时,流程前进到步骤步骤S211。在步骤S211,兴趣对象区域归类部分236确定当前静止点击的点击周边区域被包含在与前一(过去)静止点击的点击周边区域相对应的兴趣对象区域相同的图像区域中,并把当前静止点击的点击周边区域归类为和前一静止点击的点击周边区域相同的兴趣对象区域(即,把相同的类别号分配给当前静止点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,以上述实施例相同的方式分配相同的对象号。在步骤S211之后,流程前进到步骤S218。
相反,当在步骤S208上确定结果表明用户的兴趣对象改变时,流程前进到步骤步骤S209。在步骤S209上,兴趣对象区域归类部分236确定当前静止点击的点击周边区域未被包含在与前一(旧的)静止点击的点击周边区域相对应的兴趣对象区域中,输出当前静止点击的点击周边图像的存储数据,并且重新设置存储的数据。此后,在步骤S210上,兴趣对象区域归类部分236把当前静止点击的点击周边区域归类为与前一静止点击的点击周边区域不同的兴趣对象区域(例如,把一个不同的类别号分配给当前静止点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,以上述实施例相同的方式分配一个新的不同对象号。在步骤S211之后,流程前进到步骤S218。
相反,当步骤S205上的确定结果表明点击数据是移动点击时,流程前进到步骤S212。在步骤S212上,兴趣变化确定部分239计算前一移动点击的输入时间与当前移动点击的输入时间之间的时间间隔。在此情况下,时间间隔被计算,而不考虑例如在当前移动点击的输入时间与前一移动点击的输入时间之间是否存在一个静止点击。
此后,在步骤S213,兴趣变化确定部分239计算前一移动点击的输入点击位置与当前移动点击的输入点击位置之间的空间距离。在此情况下,该空间距离被计算,而不考虑例如在当前移动点击的输入位置与前一移动点击的输入位置之间是否存在一个静止点击的输入位置。
此后,在步骤S214,兴趣变化确定部分239相应于在步骤S212上计算的时间间隔和在步骤S213上计算的空间距离确定用户的兴趣对象是否变化。换句话说,兴趣变化确定部分239执行时间间隔和空间距离的预定加权处理,确定加权时间间隔是否超过一个预定阈值(时间),和确定加权空间距离是否超过一个预定阈值(距离)。当加权时间间隔超过预定阈值和/或加权空间距离超过预定阈值时,兴趣变化确定部分239确定用户的兴趣对象已经改变。当步骤S214上的确定结果表明兴趣对象已经改变时,流程前进到步骤S215。当步骤S214上的确定结果表明兴趣对象未改变时,流程前进到步骤S217。
当步骤S214上的确定结果表明用户的兴趣对象未改变时,流程前进到步骤S217。在步骤S217,如上所述,兴趣对象区域归类部分236确定当前移动点击的点击周边区域被包含在与对应于前一(过去)移动点击的点击周边区域的兴趣对象相同的图像区域中,把当前移动点击的点击周边区域归类为与前一移动点击的点击周边区域相对应的兴趣对象区域(例如,把相同的类别号分配给当前移动点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,按照上述实施例的相同方式分配相同的对象号。在步骤S217之后,流程前进到步骤S218。
相反,当步骤S214上的确定结果表明用户的兴趣对象已经改变时,流程前进到步骤S215。在步骤S215,兴趣对象区域归类部分236确定当前移动点击的点击周边区域未被包含在与前一(过去)移动点击的点击周边区域相对应的兴趣对象区域中,输出当前移动点击的点击周边图像的存储数据,并且重新设置存储的数据。此后在步骤S216,兴趣对象区域归类部分236把当前移动点击的点击周边区域归类为与前一移动点击的点击周边区域不同的兴趣对象区域(例如,把一个不同的类别号分配给当前移动点击的点击周边区域)。换句话说,当为每个对象归类一个兴趣对象区域时,以上述实施例的相同方式分配一个新的不同对象号。在步骤S216之后,流程前进到步骤S218。
在步骤S210、S211、S216和S217之后,流程前进到步骤S218。在步骤S218,变化确定和归类部分240确定所有的处理是否已经完成。当步骤S218上的确定结果是否定时,流程返回到步骤S201。当步骤S218上确定结果是肯定时,变化确定和归类部分240完成图50所示的处理。
下面,结合图51所示的流程图说明图50所示的在步骤S208和S214上的兴趣对象变化确定处理。
在步骤S221,兴趣变化确定部分239获得时间间隔的信息。此后,在步骤S222,兴趣变化确定部分239执行时间间隔的预定加权处理。在步骤S223,兴趣变化确定处理部分239获得空间距离的信息。此后,在步骤S224,兴趣变化确定部分239执行空间距离的预定加权处理。步骤S221和S222的顺序可以改变。同样,步骤S223和S224的顺序也可以改变。时间间隔的加权处理可以通过压缩时间单位(例如,ms/10的压缩)来执行。空间距离的加权处理可以通过在水平方向和垂直方向上压缩象素间距来执行。
此后,流程前进到步骤S225。在步骤S225上,兴趣变化确定部分239使用加权时间间隔(t)和电平及垂直方向上的加权空间距离(X坐标和Y坐标)生成三维矢量,并获得该三维矢量的大小。该三维矢量的大小是通过以下计算获得的:在将时间轴(t)加到点击数据的输入位置的X坐标轴和Y坐标轴的三维空间上计算当前输入点与前一输入点之间的欧几里得(Euclidean)距离。在步骤S225之后,流程前进到步骤S226。
在步骤S226上,兴趣变化确定部分239确定步骤S225上获得的三维矢量的大小是否超过预定阈值。当步骤S226上的确定结果表明三维矢量的大小未超过预定阈值时,流程前进到步骤步骤S227。在步骤S227,兴趣变化确定部分239确定接收设备2的用户的兴趣对象未变化。当三维矢量的大小超过预定阈值时,流程前进到步骤S228。在步骤S228,兴趣变化确定处理部分239确定用户的兴趣对象已经改变。
在上述方式中,变化确定和归类部分240相应于接收设备2发送的点击数据完成用户的兴趣对象变化确定和其归类。
此外,当接收设备2的用户的兴趣对象区域被归类时,可以最佳地处理被归类的兴趣对象区域。换句话说,分配给用户的每个兴趣对象区域的信息量可以改变。例如,大信息量可以分配给用户的特定兴趣对象区域。另一方面,可以优先发送用户的兴趣对象区域的数据。
此外,可以发送从点击周边区域存储部分235中为兴趣对象区域236读出的一个图像区域,以便按上述方式改善空间分辨率。
在此情况下,即使接收设备2的用户错误地点击非兴趣对象区域,也可以避免执行错误的确定。
根据该实施例,即使具有兴趣对象区域意义的一个对象在时间或空间上与另一个对象分离,它们也可以被归类为一个对象。此外,也可以提取不同于诸如一个实体的对象的具有特定意义的区域。
此外,结合图37至46所述的实施例和结合图49至51所述的实施例可以合并。在此情况下,在步骤S206和S207上,可以按照上述方式为连续点击的静止点击确定一个连续点击。同样,在步骤S212和S213上,可以按照上述方式为连续点击的移动点击确定一个连续点击。
图52示出了图1所示的图像发送设备的第三结构实例。在图52中,与图28相同的部分用相似的标号表示,并省略其说明。换句话说,除交换部分3-3具有收费服务器4外,图52所示的图像发送系统的结构与图28所示的图像发送系统的结构基本相同。
尽管从接收设备2向发送设备1发送点击数据(或控制信息)和从发送设备1向接收设备2提供相应于一个点击数据具有改善了空间分辨率的图像的这样一种服务(在下文中,这种服务被称之为点击服务)可以是免费服务,但该服务可以是收费服务。当点击服务是收费服务时,收费服务器4执行一种收费处理,从用户收取该点击服务的服务费。
换言之,图53示出了图52所示的收费服务器4的结构实例。
预定信息从交换站3-3供应给通信链路建立检测部分301。通信链路建立检测部分301核对从交换站3-3供应的信息。结果,通信链路建立检测部分301检测在作为发送设备的终端单元1与作为接收设备的终端单元2之间是否已经建立的通信链路,并把合成数据供应给终端单元认同部分302。
当终端单元认同部分302接收到代表已经在诸如发送设备1和接收设备2的终端单元之间建立通信链路的信息(在下文中,该信息被称之为通信链路建立信息)时,终端单元认同部分302核对从交换站3-3供应的信息。结果,终端单元认同部分302认同已经通信链接的终端单元。此外,终端单元认同部分302认同分配给终端单元的ID(在下文中,ID被称之为终端单元ID)并把认同的终端单元ID供应给点击检测部分303。
点击检测部分303监视经交换站3-3接收的数据,采用从终端单元认同部分302接收的终端单元ID检测从终端单元发送的点击数据,并把检测结果和终端单元ID供应给收费处理部分304。
在此情况下,例如,接收设备2将发送点击数据和本地终端单元ID一起发送。点击检测部分303将附加到经交换站3-3接收的点击数据上的终端单元ID与终端单元认同部分302供应的终端单元ID相比较,认同从已经通信链接的终端单元发送的点击数据,并检测该点击数据。
在下文中,点击检测部分303的一组点击数据检测结果和一个终端单元ID被称作点击检测信息。
当收费处理部分304接收到来自点击检测部分303的点击检测信息时,收费处理部分304更新收费数据库305的存储内容。此外,收费处理部分304相应于收费数据库305的存储内容,(例如)周期性地(例如,每月一次)执行收费处理。
收费数据库305存储收费处理所需的信息。
下面,结合图54所示的流程图说明图53所示的收费服务器4的处理。
通信链路建立检测部分301监视终端单元之间的通信链路是否已经相应于交换站3-3供给的信息而建立。当通信链路建立检测部分301检测到发送设备1与接收设备2之间的通信链路已经建立时,通信链路建立检测部分301把通信链路建立信息供应给终端单元认同部分302。
当终端单元认同部分302收到通信链路建立检测部分301发送的通信链路建立信息时,在步骤S301,终端单元认同部分302核对交换站3-3供应的信息。结果,终端单元认同部分302认同已经通信链接的终端单元(例如,发送设备1和接收设备2)的终端单元ID,并把终端单元ID供应给点击检测部分303。
当点击检测部分303收到来自终端单元认同部分302的终端单元ID时,点击检测部分303开始检测包含终端单元ID的点击数据。
此后,流程前进到步骤S302。在步骤S302,收费处理部分304确定是否已经从已经通信链接的终端单元检测到点击数据。当步骤S302上的确定结果表明还未从已经通信链接的终端单元检测到点击数据时(即,当点击检测部分303未向收费处理部分304供应点击检测信息时),流程前进到步骤S304,跳过步骤S303。
相反,当步骤S302上的确定结果表明已经从已经通信链接的终端单元检测到点击数据时(即,当点击检测部分303向收费处理部分304供应点击检测信息时),流程前进到步骤S303。在步骤S303,收费处理部分304更新收费数据库305的存储内容。
换句话说,收费数据库305存储诸如点击数目和点间时间的点击信息(在下文中,该信息可以被称作点击信息)以及存储终端单元发出一个呼叫和开始一个通信的通信时间。收费数据库305相关地存储该点击信息和终端单元的终端单元ID。在步骤S303,收费处理部分304相应于点击检测信息更新与点击检测信息中含有的终端单元ID相对应的点击信息。
在步骤S303之后,流程前进到步骤S304。在步骤S304上,终端单元认同部分302确定与通信链路建立检测部分301供给的通信链路建立信息相对应的通信链路是否已经中断。
换句话说,通信链路建立检测部分301不仅监视终端单元间的通信链路的建立,而且还监视该链路的中端。当通信链路已经中断时,通信链路建立检测部分301把作为通信链路中断信息的结果信息供应给终端单元认同部分302。在步骤S304,终端单元认同部分302相应于通信链路中断信息确定通信链路是否已经中断。
当步骤S304上的确定结果表明通信链路未中断时,流程前进到步骤S302。在步骤S302,收费服务器4重复相似的处理。
相反,当步骤S304上的确定结果表明通信链路已经中断时,终端单元认同部分302控制点击检测部分303完成对已经通信链接的终端单元的点击数据的监视。此后,收费处理服务器4完成该处理。
此后,收费处理部分304周期性地核对收费数据库305,执行收费处理,计算通信费和点击服务费,并从用户的银行帐户或类似物中转帐(转费)。
作为点击服务费,可以指定每次点击的计费单位。相应于点击的次数,可以计算点击服务费。另一方面,作为点击服务费,可以指定每小时的计费单位。相应于点击时间,可以计算点击服务费。另一方面,相应于点击次数和点击时间,可以计算点击服务费。
上述处理可以由硬件或软件执行。当这些处理由软件执行时,对作为专用硬件设备的设置在发送设备1、接收设备2中的计算机、通用计算机或类似物等安装组成该软件的程序。
图55示出了已经安装了执行上述处理的程序的一个计算机的结构实例。
该程序可以被预先录制到作为内置在计算机内的一个记录介质的硬盘405或ROM403上。
另一方面,该程序可以暂时或永久地存储(记录)到可移动记录介质诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘或半导体存储器上。可移动记录介质411可以被设置为所谓的软件包。
该程序可以从上述的可移动记录介质411安装到计算机上。另一方面,该程序可以从下载点经数字卫星广播卫星无线传送给该计算机。再一方面,该程序可以经过诸如LAN(局域网)的网络或因特网传送给该计算机。在该计算机中,该程序由通信部分408接收并安装到硬盘405上。
该计算机含有CPU(中央处理单元)402。输入/输出接口410经总线401连接CPU402。当用户使用诸如键盘、鼠标、麦克风等的输入部分407经输入/输出接口410向CPU402输入一个命令时,ROM(只读存储器)403中存储的程序开始执行。另一方面,CPU402把硬盘405中存储的程序加载到RAM(随机存取存储器)404上,并利用RAM404执行该程序。再一方面,CPU402把从卫星或网络传送、由通信部分408接收并安装到硬盘405上的程序,或者从连接到驱动器409的可移动记录介质411中读出并安装到硬盘405上的程序,加载到RAM404上,利用ARM404执行该程序。因而,CPU402执行相应于图4、6、10、14、21至24、27、30、32、34、36、38、39、41、43至45、50、51和54所示的流程图的处理。而且CPU402执行相应于图3、5、7、8、11至13、17、25、29、31、33、35、37、47至49和53的框图所示的处理。必要时,CPU402经输入/输出接口410从包括LCD(液晶显示器)、扬声器等的输出部分406输出已处理的结果。另一方面,CPU402发送来自通信部分408或者记录到硬盘405上的已处理的结果。
具体地说,使计算机执行各种处理的程序的处理步骤不一定总是按照流程图的顺序执行。另一方面,处理步骤可以并行或分离地执行(例如,可以执行并行处理或对象处理)。
该程序可以由一个计算机处理。另一方面,该程序可以由多个计算机分配。再一方面。该程序可以传送到一个远端计算机上,由该计算机执行处理。
根据本发明的实施例,发送设备1执行分层编码。根据发送的分层数据,改变接收设备2显示的图像的时间分辨率或空间分辨率。另一方面,接收设备2显示的图像的时间分辨率和空间分辨率可以根据发送的图像的离散余旋变换系数或量化级(quantizing step)来改变。
另一方面,时间分辨率和空间分辨率可以根据发送设备1的编码方法来改变。换句话说,当用一个常规时间分辨率显示一个图像时,发送设备1的编码部分31对其对象的轮廓连续编码,并获得组成一个对象的像素值(颜色)的平均值,作为典型值。接收设备2按照该典型值显示彩色对象的区域。当以时间分辨率为代价显示具有改善的空间分辨率的图像时,可以按上所述的那样使用分层编码。
根据该实施例,空间分辨率的改善是以时间分辨率为代价的。相反,时间分辨率可以以空间分辨率为代价得到改善。代表牺牲(改善)分辨率的选择的信息可以被包含在诸如点击数据的控制信息中,并从接收设备2发送给发送设备1。
根据本方明的实施例,时间分辨率和空间分辨率被处理。然而,根据本发明,电平方向的分辨率(在下文中,把该分辨率称作电平分辨率)也可以被处理。换句话说,当分配给数据的比特数增加或降低时,时间分辨率和空间分辨率可以提高或恶化。在此情况下,当图像的时间分辨率和空间分辨率变化时,其明暗度也变化。该电平分辨率可以通过改变上述的量化级来改变。
此外,根据该实施例,图像的部分区域(优先权范围)的空间分辨率的改善是以时间分辨率为代价的。另一方面,整个图像的空间分辨率也可以得到改善。
另一方面,图像的特定部分的空间分辨率的改善可以以图像的剩余部分的空间分辨率为代价,而不是以时间分辨率为代价(即,保持时间分辨率)。
此外,根据本实施例,以这种方式处理图像,即将其分为背景图像和对象。而且也可以以不分离图像的方式处理图像。
此外,本发明不仅适用于图像数据,而且还适用于音频数据。在音频数据的情况下,采样频率相当于时间分辨率,而分配给音频数据的比特数相当于电平分辨率。
此外,图49所示的变化确定和归类部分240的处理可适用于提取声音特征量(例如音调、话音或乐器的期望部分)的情况。
此外,对象提取部分14和1014以及变化确定和归类部分240的处理可适用于所谓的对象编码。换句话说,对于对象提取部分14和1014以及变化确定和归类部分240的处理来说,由于可以提取对象,因此可以相应于获取代表对象移动的信息的对象编码处理,对被提取的对象以及代表对象轮廓或区域的信息进行编码。该编码的数据可以被发送或记录。
接收设备2可以使用点击数据执行与对象提取部分1014的处理相似的处理,以便提取一个对象。在此情况下,当接收设备2提取的一个对象被存储时,一个数据库就被形成。
根据本发明的第一发送设备、第一发送方法、第一记录介质和第一信号,接收从接收设备发送的控制信息。相应于该控制信息,控制时间方向、空间方向和电平方向的至少两个方向上的分辨率。已经相应于控制信息控制至少两个方向分辨率的数据被发送给接收设备。因而,例如,接收设备所显示的图像的空间方向分辨率可以被进一步改善。
根据本发明的接收设备、接收方法、第二记录介质和第二信号,控制信息被发送给发送设备,以便相应于该控制信息控制时间方向、空间方向和电平方向的至少两个方向上的分辨率。此外,已经相应于该控制信息控制至少两个方向分辨率的数据,从发送设备发送,然后接收和输出。因而,例如,输出的图像的空间分辨率可以被进一步改善。
根据本发明的发送和接收设备、发送和接收方法、第三记录介质和第三信号,发送设备接收从接收设备发送的控制信息。相应于该控制信息,控制时间方向、空间方向和电平方向的至少两个方向的分辨率。已经相应于控制信息控制至少两个方向分辨率的数据被发送给接收设备。此外,接收设备向发送设备发送控制信息。已经相应于该控制信息控制至少两个方向分辨率的数据,从发送设备发送,然后接收和输出。因而,例如,接收设备所显示的图像的空间方向分辨率可以被进一步改善。
根据本发明的第二发送设备、第二发送方法、第四记录介质和第四信号,接收从接收设备发送的控制信号。相应于该控制信息,对数据归类。相应于数据的归类结果,向接收设备发送数据。因而,例如,可以向接收设备发送用户正在考虑的图像区域,而不考虑该区域是移动的还是静止的。
Claims (34)
1.一种向接收设备发送数据的发送设备,包括:
接收装置,用于接收从接收设备发送的控制信息;
控制装置,相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电平方向的至少两个方向的分辨率;
发送装置,向接收设备发送已经相应于控制信息控制至少两个方向的分辨率的数据,和
分析装置,用于分析接收设备的用户的偏爱,
其中所述的控制装置相应于分析装置的分析结果控制数据的分辨率;
其中接收设备输出从所述的发送装置发送的数据,
其中所述的控制装置控制输出给接收设备的数据的考虑点,和
其中所述的分析装置相应于考虑点分析用户的偏爱,
其中所述的分析装置具有:
特征量提取装置,用于提取含有数据考虑点的考虑区域的特征量;和
区域检测装置,用于从对应于特征量的数据中检测与用户的偏爱相对应的预定区域,和
其中所述的控制装置控制数据的预定区域的分辨率。
2.根据权利要求1所述的发送设备,其中所述的控制装置相应于控制信息控制发送给接收设备的图像数据的时间方向和空间方向上的分辨率。
3.根据权利要求1所述的发送设备
其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发送数据,和
其中所述的控制装置相应于控制信息控制数据的分辨率,使数据的传送速率不超过预定的传送速率。
4.根据权利要求1所述的发送设备,
其中接收设备输出从发送设备发送的数据,
其中控制信息包含输出给接收设备的数据的考虑点,和
其中所述的控制装置相应于控制信息改善包含了数据的考虑点的考虑区域的分辨率。
5.根据权利要求4所述的发送设备,
其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发送图像数据,
其中接收设备显示从发送装置发送的图像数据,
其中控制信息包含由接收设备显示的图像数据的时间和空间位置,和
其中所述的控制装置相应于控制信息改善包含图像数据的时间和空间位置的考虑区域的空间分辨率,和降低时间分辨率,使图像数据的传送速率不超过预定的传送速率。
6.根据权利要求5所述的发送设备,还包括:
背景图像数据提取装置,用于从发送给接收设备的图像数据中提取背景图像数据,
其中当包含在控制信息中的时间和空间位置代表背景图像数据时,所述的控制装置改善背景图像数据的空间分辨率,以及
对象图像数据提取装置,相应于发送给接收设备的图像数据与背景图像数据之间的差值从图像数据中提取对象图像数据,
其中当包含在控制信息中的时间和空间位置代表对象图像数据时,所述的控制装置改善对象图像数据的空间分辨率。
7.根据权利要求6所述的发送设备,还包括:
组合装置,用于把背景图像数据和对象图像数据组合为组合数据,
其中所述的发送装置向接收设备发送该组合数据。
8.根据权利要求1所述的发送设备,还包括:
输入数据的输入装置。
9.根据权利要求8所述的发送设备,其中
数据是图像数据,和
其中所述的输入装置是拍摄图像和输出图像数据的拍摄装置。
10.根据权利要求1所述的发送设备,
其中发送设备是便携式电话机。
11.根据权利要求1所述的发送设备,还包括:
条形图存储装置,用于存储特征量的条形图,
其中所述的区域检测装置检测与该条形图相对应的预定区域。
12.根据权利要求1所述的发送设备
其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发送图像数据,
其中接收设备显示从所述的发送装置发送的图像数据,和
其中所述的控制装置改善图像数据的预定区域的空间分辨率和降低时间分辨率,以使图像数据的传送速率不超过预定传送速率。
13.根据权利要求11所述的发送设备
其中所述的检测装置把与具有条形图的最高频率的特征量相同或相似的区域检测为预定区域。
14.根据权利要求13所述的发送设备,
其中所述的发送装置经预定的传送路径以预定的传送速率向接收设备发送图像数据,
其中接收设备显示所述的发送装置发送的图像数据,和
其中所述的控制装置改善图像数据的预定区域的空间分辨率和降低时间分辨率,以使图像数据的传送速率不超过预定传送速率。
15.根据权利要求12所述的发送设备,
其中所述的特征量提取装置提取作为特征量的包含图像数据考虑点的考虑区域的移动信息、深度信息、位置信息、颜色信息和形状信息的至少一个信息。
16.根据权利要求15所述的发送设备,
其中所述的特征量提取装置提取多个作为多个特征量的包含图像数据考虑点的考虑区域的移动信息、深度信息、位置信息、颜色信息和形状信息。
17.根据权利要求1所述的发送设备,
其中所述的分析装置具有:
归类装置,相应于包含数据考虑点的考虑区域对数据进行归类,
其中所述的分析装置相应于所述归类装置的分析结果分析用户的偏爱,
其中所述数据是图像数据,
其中所述分析装置具有:
静止区域和移动区域确定装置,用于确定图像数据的考虑区域是静止区域还是移动区域;和
连续确定装置,用于确定考虑点在考虑点的时间和空间方向上是否是连续的,和
其中所述的归类装置相应于静止区域和移动区域确定装置和所述的连续确定装置的确定结果对图像数据归类。
18.根据权利要求17所述的发送设备,还包括:
考虑点存储装置,用于存储在静止的并且在时间和空间方向上连续的考虑区域中所含有的考虑点,和存储移动的并且在时间和空间方向上连续的考虑区域中所含有的考虑点;和
类别标识符加法装置,用于获取加入到被存储在考虑点存储装置中的一个考虑点上的类别标识符,并且把该标识符加到该考虑点上。
19.根据权利要求18所述的发送设备,
其中在当前考虑点处于静止的并在时间和空间方向上连续的考虑区域内的情况下,当存储在所述考虑点存储装置中的前一考虑点被包含在静止的并在时间和空间方向上连续的考虑区域内时,相应于当前考虑点与含有前一考虑点的区域之间空间位置的关系,所述的归类标识符加法装置获得被加入到当前考虑点的类别标识符。
20.根据权利要求19所述的发送设备,
其中在当前考虑点处于移动的并在时间和空间方向上连续的考虑区域内的情况下,当存储在所述考虑点存储装置中的前一考虑点被包含在移动的并在时间和空间方向上连续的考虑区域内时,相应于含有当前考虑点的考虑区域的预定特征量和含有前一考虑点的考虑区域的预定特征量的相似性,所述的归类标识符加法装置获得被加入到当前考虑点的类别标识符。
21.根据权利要求18所述的发送设备,
其中所述的归类装置相应于与所述考虑点存储装置中存储的考虑点的密度相对应的用户偏爱对作为对象的图像数据的预定区域进行归类。
22.根据权利要求21所述的发送设备,
其中所述的归类装置相应于与所述考虑点存储装置中存储的并包含在静止的考虑区域中的分配了相同类别标识符的考虑点的密度相对应的用户偏爱,对作为对象的图像数据的预定区域进行归类。
23.根据权利要求21所述的发送设备,
其中所述的归类装置相应于与所述考虑点存储装置中存储的并包含在移动的考虑区域中的分配了相同类别标识符的和进行了移动补偿的考虑点的密度相对应的用户偏爱,对作为对象的图像数据的预定区域进行归类。
24.根据权利要求17所述的发送设备,
其中所述的静止区域和移动区域确定装置相应于包含当前帧的考虑点的考虑区域与包含过去帧的考虑点的考虑区域之间的差值,确定包含当前考虑点的考虑区域是静止的还是移动的。
25.根据权利要求17所述的发送设备,
其中所述的连续确定装置相应于当前考虑点与过去考虑点的时间差值,确定当前考虑点是否在时间和空间方向上连续。
26.根据权利要求21所述的发送设备,
其中所述的控制装置改善按对象归类的区域的分辨率。
27.根据权利要求17所述的发送设备,
其中所述的连续确定装置相应于当前考虑点与过去考虑点之间的时间和空间方向上的距离确定当前考虑点是否连续,获得与包含当前考虑点的考虑区域相同的静止区域和移动区域确定结果。
28.根据权利要求27所述的发送设备,
其中所述的归类装置相应于用于时间方向和空间方向的距离的加权值对图像数据进行归类。
29.根据权利要求28所述的发送设备,还包括:
图像数据存储装置,用于存储包含在时间方向和空间方向连续的考虑点的考虑区域中的图像数据。
30.根据权利要求29所述的发送设备,
其中当当前考虑点在时间方向和空间方向上不连续时,在所述的图像数据存储装置的内容被读出后,擦除该内容,并把包含当前考虑点的考虑区域中的图像数据存储到所述的图像数据存储装置上。
31.根据权利要求30所述的发送设备,
其中所述的控制装置改善从所述的图像数据存储装置中读出的图像数据的分辨率。
32.根据权利要求1所述的发送设备,
其中控制信息被用于一个收费处理。
33.根据权利要求2所述的发送设备,
其中图像数据是编码的对象。
34.一种向接收设备发送数据的发送方法,包括步骤:
接收从接收设备发送的控制信息;
相应于控制信息控制发送给接收设备的数据的时间方向、空间方向和电平方向的至少两个方向的分辨率;
向接收设备发送已经相应于控制信息控制至少两个方向的分辨率的数据,和
分析接收设备的用户的偏爱,
其中所述的控制步骤相应于分析步骤的分析结果控制数据的分辨率;
其中接收设备输出从所述的发送步骤发送的数据,
其中所述的控制步骤控制输出给接收设备的数据的考虑点,和
其中所述的分析步骤相应于考虑点分析用户的偏爱,
其中所述的分析步骤包括:
提取含有数据考虑点的考虑区域的特征量;和
从对应于特征量的数据中检测与用户的偏爱相对应的预定区域,和
其中所述的控制步骤控制数据的预定区域的分辨率。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP225020/99 | 1999-08-09 | ||
JP22502099 | 1999-08-09 | ||
JP2000127657 | 2000-04-24 | ||
JP127657/00 | 2000-04-24 | ||
JP2000214237A JP4697500B2 (ja) | 1999-08-09 | 2000-07-14 | 送信装置および送信方法、受信装置および受信方法、並びに記録媒体 |
JP214237/00 | 2000-07-14 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB008020485A Division CN100366090C (zh) | 1999-08-09 | 2000-08-09 | 发送、接收及发送和接收的设备及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101106708A CN101106708A (zh) | 2008-01-16 |
CN101106708B true CN101106708B (zh) | 2010-11-03 |
Family
ID=37030980
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200510084849 Expired - Fee Related CN100584003C (zh) | 1999-08-09 | 2000-08-09 | 发送设备及方法 |
CN 200710142655 Expired - Fee Related CN101106708B (zh) | 1999-08-09 | 2000-08-09 | 发送设备及方法 |
CN 200710142654 Expired - Fee Related CN101106707B (zh) | 1999-08-09 | 2000-08-09 | 发送设备及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200510084849 Expired - Fee Related CN100584003C (zh) | 1999-08-09 | 2000-08-09 | 发送设备及方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710142654 Expired - Fee Related CN101106707B (zh) | 1999-08-09 | 2000-08-09 | 发送设备及方法 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN100584003C (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103096086A (zh) * | 2013-02-06 | 2013-05-08 | 上海风格信息技术股份有限公司 | 一种在多画面显示中下采样前移达到系统优化的方法 |
CN113660495A (zh) * | 2021-08-11 | 2021-11-16 | 易谷网络科技股份有限公司 | 实时视频流压缩方法、装置、电子设备以及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998041023A1 (en) * | 1997-03-11 | 1998-09-17 | Sharp Kabushiki Kaisha | Methods of coding the order information for multiple-layer vertices |
US5831666A (en) * | 1992-06-03 | 1998-11-03 | Digital Equipment Corporation | Video data scaling for video teleconferencing workstations communicating by digital data network |
EP0876061A1 (en) * | 1996-11-12 | 1998-11-04 | Matsushita Electric Industrial Co., Ltd. | Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium |
-
2000
- 2000-08-09 CN CN 200510084849 patent/CN100584003C/zh not_active Expired - Fee Related
- 2000-08-09 CN CN 200710142655 patent/CN101106708B/zh not_active Expired - Fee Related
- 2000-08-09 CN CN 200710142654 patent/CN101106707B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5831666A (en) * | 1992-06-03 | 1998-11-03 | Digital Equipment Corporation | Video data scaling for video teleconferencing workstations communicating by digital data network |
EP0876061A1 (en) * | 1996-11-12 | 1998-11-04 | Matsushita Electric Industrial Co., Ltd. | Digital image coding method and digital image coder, and digital image decoding method and digital image decoder, and data storage medium |
WO1998041023A1 (en) * | 1997-03-11 | 1998-09-17 | Sharp Kabushiki Kaisha | Methods of coding the order information for multiple-layer vertices |
Non-Patent Citations (1)
Title |
---|
JP特开平8-116542A 1996.05.07 |
Also Published As
Publication number | Publication date |
---|---|
CN101106708A (zh) | 2008-01-16 |
CN100584003C (zh) | 2010-01-20 |
CN101106707B (zh) | 2010-11-03 |
CN101106707A (zh) | 2008-01-16 |
CN1842158A (zh) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100366090C (zh) | 发送、接收及发送和接收的设备及方法 | |
Petrangeli et al. | Trajectory-based viewport prediction for 360-degree virtual reality videos | |
JP4552296B2 (ja) | 情報処理装置および情報処理方法、並びに記録媒体 | |
CN103338366B (zh) | 图像编码装置、图像编码方法、图像译码装置、图像译码方法 | |
CN100437453C (zh) | 标签信息显示控制设备及方法、信息处理设备和显示设备 | |
US7003163B2 (en) | Image processing apparatus | |
US20120287233A1 (en) | Personalizing 3dtv viewing experience | |
CN105635824A (zh) | 个性化频道推荐方法和系统 | |
Park et al. | Mosaic: Advancing user quality of experience in 360-degree video streaming with machine learning | |
CN111178344B (zh) | 一种多尺度时序行为识别方法 | |
CN101106708B (zh) | 发送设备及方法 | |
CN102196279A (zh) | 图像处理装置、图像处理方法及程序 | |
CN100477779C (zh) | 数据处理设备和方法 | |
Micó-Enguídanos et al. | Per-title and per-segment CRF estimation using DNNs for quality-based video coding | |
CN113452996A (zh) | 一种视频编码、解码方法及装置 | |
US20200233543A1 (en) | Display apparatus and control method thereof | |
CN100384257C (zh) | 应用基于特征点的运动估算的图象处理系统 | |
CN1692373B (zh) | 图像识别系统图像识别方法 | |
Hsiao et al. | Content-aware video adaptation under low-bitrate constraint | |
Olivier et al. | Supervised segmentation at low bit rates for region representation and color image compression | |
JP2001320682A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体およびプログラム | |
CN116994185A (zh) | 一种屏摄图像识别方法和相关装置 | |
Xie et al. | A Global Decoding Strategy with a Reduced-Reference Metric Designed for the Wireless Transmission of JPWL | |
JP2001086388A (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
MXPA97007360A (en) | Scene change detector for digi video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101103 Termination date: 20130809 |