CN100493135C - 用于在移动终端中显示图像的装置和方法 - Google Patents

用于在移动终端中显示图像的装置和方法 Download PDF

Info

Publication number
CN100493135C
CN100493135C CNB2003101183783A CN200310118378A CN100493135C CN 100493135 C CN100493135 C CN 100493135C CN B2003101183783 A CNB2003101183783 A CN B2003101183783A CN 200310118378 A CN200310118378 A CN 200310118378A CN 100493135 C CN100493135 C CN 100493135C
Authority
CN
China
Prior art keywords
signal
text
data
audio
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003101183783A
Other languages
English (en)
Other versions
CN1510906A (zh
Inventor
徐正旭
林采焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1510906A publication Critical patent/CN1510906A/zh
Application granted granted Critical
Publication of CN100493135C publication Critical patent/CN100493135C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Abstract

一种用于在配备有捕获图象信号的摄像机的移动终端中生成一组合信号的方法。基于帧大小,把捕获的图象信号编码成为静止图片信号。编码接收的音频信号。基于帧大小,把包含图象模式信息和帧大小信息的图象报头插入到静止图片信号中。基于帧大小,组合向其中插入了图象报头的静止图片信号与编码的音频信号。在重复上述操作的同时,基于帧大小组合连续的静止图片信号和相应的音频信号。当完成记录操作时,在一活动图象文件中存储表示了组合结果的组合信号。

Description

用于在移动终端中显示图像的装置和方法
1.技术领域
本发明涉及一种用于在一个移动终端中显示图象的装置和方法,并且尤其涉及一种以活动图象的形式显示静止图片的装置和方法。
2.背景技术
移动终端近来已经能够传输高速数据。特别地,基于国际移动通讯(International Mobile Telecommunication-2000)(IMT-2000)标准的移动通信网络能够使用移动电话实现高速数据通信以及话音通信。移动终端可处理分组数据和图象或者图象数据。
通常,图象处理设备包含一个用于捕获图象的摄像机、和一个用于显示由摄像机捕获的图象的显示单元。摄像机能够使用电荷耦合器件(CCD)图象传感器或者互补金属氧化物半导体(CMOS)图象传感器。由于小型的摄像机设备已经发展了,所以图象捕获设备已经小型化。趋势是把移动终端装备有摄像机设备。移动终端能够捕获图象,并且显示活动和静止图片。移动终端还能够传输捕获的图象到一个基站。
由于已经增加了对从通信公司和用户处邮寄活动图象的需要,所以实现了用于提供活动图象的服务。活动图象邮件服务将会增加,是可以预计到的。在传输活动图象时,会发生由于大量数据造成的图象压缩问题。此外,在借助于移动终端传输活动图象时,图象压缩问题将会更加严重。
通常,活动图象信号压缩是基于活动图象专家组4(Moving PictureExpert Group 4)(MPEG 4)。在压缩活动图象信号时,基于MPEG 4的压缩技术能够适当地压缩大量数据,但是必须处理大量的每秒百万条指令(MIPS)。将基于MPEG 4的压缩技术应用于基于ARM 7的移动终端是困难的。例如,视频点播(video on demand,VOD)服务需要大约10 MIPS以执行基于MPEG 4的解码操作。使用MPEG4解码视频邮件需要大约200 MIPS。为此,必须提供各种协处理器、诸如Emblaze的芯片、Megapass的芯片、Alphamosaic的芯片,以致于存在硬件成本增加和硬件尺寸增加的问题。
在使用以上描述的图象压缩方法的地方,一个图象能够仅仅由软件进行处理。然而,不能提供具有高图象更新速度的解决方案。配备有一个内部摄像机或者一个外部摄像机的移动终端具有一个液晶显示器(LCD)、和一个用于压缩静止图片的图象数据的编解码器。用于压缩静止图片的图象数据的编解码器能够是Joint Photographic ExpertGroup(联合照相专家组,JPEG)编解码器。配备有上述组件的摄像电话机在其中提供宽带业务诸如IMT-2000服务的国家中正变得普及。因此,通过JPEG编解码器接收的活动图象信号被连续地压缩和存储为活动图象数据,并且,如果必要的话,活动图象数据能够以活动图象邮件的形式传输。
发明概述
因此,本发明的一个目的是提供一种用于以活动图象信号的形式生成和显示静止图片信号的装置和方法,其中该静止图片信号是由在移动终端中提供的一个摄像机捕获的。
本发明的另一个目的是提供一种用于组合音频信号和由在移动终端中提供的一个摄像机捕获的活动图象信号、并且基于该音频和活动图象信号生成一个组合信号的装置和方法。
本发明的另一个目的是提供一种用于组合文本信号和由在移动终端中提供的一个摄像机捕获的活动图象信号、并且基于该文本和活动图象信号生成一个组合信号的装置和方法。
本发明的另一个目的是提供一种用于组合音频信号和文本信号与由在移动终端中提供的一个摄像机捕获的活动图象信号、并且基于该音频、文本和活动图象信号生成一个组合信号的装置和方法。
本发明的另一个目的是提供这样一种装置和方法,其允许一个配备有摄像机和图象编解码器的移动电话访问一个其中组合了活动图象和音频信号的组合信号,以把该组合信号分成活动图象和音频信号,并且再现分开了的活动图象和音频信号。
本发明的另一个目的是提供这样一种装置和方法,其允许一个配备有摄像机和图象编解码器的移动电话访问一个其中组合了活动图象和文本信号的组合信号,以把该组合信号分成活动图象和文本信号,并且再现分开了的活动图象和文本信号。
本发明的另一个目的是提供这样一种装置和方法,其允许一个配备有摄像机和图象编解码器的移动电话访问一个其中组合了活动图象、文本和音频信号的组合信号,以把该组合信号分成活动图象、文本和音频信号,并且再现分开了的活动图象、文本和音频信号。
本发明的另一个目的是提供一种用于允许一个配备有摄像机和图象编解码器的移动电话通过一条通信信道传输一个组合信号的装置和方法。
本发明还有另一个目的是提供一种用于允许一个配备有摄像机和图象编解码器的移动电话从基站接收一个组合信号、并且存储和再现所接收的组合信号的装置和方法。
依据本发明的一个方面,上述及其它目的能够通过一种用于在配备有捕获图象信号的摄像机的移动终端中生成一个组合信号的方法来充分实现。该方法包含步骤:(a)基于帧大小,把一个捕获的图象信号编码成为一个静止图片信号;(b)编码接收的一个音频信号;(c)基于帧大小,插入包含图象模式信息和帧大小信息的一个图象报头到静止图片信号中;(d)基于帧大小,组合向其中插入了图象报头的静止图片与编码的音频信号;(e)基于帧大小,在重复步骤(a)到(d)的同时,组合连续的静止图片信号与相应的音频信号;以及(f)当完成记录操作时,在一个活动图象文件中存储一个表示组合结果的组合信号。
依据本发明的另一个方面,提供了一个用于在移动终端中生成一个组合信号的装置,该装置包含:一个用于捕获图象信号的摄像机模块;一个配备有一个图象编解码器的图象处理器,其中该图象编解码器基于帧大小编码捕获的图象信号,图象处理器基于帧大小依据显示屏幕处理从摄像机模块中生成的活动图象信号;一个显示单元,用于显示由图象处理器处理的图象信号;一个数据处理器,配备有一个编码所接收的音频信号的音频编解码器,该数据处理器处理数据;一个缓存器单元,包含一个图象缓存器和音频缓存器,其中图象缓存器用于基于帧大小缓存由图象编解码器编码的图象信号,而音频缓存器用于缓存由音频编解码器编码的音频信号;一个报头生成器,用于在基于帧大小从图象缓存器中输出图象信号时,把一个包含图象模式信息和帧大小信息的图象报头插入到每个编码的图象信号中,并且输出向其中插入了图象报头的每个编码图象信号;一个组合器,用于组合报头生成器的输出和音频缓存器的输出,并且输出组合的结果;以及一个存储器,用于把组合器的输出存储作为一个组合信号。
附图说明
本发明的上述及其它目的、特征及其它优点将从以下结合附图进行的详细说明中得到更清楚的理解,其中:
图1是说明了用于执行本发明中的操作的一个移动终端的配置的方框图;
图2是一个说明了如图1所示的图象处理器的详细配置的方框图;
图3是说明了依据本发明一个实施例的、用于生成并且存储一个组合信号的处理过程的方框图;
图4是说明了依据本发明实施例的、用于再现该组合信号的处理过程的方框图;
图5是说明了依据本发明实施例的、用于传输该组合信号的处理过程的方框图;
图6是说明了依据本发明实施例的、用于接收该组合信号的处理过程的方框图;
图7是说明了依据本发明实施例、用于获得图象和音频信号并且基于该图象和音频信号生成并存储一个组合信号的过程的流程图;
图8是说明了依据本发明另一个实施例、用于获得图象和音频信号并且基于该图象和音频信号生成并存储一个组合信号的过程的流程图;
图9是说明了依据本发明另一个实施例、用于获得图象和音频信号并且基于该图象和音频信号生成并存储一个组合信号的组件的方框图;
图10A和10B是说明了由如图7到9所示的过程和组件生成的组合数据的格式的方框图;
图11是说明了依据本发明另一个实施例、用于组合活动图象和文本信号并且基于该活动图象和文本信号生成并存储一个组合信号的过程的流程图;
图12是说明了依据本发明另一个实施例、用于组合活动图象和文本信号并且基于该活动图象和文本信号生成并存储一个组合信号的过程的流程图;
图13是说明了依据本发明另一个实施例、用于获得图象和文本信号并且基于该图象和文本信号生成并存储一个组合信号的组件的示意图;
图14A到14C是说明了其中由如图11到13所示的过程和组件组合图象和文本信号的组合信号的格式的方框图;
图15是说明了依据本发明另一个实施例、用于组合活动图象、音频和文本信号并且基于该活动图象、音频和文本信号生成并存储一个组合信号的过程的流程图;
图16是说明了依据本发明另一个实施例、用于组合活动图象、音频和文本信号并且基于该活动图象、音频和文本信号生成并存储一个组合信号的过程的流程图;
图17是说明了依据本发明另一个实施例、用于获得图象、音频和文本信号并且基于该图象、音频和文本信号生成并存储一个组合信号的组件的示意图;
图18A到18C是说明了其中由如图15到17所示的过程和组件组合图象、音频和文本信号的组合信号的格式的方框图;
图19是说明了依据本发明另一个实施例、用于分开和再现一个组合信号的过程的流程图;
图20是说明了依据本发明另一个实施例、用于分开和再现该组合信号的组件的方框图;
图21是说明了依据本发明另一个实施例、用于分开和再现一个其中组合了图象和文本信号的组合信号的过程的流程图;
图22是说明了依据本发明另一个实施例、用于再现其中组合了图象和文本信号的组合信号的组件的示意图;
图23是说明了依据本发明另一个实施例、用于组合图象、音频和文本信号并且基于该图象、音频和文本信号再现一个组合信号的过程的流程图;
图24是说明了依据本发明另一个实施例、用于组合图象、音频和文本信号并且基于该图象、音频和文本信号再现一个组合信号的组件的方框图;
图25是说明了依据本发明另一个实施例、用于生成和传输以分组形式的一个组合信号的过程的流程图;
图26是说明了依据本发明另一个实施例、用于生成和传输以分组形式的该组合信号的组件的方框图;
图27A到27E是说明了基于要被传输的组合信号的分组格式的方框图;
图28是说明了依据本发明另一个实施例、用于生成和传输以分组形式的一个其中组合了文本和活动图象信号的组合信号的组件的方框图;
图29A和29B是说明了基于要被传输的组合信号的分组格式的方框图;
图30是说明了依据本发明另一个实施例、用于生成和传输以分组形式的一个其中组合了文本、音频和活动图象信号的组合信号的组件的方框图;
图31A和31B是说明了基于要被传输的组合信号的分组格式的方框图;
图32是说明了依据本发明另一个实施例、用于基于一个组合信号分解所接收的分组并且存储分解了的分组的过程的流程图;
图33是说明了依据本发明另一个实施例、用于基于该组合信号分解所接收的分组、并且再现以组合信号的形式的分解了的分组的组件的方框图;
图34A和34B是说明了用于基于一个组合信号分解分组并且生成该组合信号的格式的方框图;
图35是说明了依据本发明另一个实施例、用于基于其中组合了文本和活动图象信号的一个组合信号接收和分解分组的组件的方框图;
图36是说明了依据本发明另一个实施例、用于基于其中组合了文本、音频和活动图象信号的一个组合信号接收和分解分组的组件的方框图;以及
图37是说明了依据本发明另一个实施例、用于生成、再现、传输和接收一个组合信号的过程的流程图。
具体实施方式
现在,本发明的一些实施例将通过参考附加图加以详细描述。在附图中,相同或者相似的单元由相同的参考数字表示。
在下面的说明中,描述了与图象压缩技术、活动图象信号的传输速率、图象数据的格式、图象信号的大小有关的规定细节,作为示例。显然对于本领域技术人员来说,没有这些规定的细节也能够使用各种修改来实现本发明。
依据本发明的一个实施例,假定联合照相专家组(JPEG)编码技术被用作图象信号编码技术。做为选择,能够在本发明的实施例中使用其它图象编码技术。依据本发明的实施例,借助于JPEG编码技术作为静止图片信号编码技术以预定的时间间隔编码所接收的活动图象信号,以便生成编码的图象数据。然后,能够生成一个其中把音频或者文本数据与编码的图象数据组合的组合信号。此外,能够生成一个其中把音频数据和文本数据与编码的图象数据组合的组合信号。
依据本发明的实施例,组合信号能够如上所述那样被生成,该组合信号能够被分解和再现,并且该组合信号能够通过一个通信模块被传输/接收。
术语“静止图片信号”是指能够以活动图象信号的形式被生成的图象信号。在这种情况下,图象编解码器以规定时间为单位连续地编码静止图片,并且以活动图象信号的形式生成连续编码的静止图片。即,图象编解码器在每个规定时间期间以帧为单位编码静止图片。在此,预定时间表示在其期间图象编解码器编码一帧中的图象信号的一个时间周期。图象编解码器能够是JPEG编解码器。此外,依据本发明的实施例,术语“组合信号”是指其中音频信号或者文本信号与活动图象信号组合的一个信号,或者是其中音频和文本信号与活动图象信号组合的一个信号。
术语“组合方式”是指用于组合由摄像机捕获的图象信号与音频信号或者文本信号或者与音频和文本信号的一种操作方式。在这种情况下,图象编解码器以规定时间为单位连续地编码静止图片以输出编码的图象信号,并且由图象编解码器连续编码的图象信号与音频信号或者文本信号、或者与音频和文本信号组合。术语“回放方式”是指用于访问和显示其中编码图象信号与音频信号或者文本信号或者与音频和文本信号组合的组合数据的一种操作方式。术语“传输方式”是指用于在执行组合方式之后连续地传输组合信号、或者用于有选择地传输保存在一个存储器中的组合信号的操作方式。术语“接收方式”是指用于从一个基站中接收和存储一个组合信号的操作方式。在执行接收方式的同时能够执行回放方式。
依据本发明的实施例,假定用于处理活动图象信号的移动终端是一个移动电话。依据本发明实施例的移动终端能够被应用到一个用于使用摄像机显示图象的除移动电话以外的移动通信设备。
图1是说明了依据本发明一个实施例的一个移动终端或者移动电话的配置的方框图。
参见图1,射频(RF)模块23执行移动电话的无线电通信功能。RF模块23包含:一个RF发送器(未示出),用于向上转换和放大将被传输的一个信号的频率;一个RF接收器(未示出),用于执行对接收信号的低噪声放大和向下转换该放大了的接收信号的频率,等。数据处理器20包含一个用于编码和调制传输信号的发送器(未示出)、一个用于解调制和解码所接收信号的接收器(未示出)等。即,数据处理器20可以是一个调制解调器和一个编解码器。在此,在数据处理器20中提供的编解码器包含一个用于处理分组数据等的数据编解码器(未显示)、和一个用于处理音频信号诸如语音等的音频编解码器85。依据本发明的实施例,假定音频编解码器85是一个嵌入在移动电话中的语音编解码器。在音频编解码器85基于8 Kbps速率的地方,每20毫秒生成一帧的编码的音频信号(20个字节)。音频处理器25再现从在数据处理器20中提供的音频编解码器85中输出的一个音频信号,或者是执行用于从麦克风向在数据处理器20中提供的音频编解码器85传送一个音频信号的功能。
键输入单元27包含用于输入数值和字符信息的键、以及用于设置各种功能的功能键。依据本发明的实施例,键输入单元27能够包含用于控制活动图象方式的功能键、和用于驱动摄像机的捕获键。在本发明的实施例中,能够通过键输入单元27输入一个文本信号,以便使该文本信号与图象或者活动图象信号组合。
存储器30可以是一个程序存储器、一个数据存储器和一个活动图象存储器,其中活动图象存储器用于存储依据本发明的实施例生成和接收的组合信号。依据本发明实施例,程序存储器能够存储用于控制移动电话的总体操作的程序、和用于控制施加到一个显示单元的一个图象信号的路径的程序。此外,数据存储器暂时地存储在执行程序的同时生成的数据。此外,数据存储器包含:一个文本缓存器,用于存储通过键输入单元27输入的一个文本信号;一个图象缓存器,用于存储活动图象信号;和一个音频缓存器,用于存储从音频编解码器85中生成的音频信号。依据本发明的实施例,活动图象存储器存储其中组合了编码图象数据和文本信号(或者音频信号)的组合数据。
控制器10控制移动电话的整体操作。在一个实施例中,控制器10能够被提供在数据处理器20中。此外,控制器10依据由键输入单元27设置的操作方式命令,控制用于生成、存储、再现,发送与接收组合信号的操作。控制器10输出用户数据到一个显示单元60,一般使显示单元60能够显示该用户数据。将被移动电话显示的用户数据包含指示当前时间、接收灵敏度、和剩余电池电量的第一用户数据,以及由用户设置的第二用户数据。依据本发明的实施例,第二用户数据能够是由用户选择或者输入的组合信号中的文本信号。在本发明的实施例中,假定第二用户数据是组合信号中的文本信号。
摄像机模块40包含:一个摄像机传感器,用于把具有图象信号的光信号转换成为电信号;以及一个信号处理器,用于把由摄像机传感器捕获的模拟图象信号转换成为数字数据。在此,假定摄像机传感器是一个电荷耦合器件(charge coupled device,CCD)图象传感器。信号处理器能够由一个数字信号处理器(DSP)实现。摄像机传感器和信号处理器能够是组合的或者分离的。
图象处理器50生成屏幕数据,以便使从摄像机模块40中输出的图象信号能够被显示。图象处理器50以帧为单位处理从摄像机模块40中输出的图象信号。在显示单元60的特性和大小的基础上输出帧图象数据。此外,图象处理器50包含一个图象编解码器80。图象编解码器80以设置的编码方式编码图象信号,或者是把编码的帧图象数据解码成为原始的帧图象数据。图象处理器50在控制器10的控制下响应于设置的操作方式生成和再现活动图象信号。
显示单元60在屏幕上显示从图象处理器50中输出的帧图象信号,并且显示从控制器10中输出的用户数据。显示单元60在控制器10的控制下显示再现的活动图象信号。显示单元60能够使用液晶显示器(LCD)。在这种情况下,显示单元60包含一个LCD控制器、一个能够存储图象数据的存储器和LCD单元。在用触摸屏实现LCD时,触摸屏起到输入单元的作用。
全球定位系统(global positioning system,GPS)接收器70从GPS卫星接收GPS信息,并且传输接收的GPS信息到控制器10。GPS信息能够是表示移动电话的当前位置的信息。在本发明的该实施例中,能够通过GPS接收器70接收与当前获取的活动图象有关的位置(或者地点)和时间信息。
下面将参考图1描述移动终端或者移动电话的操作。如果用户在传输一个向外呼叫信号时通过键输入单元27执行拨号操作,则控制器10检测呼叫信号传输方式,处理从数据处理器20接收的拨号信息,通过RF模块23把拨号信息转换成为RF信号,并且输出该RF信号。然后,如果被呼叫方生成一个响应信号,则控制器10通过RF模块23和数据处理器20检测来自被呼叫方的响应信号。然后,控制器10基于RF模块23、数据处理器20和音频处理器25建立一条通信路径以执行通信功能。在接收一个向内呼叫信号时,控制器10通过数据处理器20检测呼叫信号接收方式,控制音频处理器25,并且生成一个响铃信号。然后,如果用户对响铃信号作出响应,则控制器10检测对响铃信号的响应。类似地,控制器10基于音频处理器25、数据处理器20和RF模块23建立一条通信路径并执行通信功能。作为一个例子已经描述了在呼叫信号传输和接收方式中的话音通信。然而,能够执行除话音通信以外的、用于传递分组数据和图象数据的数据通信功能。此外,在执行备用方式或者文本通信时,控制器10允许显示单元60显示由数据处理器20处理的字符或者文本数据。
在移动电话使用码分多址(CDMA)信道时,数据处理器20包含基于CDMA的信道传输/接收设备。依据本发明的实施例,数据处理器20包含用于编码和解码将与活动图象信号组合的音频信号的音频编解码器85。
依据本发明的实施例,移动电话能够捕获一个人或者周围环境的图象,并且显示或者传输该图象。首先,摄像机模块40被安装在移动电话中,或者是在移动电话的预定外部位置处连接到移动电话即,摄像机模块40能够是一个内部或者外部的摄像机。摄像机模块40能够包含一个用于捕获图象信号的传感器、一个用于把传感器捕获的图象信号转换成为数字数据的信号处理器、等。传感器能够使用电荷耦合器件(CCD)图象传感器或者互补金属氧化物半导体(CMOS)图象传感器。在由摄像机模块40捕获的图象信号被转换为电信号之后,信号处理器把一个模拟的图象信号转换成为数字图象数据,然后输出数字图象数据和同步信号到图象处理器50。在此,同步信号能够是水平同步信号Hsync和垂直同步信号Vsync。
图2是说明了如图1所示的信号处理器50的配置的方框图。图象处理器50执行在摄像机模块40和显示单元60之间的接口功能,并且同时执行用于编码从摄像机模块40中输入的图象信号的功能和解码功能。此外,图象处理器50执行用于实现对包含在一个编码主图象中的图象数据的像素和行的抽取和剪切,以生成一个缩略图。如上所述,图象处理器50包含用于编码和解码图象信号的图象编解码器80。在本发明的实施例中,假定图象编解码器80是联合照相专家组(JPEG)编解码器。
参见图2,摄像机接口311执行用于从摄像机模块40中输出的图象数据的接口功能。假定从摄像机模块40中输出的图象数据基于YUV格式,并且显示单元60显示RGB格式的图象数据。在本发明的实施例中,假定从摄像机模块40中输出的图象数据基于YUV211(16位)格式,并且被固定为一种352×288像素的共用中间格式(CIF)大小。此外,假定基于RGB格式的显示单元60具有128×112像素的大小。
响应于从控制器10中输出的一个控制信号,比例缩放器313按比例缩放由摄像机模块40捕获的图象信号的数据,以便使该图象数据能够被显示在显示单元60上。即,如上所述,由摄像机模块40捕获的图象信号的像素数目是352×288像素的CIF大小,并且能够被显示的图象数据的像素数目是128×112像素或者128×96像素。因此,比例缩放器313减少和剪切从摄像机模块40中输出的图象信号的像素达到能够被显示在显示单元60上的图象数据的像素数目。然而,如果显示单元60能够显示具有比从摄像机模块40中输出的图象信号的像素数目更大的尺寸的图象数据,则比例缩放器313能够被这样设计,以便使从摄像机模块40中输出的图象信号的像素能够在控制器10的控制下被放大和显示。一种用于显示放大的图象像素的方法从从摄像机模块40输出的图象数据中选择能够被显示的数目的像素,并且显示所选择的像素。
彩色制式转换器315把从比例缩放器313接收的YUV数据转换成为RGB数据,然后输出该RGB数据。在摄像机模块40生成以RGB格式的图象数据、或者显示单元60能够显示YUV格式的图象数据时,彩色制式转换器315的配置能够被省略。
液晶显示器(LCD)接口317执行用于将被输出到显示单元60的图象数据的接口功能。LCD接口317包含一个内部缓存器,并且缓存与显示单元60接口的图象数据。
在控制器10的控制下,图象编解码器80能够编码捕获的图象数据或者解码编码的图象数据。在本发明的实施例中,假定图象编解码器325是JPEG编解码器。在控制器10的控制下,图象编解码器80接收来自彩色制式转换器315的摄像机图象信号、或者是将被显示在显示单元60上的图象信号,并且执行对所接收的图象信号的JPEG编码操作。此外,图象编解码器80解码JPEG编码的图象信号,并且输出解码了的图象信号到比例缩放器313或者LCD接口317。图象编解码器80能够编码或者解码摄像机图象或者显示的图象。
控制接口321执行在图象处理器50和控制器10之间的接口功能,并且执行在显示单元60和控制器10之间的接口功能。
选择器319响应于从控制器10输出的路径控制信号,选择从图象处理器50输出的数据或者从控制器10输出的数据,并且输出所选择的数据到显示单元60。路径控制信号包含:第一路径控制信号,表示一个用于激活在图象处理器50和显示单元60之间的一条总线的信号;和第二路径控制信号,表示一个用于激活在控制器10和显示单元60之间的一条路径的信号。此外,控制器10能够通过选择器319和显示单元60双向通信。
下面将参考图2描述用于传输由摄像机获得的图象数据到显示单元60的操作。图象处理器50控制由摄像机模块40捕获的活动图象数据的传输速率,并且通过LCD接口317在显示单元60的一个存储器中存储输入的图象数据。对应于从摄像机模块40输出的一帧的图象信号的像素数目是352×288像素的CIF尺寸,并且在对应于能够被显示的一帧的图象数据的像素数目(128×112像素或者128×96像素)的基础上,来自摄像机的图象数据的像素被减少和局部地剪切。因此,图象处理器50的比例缩放器313局部地剪切从摄像机模块40输出的图象信号的像素,或者是选择这些像素的一个局部区域,以便使显示单元60能够在一个放大屏幕(zoom screen)上适当地显示来自摄像机模块40的图象信号的像素。在主时钟的基础上,固定地指定图象数据的传输速率。在摄像机模块40、图象处理器50和显示单元60之间的图象信号或者数据的流动受到用于显示单元60的存取速率的影响。因此,LCD接口317包含一个缓存器,用于暂时地缓存图象信号或者数据,以便能够调整从摄像机模块40中读取图象信号的速率和向显示单元60写入图象数据的速率。
在用于以活动图象的形式在显示单元60上显示由摄像机模块40捕获的图象信号的处理过程中,用户允许显示的图象被捕获作为一个静止图片,并且允许存储捕获的图象。即,用户能够使用照片捕获键把一个显示的图象存储为一张照片。在这种情况下,当生成一条照片捕获命令时,控制器10停止图象处理器50的操作,把显示在显示单元60上的图象再现为一个静止图片,并且驱动图象编解码器80。然后,图象编解码器80接收从摄像机模块40中输出的图象、或者在显示单元60上显示的一帧的图象数据,以JPEG格式编码所接收的图象数据,并且输出编码的图象数据到控制接口321。控制器10把接收的编码图象数据作为一张照片存储在一个存储器30中。
在先前以三星电子株式会社名义提出的韩国专利申请2002-22066和2002-22844中公开了如图2所示的图象处理器50的详细配置,在这里插入这些参考文献作为参考。
图3是依据本发明第一实施例说明了这样一个处理过程的方框图,其中该处理过程用于以静止图片信号的形式编码由在配备有摄像机和图象编解码器的移动电话中提供的摄像机模块捕获的连续图象信号,生成一个其中组合了活动图象信号与音频信号或者文本信号的组合信号,并且存储生成的组合信号。
参见图3,由摄像机模块40捕获的图象信号被施加到图象编解码器80。图象编解码器80以JPEG图象数据的形式编码图象信号。JPEG图象数据被施加到控制器10。在这时,图象编解码器80依据编码性能生成JPEG图象数据,同时跳过在从摄像机模块40中输出的图象信号之中的某些帧。即,图象编解码器80依据它的编码性能执行用于以静止图片信号的形式编码连续图象信号的操作。此外,数据处理器20的音频编解码器85依据信号编码音频信号,并且编码的音频信号被施加到控制器10。然后,控制器10生成一个其中组合了从图象编解码器80中输出的活动图象信号和从音频编解码器85中输出的音频信号的组合信号。然后,生成的组合信号被保存在存储器30中。当上述处理过程被重复时,其中组合了活动图象信号和音频信号的组合信号被保存在存储器30中。
此外,控制器10组合从图象编解码器80中输出的活动图象信号和从数据处理器20中输出的文本信号,并且生成一个组合信号。生成的组合信号被保存在存储器30中。此时,文本信号能够直接由用户通过键输入单元27输入。做为选择,一个预先存储的文本信号能够被选择为将与活动图象信号组合的文本信号。在用于组合活动图象信号与文本信号的方法中,能够独立地执行文本输入操作和活动图象信号输入操作。当完成活动图象信号输入操作时,活动图象信号能够与文本信号组合。
连同组合信号一起存储表示了与组合信号有关的名称、地点、时间等的信息。在此,在移动电话配备有GPS接收器时,使用从GPS接收的地点和时间信息,能够自动地记录与捕获的活动图象信号有关的位置和时间信息。在这种情况下,用户能够另外输入组合信号的名称,并且将来使用组合信号的名称作为菜单信息。此外,在移动电话没有配备GPS接收器时,用户输入能够被用作菜单信息的、与捕获的活动图象信号有关的名称、地点和时间信息。
已经就配备有摄像机和图象编解码器的移动电话描述了上述操作。配备有基于软件的JPEG编解码器而没有图象编解码器的移动终端能够实现上述操作。借助于软件编码和解码JPEG图象所需要的时间周期比借助于嵌入在移动电话中的基于硬件的图象编解码器编码和解码图象信号所需要的时间周期更长。因此,当在相对于接收的活动图象邮件的视频跳过某些帧的同时解码JPEG数据、并且全部解码音频信号时,帧更新速率降低了,但是音频和图象信息能够被充分地传输。
图4是说明了这样一个处理过程的方框图,其中该处理过程用于访问由与图3有关的处理过程存储的已存储的组合信号,把该组合信号分成活动图象信号、音频信号和/或文本信号,并且再现该活动图象信号、音频信号和/或文本信号。
参见图4,当请求对组合信号的回放操作时,控制器10存取从存储器30中选择的一个组合信号,执行报头分析操作,并且从该组合信号中分开图象信号、音频信号和/或文本信号。然后,控制器10把音频信号和/或文本信号传输到音频编解码器85和/或显示单元60,并且传输活动图象信号到图象编解码器80。然后,图象编解码器80从JPEG图象信号中恢复原始图象信号。图象处理器50基于显示单元60的尺寸处理恢复的图象信号,并且把处理了的恢复的图象信号传输到显示单元60,以便使它能够显示该图象信号。在这种情况下,从控制器10中输出的文本信号能够是第二用户数据,并且在显示活动图象信号的同时依据一种指定的显示类型进行显示。显示类型将在下面进行描述。在音频编解码器85从编码的音频信号中恢复原始音频信号之后,音频处理器25再现该音频信号。
图5是说明了依据本发明第三实施例、用于在配备有摄像机和图象编解码器的移动电话中传输一个组合信号的处理过程的方框图。在用于传输组合信号的方法中,存取和传输被保存在存储器30中的组合信号。做为选择,在与图3有关的处理过程期间能够实时传输该组合信号。假定组合信号是一个其中组合了活动图象信号、音频信号和/或文本信号的信号。
下面将描述用于传输保存在存储器30中的组合信号的操作。存储器30能够存储至少一个组合信号。因此,用户能够借助于一个菜单选择想要的一个组合信号。当选择了想要的组合信号时,控制器10存取保存在存储器30中的组合信号,基于将被传输的组合信号生成分组数据,并且输出该分组数据到数据处理器20。数据处理器20分配一个数据信道,执行对组合信号的信道编码和调制操作,并且传输信道编码和调制操作的结果到RF模块23。RF模块23把信道编码和调制操作的结果转换成为一个无线电信号,并且传输该无线电信号。
接下来,下面将描述用于实时传输由摄像机模块40捕获的活动图象信号的操作。图象编解码器80对由摄像机模块40捕获的活动图象信号执行JPEG编码操作,并且音频编解码器85编码音频信号。控制器10组合编码的活动图象和音频信号与文本信号。在组合处理过程中,文本和图象信号具有报头。由于图象和音频信号必须被实时处理,所以图象和音频信号被交错和组合。在一个特定位置、诸如组合信号的头部或者尾部组合该文本信号。在本发明的实施例中,假定文本信号位于组合的信号头部,并且存储交错的图象和音频信号。控制器10在存储器30中存储组合信号,基于该组合信号生成分组数据,并且把分组数据传输到数据处理器20。数据处理器20分配一个数据信道,执行对组合信号的信道编码和调制操作,并且传输信道编码和调制操作的结果到RF模块23。RF模块23把信道编码和调制操作的结果转换成为一个无线电信号,并且传输该无线电信号。
图6是说明了依据本发明第四实施例、用于在配备有摄像机和图象编解码器的移动电话中接收一个组合信号的处理过程的方框图。在用于接收组合信号的方法中,从一个基站接收的组合信号被保存在存储器30中,或者能够在如图4所示的处理过程期间被实时显示。假定组合信号是一个其中组合了活动图象信号、音频信号和文本信号的信号。
下面将描述用于在存储器30中存储所接收的组合信号的操作。RF模块23把接收的一个无线电信号转换成为一个基带信号。数据处理器20实现对所接收的组合信号的信道解调制和解码操作,并且把信道解调制和解码操作的结果传输到控制器10。由于所接收的组合信号是基于分组的,所以控制器10分析分组的报头,并且分组转换成为组合信号,并且把该组合信号存储在存储器30中。依据本发明的实施例,假定文本信号位于组合信号中的第一活动图象信号的头部,并且交错图象和音频信号。如结合图4描述的那样,接收的组合信号的名称被记录下来,并且将能够被用作菜单信息。
保存在存储器30中的信息能够被实时再现。在这种情况下,控制器10在存储器30中存储所接收的组合信号,并且同时执行与图4有关的处理过程,以便能够再现活动图象和音频信号。
接下来,下面将详细描述依据如图3到6所示的实施例的处理过程。
图7是说明了依据本发明第一实施例的这样一个过程的流程图,其中该过程用于允许图象处理器50中的图象编解码器80从由摄像机模块40捕获的活动图象信号中生成连续静止图片的JPEG编码数据,允许数据处理器20中的音频编解码器85生成编码的音频数据,组合生成的活动图象数据和音频数据,并且在存储器30中存储组合数据。此外,图8是说明了这样一个过程的流程图,其中该过程用于在生成和存储一个组合信号时生成和存储活动图象信号,基于存储的活动图象信号生成音频信号,组合该活动图象信号和音频信号,并且存储该组合信号。此外,图9是说明了用于执行如图7所示的过程的装置的方框图。
参见图7,用户借助于键输入单元27输入为执行组合活动图象和音频信号的组合方式所需的一条指令。然后,在步骤411,控制器10检测输入的用于组合方式的指令。如果没有检测到输入指令,则在步骤412执行其它相应的功能。在步骤413,控制器10驱动摄像机模块40,以便能够开始一个捕获操作。在步骤415,控制器10控制图象处理器50,以便使它能够开始对由摄像机模块40捕获的活动图象信号的JPEG编码操作,并且驱动数据处理器20中的音频编解码器85,以便使音频编解码器85基于由摄像机模块40捕获的活动图象信号开始对音频信号的编码操作。此时,由摄像机模块40捕获的活动图象信号通过图象处理器50施加到显示单元60,以便使显示单元60能够显示活动图象信号。
图象编解码器80执行对具有帧大小的图象数据的JPEG编码操作。在步骤417和419,缓存从音频编解码器85中输出的编码音频数据,同时图象编解码器80执行对一帧图象数据的JPEG编码操作。然后,当接收了一帧的JPEG编码图象数据时,控制器10在上述步骤419检测接收的图象数据,并且存取在上述步骤417缓存的音频数据。在步骤423,生成为组合JPEG编码图象数据和音频数据所需的报头。然后,控制器10组合如图10B所示的生成的报头、JPEG编码图象数据和音频数据,并且在存储器30中存储组合的数据。在用户解除组合方式之前,以一帧为单位组合该报头、图象数据和音频数据,并且在重复上述操作的同时把组合的数据保存在存储器30中。
如图10A所示,保存在存储器30中的组合数据包含连续存储的静止图片数据单元JPEG 1、JPEG 2等。因此,保存在存储器30中的静止图片数据对应于活动图象数据。此时,能够依据如上所述的编码性能决定编码的静止图片数据单元JPEG 1、JPEG 2、JPEG 3等即,假定摄像机模块40能够以每秒20帧捕获图象数据,并且图象编解码器80能够以每秒5帧编码图象数据,则JPEG 1能够是从摄像机模块40中输出的第一帧的图象数据,JPEG 2能够是从摄像机模块40中输出的第五帧的图象数据,JPEG 3能够是从摄像机模块40中输出的第九帧的图象数据,而JPEG 4能够是从摄像机模块40中输出的第十三帧的图象数据。控制器10能够使用一种用于依据用户的选择改变图象编解码器80的编码速率的方法。即,能够执行一个控制操作,以便使图象编解码器80的编码速率能够被设置得小于最大编码速率,而且能够依据所设置的编码速率生成JPEG图象数据。例如,假定摄像机模块40能够以每秒20帧捕获图象数据,并且图象编解码器80以每秒5帧编码图象数据,则用户能够控制图象编解码器80,以便使图象编解码器80能够具有能够每秒编码一帧、两帧、三帧或者四帧的编码速率。
当在生成以帧为单位编码的组合数据的同时从用户接收一个组合方式结束的请求时,在步骤427,控制器10检测该组合方式结束请求,并且在步骤429关掉图象编解码器80和音频编解码器85。此时,能够依据移动电话的操作状态独立地控制摄像机模块40。即,移动电话能够执行用于在显示单元60上显示由摄像机模块40捕获的图象信号的预览方式。在这种情况下,图象编解码器80和音频编解码器85不操作,并且由摄像机模块40捕获的图象信号通过图象处理器50中的一个屏幕显示发生器显示在显示单元60上。因此,在以预览方式执行用于活动图象的方式时,控制器10在终止用于活动图象的方式时关掉图象编解码器80。从摄像机模块40中输出的图象信号通过摄像机接口311、彩色制式转换器315、比例缩放器313和LCD接口317施加到显示单元60,并且被显示为一个预览图象屏幕。在执行用于活动图象的方式而同时没有运行预览方式时,控制器10在上述步骤429关掉摄像机模块40。
在执行上述步骤429之后,控制器10允许显示单元60显示用于记录保存在存储器30中的活动图象信号的名称的信息。如果移动电话没有配备GPS接收器时,则显示一个引导菜单,以便能够人工地输入活动图象捕获的地点和时间、以及保存在存储器30中的一个组合信号的名称。做为选择,在移动电话配备有GPS接收器时,显示一个引导菜单,以便能够自动地输入保存在存储器30中的组合信号的名称。控制器10生成菜单信息,并且生成的菜单信息作为用户数据被显示在显示单元60上。
当在显示菜单信息的同时通过键输入单元27输入组合信号的名称时,控制器10在步骤433感知输入的名称。在步骤435,输入对应于保存在存储器30中的组合信号的名称、地点和时间信息。此时,用户可以仅仅输入组合信号的名称,而不输入图象捕获的地点和时间信息。当用户输入名称并且按下“END”键时,控制器10响应于按下的“END”键仅仅通过输入到名称菜单中的信息记录名称。
图7显示了用于允许控制器10生成和存储组合信号的过程。然而,如图7中所示的操作能够通过如图9所示的配置实现。图9是说明了在移动电话中用于生成和存储组合信号的组件的方框图。作为如图9所示的组件,能够在控制器10中使用缓存单元220、开关211和213、报头发生器230、和组合器240。
参见图9,音频编解码器85编码从音频处理器25中输出的音频信号,并且生成编码的音频数据。图象编解码器80编码由摄像机模块40捕获的图象数据,并且生成JPEG图象数据。在缓存单元220中提供的一个图象缓存器(Img_Buf)222缓存从图象编解码器80中输出的JPEG图象数据。在缓存单元220中提供的第一和第二音频缓存器(Aud_Buf)224缓存从音频编解码器85中输出的编码音频数据。在开关211和音频编解码器85的输出端之间连接一个公共端。开关211的第一输出端连接到第一音频缓存器224的一个输入端,而且开关211的第二输出端连接到第二音频缓存器226的一个输入端。此外,开关213的第一输出端连接到第一音频缓存器224的一个输出端,而且开关213的第二输出端连接到第二音频缓存器226的一个输出端。在开关213和组合器240之间连接一个公共端。能够依据图象缓存器222的输出控制开关211和213。当从图象缓存器222中输出JPEG图象数据时,报头发生器230在JPEG图象数据中插入报头,并且输出插入操作的结果。组合器240组合从开关213输出的编码音频信号和从图象缓存器222输出的JPEG图象数据,并且输出组合的数据。在控制器10的控制下,存储器30存储从组合器240中输出的组合数据。
下面将描述如图9所示的操作。分别由音频编解码器85和图象编解码器80编码音频数据和图象数据。编码的音频和图象数据通过相应的路径被输入到缓存单元220中。在这种情况下,假定组合数据的第一输入被固定为图象数据。缓存单元220包含两个音频缓存器(Aud_Buf1和Aud_Buf2)224和246、和一个图象缓存器(Img_Buf)222。这些组件的操作顺序如下。
图象缓存器222首先接收从图象编解码器80中输出的一帧的图象数据JPEG 1。在这时,图象缓存器222执行一个切换控制操作,以便使第一开关或者语音输入开关211通过路径(a)切换到点(1)。因此,从音频编解码器85中输出的音频数据被施加到第一音频缓存器(Aud_Buf1),以便使它能够缓存音频数据。然后,缓存在图象缓存器222中的JPEG-1图象数据被施加到报头发生器230。报头发生器230向JPEG-1图象数据中插入一个报头。具有插入的报头的JPEG-1图象数据通过组合器240被发送给存储器30。然后,图象缓存器222准备用于缓存后一帧的JPEG-2图象数据的操作。执行一个切换控制操作以便使第一开关211通过路径(a)切换到点(2),同时执行一个切换控制操作以便使第二开关或者语音输出开关213能够通过路径(b)切换到点(3)。在第一音频缓存器224中缓存的音频数据被施加到组合器240,并且第二音频缓存器226缓存从音频编解码器85中输出的音频数据。在完成对JPEG-2图象数据的缓存操作后,图象缓存器222输出JPEG-2图象数据到报头发生器230。报头发生器230向JPEG-2图象数据中插入一个报头。具有插入的报头的JPEG-2图象数据通过组合器240被发送给存储器30。然后,图象缓存器222准备用于缓存后一帧的JPEG-3图象数据的操作。执行一个切换控制操作以便使第一开关211通过路径(a)切换到点(1),同时执行一个切换控制操作以便使第二开关213能够通过路径(b)切换到点(4)。然后,在第二音频缓存器226中缓存的音频数据被施加到组合器240,并且第一音频缓存器224缓存从音频编解码器85中输出的音频数据。
当重复上述操作时,报头发生器230向每一个编码图象单元JPEG1、JPEG 2、JPEG 3、JPEG 4等中插入一个报头。组合器240组合连续接收的编码图象和音频数据,然后连续地输出报头1、JPEG 1、第一音频缓存器224的输出、报头2、JPEG 2、和第二音频缓存器226的输出。在图象缓存器222控制开关211和213的同时,第一和第二音频缓存器224和226输出缓存的音频数据。因此,保存在存储器30中的组合数据具有如图10B所示的活动图象数据的形式。
图8是说明了用于生成和存储组合数据的另一个过程的流程图。图8显示了这样一个过程,其用于允许图象编解码器80以JPEG图象数据的形式编码由摄像机模块40捕获的活动图象信号,允许存储器30存储JPEG图象数据,组合保存在存储器30中的JPEG图象数据与音频数据,并且生成组合的数据。
参见图8,用户借助于键输入单元27输入为执行活动图象方式所需的一条指令。在步骤451,控制器10检测输入的用于活动图象方式的指令。在步骤453,控制器10驱动摄像机模块40,以便能够开始一个捕获操作。在步骤455,控制器10控制图象处理器50,以便使它能够开始对由摄像机模块40捕获的活动图象信号的JPEG编码操作。此时,由摄像机模块40捕获的活动图象信号通过图象处理器50施加到显示单元60,以便使显示单元60能够显示该活动图象信号。
图象编解码器80基于帧大小执行对图象数据的JPEG编码操作,并且控制器10等待将被接收的JPEG图象数据。然后,当接收了一帧的JPEG编码图象数据时,控制器10在步骤457检测接收的图象数据,并且在步骤459在存储器30中存储JPEG图象数据。控制器10重复地执行上述操作,直到活动图象方式完成为止。在这时,保存在存储器30中的多个数据单元是JPEG图象数据单元。
当用户请求终止活动图象方式时,控制器10感知该请求,并且在步骤463关闭图象编解码器。通过步骤465到469,记录表示了保存在存储器30中的活动图象的名称的信息、以及图象捕获的地点和时间信息。上述步骤465到469中的操作与如图7所示的上述步骤431到435的操作相同。
在执行上述步骤451到469的同时,只有JPEG图象数据被保存在存储器30中。当JPEG图象数据与音频相组合时,用户通过键输入单元27输入音频组合方式。然后,控制器10在步骤471检测输入的音频组合方式,并且在步骤473驱动图象编解码器80和音频编解码器85。如果没有检测到输入音频信号,则在步骤418执行其它相应的功能。然后,在步骤474,控制器10允许显示单元60通过一个菜单显示保存在存储器30中的活动图象,并且等待用户选择一个活动图象。此时,当用户选择显示的活动图象中指定的一个时,控制器10在步骤475检测选择的活动图象,并且在步骤477允许解码与所选择的活动图象有关的第一JPEG帧。下面将描述解码处理过程。JPEG图象数据被施加到图象编解码器80。图象编解码器80把所接收的JPEG图象数据解码成为原始图象数据。图象处理器50中的屏幕图象发生器基于显示单元60的尺寸按比例缩放解码的图象数据,并且输出按比例缩放的图象数据。因此,显示单元60显示按比例缩放的图象数据。此外,在图象编解码器80解码一帧的图象数据的同时,控制器10允许缓存从音频编解码器85中输出的编码音频数据。当解码一帧的JPEG编码图象数据时,控制器10在步骤481检测解码的图象数据,在步骤483存取缓存的音频数据,并且在步骤485允许生成为组合JPEG编码图象数据和音频数据所必需的报头。在步骤487,控制器10在存储器30中存储生成的、JPEG编码图象数据和音频数据。在用户解除组合方式之前,重复地执行用于组合报头、JPEG图象数据和音频数据以在存储器30中存储组合数据、同时以帧为单位解码和显示JPEG图象数据的操作。
如图10A所示,保存在存储器30中的组合数据对应于连续存储的静止图片数据单元JPEG 1、JPEG 2等。因此,保存在存储器30中的图象数据具有活动图象数据的格式。
如果提出一条终止请求以便使用于组合JPEG图象和音频数据的操作能够被终止,则控制器10在步骤489检测该终止请求,并且在执行步骤493到497的同时记录组合数据的名称。上述步骤493到497中的操作与上述步骤431到435的操作相同。在在上述步骤465到469中被记录的活动图象数据的名称被用作组合数据的名称时,上述步骤493到497能够被省略。
图11是说明了依据本发明实施例的这样一个过程的流程图,其中该过程用于允许图象处理器50中的图象编解码器80从由摄像机模块40捕获的活动图象信号中生成连续静止图片的JPEG编码图象数据,基于生成的JPEG编码图象数据生成一个文本信号,组合生成的图象和文本信号,并且在存储器30中存储一个组合信号。此外,图12是说明了这样一个过程的流程图,其中该过程用于在生成和存储一个组合信号时生成和存储活动图象信号,基于存储的活动图象信号生成一个文本信号,组合该活动图象和文本信号,并且存储该组合的信号。此外,图13是说明了用于执行如图11所示的过程的装置的示意图。
参见图11,用户借助于键输入单元211输入为执行组合活动图象和文本信号的活动图象组合方式所需的一条指令。然后,在步骤1411,控制器10检测输入的用于活动图象组合方式的指令。如果没有检测到输入指令,则在步骤1412执行其它相应的功能。在步骤1413,控制器10驱动摄像机模块40,以便能够开始一个捕获操作。控制器10控制图象处理器50,以便使它能够开始对由摄像机模块40捕获的活动图象信号的JPEG编码操作。此时,由摄像机模块40捕获的活动图象信号通过图象处理器50被施加到显示单元60。
图象编解码器80实现对一帧的图象数据的JPEG编码操作,然后把JPEG编码操作的结果传输给控制器10。然后,在接收了一帧的JPEG编码图象数据之后,控制器10在上述步骤1415检测接收的图象数据,并且在步骤1417生成JPEG编码图象数据的一个报头以插入生成的报头到图象数据中。在这时,所生成的报头的信息能够是一个表示存在图象的模式信号、和一个表示了对应于一帧的一个图象信号的大小的信号。然后,控制器10在步骤1419在存储器30中存储具有插入的报头的JPEG图象数据。JPEG图象数据能够被保存在存储器30的一个图象缓存器中。能够重复上述活动图象编码操作直到用户解除活动图象接收操作为止。
保存在存储器30中的组合数据表示连续存储的静止图片数据单元JPEG 1、JPEG 2等。因此,保存在存储器30中的图象数据对应于活动图象数据。这时,编码图象数据单元JPEG 1、JPEG 2、JPEG 3等取决于如上所述的编码性能。
当在生成以帧为单位编码的组合数据的同时从用户接收了一条组合方式终止请求时,控制器10在步骤1421感知组合方式终止请求,并且允许显示单元60显示菜单信息,以便能够选择一个将和存储的活动图象信号组合的文本信号。此时,当用户选择输入的一个文本信号时,控制器10在步骤1425检测选择的输入文本信号,并且在步骤1433允许显示单元60显示文本显示类型信息。然后,当用户选择文本显示类型中的一个时,控制器10在步骤1434检测选择的文本显示类型,并且在步骤1437基于选择的文本显示类型指示可显示的文本的最大长度。在此,文本显示类型能够是最上(top)显示类型、最下(bottom)显示类型、滑动(slide)显示类型、堆积(pile-up)显示类型等。
首先,最上显示类型是指用于在显示活动图象信号之前显示一个文本信号的方法。在选择了最上显示类型时,控制器10不指示可显示的文本的最大长度。
其次,最下显示类型是指用于在显示活动图象信号之后显示该文本信号的方法。在选择了最下显示类型时,控制器10不指示可显示的文本的最大长度。
第三,滑动显示类型是指用于在再现活动图象信号的同时在显示单元60的一个指定位置处滑动和显示文本信号的方法。基于为再现活动图象信号所需要的总的回放时间确定滑动文本信号的速率。当选择了滑动显示类型时,需要限制能够被输入的最大字符数目,以便使文本信号与活动图象信号同步。假定一个字符的滑动速率是0.5秒,则最大文本长度能够被计算如下。
公式1
总的输入字符数目=2字符/秒*为再现图象信号所需要的总的回放时间
例如,其中为再现存储的图象信号所需要的回放时间是10秒,能够被输入的最大字符数目为20。之后,控制器10计算为再现保存在存储器30中的图象信号所需要的回放时间。依据计算的结果,控制器10计算在滑动显示方法中能够被输入的最大字符数目。此外,显示单元60中的指定位置能够是顶端或者底部、或者左侧或者右侧。此外,显示单元60能够在除图象显示区域以外的一个文本显示区域上显示文本信号,或者是以在屏方式(onscreen mode)在图象显示区域上显示文本信号。
第四,堆积显示类型类似于滑动显示类型。堆积显示类型是指用于在再现活动图象信号的同时在显示单元60的一个指定位置处同时显示一个具有设置大小的文本信号的方法。即,堆积显示方法在在显示单元60上显示设置数目的字符之后显示后续的字符直到经过一段预定时间为止。在这种情况下,可依据显示单元60的大小决定能够同时被显示的字符数目。在选择了堆积显示类型时,需要限制能够被输入的最大字符数目,以便使文本信号与活动图象信号同步。在此,假定为显示10个字符所需要的时间为2秒,则最大文本长度能够被计算如下。
公式2
总的输入字符数目=10字符/2秒*为再现图象信号所需要的总的回放时间
例如,其中为再现存储的图象信号所需要的回放时间是10秒,能够被输入的最大字符数目为50。之后,控制器10计算为再现保存在存储器30中的图象信号所需要的回放时间。依据计算的结果,控制器10计算在堆积显示方法中能够被输入的最大字符数目。此外,显示单元60中的指定位置能够是顶端或者底部、或者左侧或者右侧。此外,显示单元60能够在除图象显示区域以外的一个文本显示区域上显示文本信号,或者是以在屏方式在图象显示区域上显示文本信号。
在步骤1437,当用户输入文本时,控制器10接收输入的文本,并且在存储器30中存储接收的文本。文本能够被保存在存储器30的一个文本缓存器中。当完成文本输入时,控制器10在步骤1439检测输入的全部文本,并且在步骤1441插入一个报头到接收的文本中。在此,文本报头包含与表示存在文本、所接收文本的长度等的模式有关的信息。
图14A显示了一个文本信号的格式;图14B显示了一个JPEG图象信号的格式;而图14C显示了一个其中组合了文本和活动图象信号的信号的格式。
参见图14A,P表示向其中插入一个模式信号的字段,并且表示后续数据是文本的模式信号被插入到P字段中。L表示一个向其中插入表示总的文本长度的信息的字段。T表示一个向其中插入表示显示类型的信息的字段。T字段的值、即“0000”表示最上显示类型,“0001”表示最下显示类型,“0010”表示滑动显示类型,而“0011”表示堆积显示类型。在T字段之后的字段能够是一个向其中插入一个文本信号的字段。P、L和T字段相当于文本报头。
参见图14B,P表示向其中插入一个模式信号的字段,并且表示后续数据是JPEG图象信号的模式信号被插入到P字段中。L表示一个向其中插入表示总的JPEG图象信号大小的信息的字段。在此,P和L字段相当于图象报头。
如果完成了文本输入,则控制器10组合保存在存储器30的图象缓存器中的活动图象信号与保存在存储器30的文本缓存器中的一个文本信号。此时,活动图象信号必须被连续地处理。然而,如果必要的话,文本信号需要被适当地处理。因此,与音频信号不同,文本信号不需要和活动图象信号交错和组合。在本发明的这个实施例中,假定在活动图象信号之前插入文本信号,然后生成一个组合的信号。图14C显示了一个其中组合了文本和活动图象信号的组合信号的格式。
在组合活动图象信号和文本信号并且生成组合信号之后,在步骤1427,控制器10允许显示单元60显示为记录活动图象的名称所需的信息。如果移动电话没有配备GPS接收器,则显示一个引导菜单,以便能够人工地输入活动图象捕获的地点和时间、以及保存在存储器30中的一个组合信号的名称。做为选择,在移动电话配备有GPS接收器时,显示一个引导菜单,以便能够自动地输入保存在存储器30中的组合信号的名称。控制器10生成菜单信息,并且生成的菜单信息作为用户数据被显示在显示单元60上。
当在显示菜单信息的同时通过键输入单元27输入组合信号的名称时,控制器10在步骤1429捕获输入的名称。在步骤1431,输入对应于保存在存储器30中的组合信号的名称、地点和时间信息。这时,用户可以仅仅输入组合信号的名称,而不输入图象捕获的地点和时间信息。在这种情况下,当用户输入名称并且按下“END”键时,控制器10响应于按下的“END”键仅仅通过输入到名称菜单中的信息记录名称。
图11显示了用于允许控制器10生成和存储组合信号的过程。然而,如图11中所示的操作能够通过如图9所示的配置实现。图13是说明了在移动电话中用于生成和存储组合信号的组件的方框图。在图13中,控制器10能够包含一个缓存单元220、开关211和213、一个报头发生器230和一个组合器240。
参见图13,图象编解码器80编码由摄像机模块40捕获的图象数据,并且生成JPEG图象数据。图象缓存器(Img_Buf)222缓存从图象编解码器80中输出的JPEG图象数据。在从图象缓存器222中输出JPEG图象数据时,报头发生器230生成一个报头,并且把该报头插入到JPEG图象数据中。控制器10生成将与活动图象信号组合的文本。控制器10处理由用户输入的一个文本信号,或者在用户选择指定文本备忘录时能够生成文本信号。文本缓存器228存储由控制器10生成的文本。文本报头发生器235为从文本缓存器228中输出的文本信号生成一个报头,并且把生成的报头插入到文本信号中。组合器240组合从文本报头发生器235输出的文本信号和从图象报头发生器230输出的JPEG图象数据,并且输出组合的数据。在控制器10的控制下,存储器30存储从组合器240中输出的组合数据。
图12是说明了用于生成和存储组合数据的另一个过程的流程图。图12显示了这样一个过程,其用于允许图象编解码器80把由摄像机模块40捕获的活动图象信号编码成为JPEG图象数据,允许存储器30存储JPEG图象数据,组合保存在存储器30中的JPEG图象数据与一个文本信号,并且生成组合的数据。
参见图12,用户借助于键输入单元27输入为执行活动图象方式所需的一条指令。在步骤1451,控制器10检测输入的用于活动图象方式的指令。在步骤1453,控制器10驱动摄像机模块40,以便能够开始一个捕获操作。控制器10控制图象处理器50,以便使它能够开始对由摄像机模块40捕获的活动图象信号的JPEG编码操作。这时,由摄像机模块40捕获的活动图象信号通过图象处理器50施加到显示单元60,以便使显示单元60能够显示该活动图象信号。
图象编解码器80实现对一帧的图象数据的JPEG编码操作,然后把JPEG编码操作的结果传输给控制器10。然后,当接收了一帧的JPEG编码图象数据时,控制器10在步骤1455检测接收的图象数据,并且在步骤1457生成JPEG编码图象数据的一个报头,以把生成的报头插入到JPEG编码图象数据中。在这时,所生成的报头的信息能够是一个表示存在图象的模式信号、和一个表示对应于一帧的该图象信号的大小的信号。然后,在步骤1459,控制器10在存储器30中存储具有插入的报头的JPEG图象数据。JPEG图象数据能够被保存在存储器30的一个图象缓存器中。能够重复上述活动图象编码操作直到用户解除活动图象接收操作为止。
当用户请求终止活动图象方式时,控制器10在步骤1461检测该请求,并且在步骤1463允许显示单元60显示表示能够输入活动图象信息的菜单信息。在执行步骤1465到1467时,记录与保存在存储器30中的活动图象的名称有关的信息、以及活动图象捕获的地点和时间信息。上述步骤1465到1467中的操作与如图11所示的上述步骤1429到1431的操作相同。
在执行上述步骤1451到1467的同时,只有JPEG图象数据被保存在存储器30中。当JPEG图象数据与一个文本信号组合时,用户在步骤1469通过键输入单元27输入一个组合方式。如果没有检测到输入指令,则在步骤1470执行其它相应功能。在感知到输入的组合方式后,控制器10在步骤1471在显示单元60上显示文本显示类型信息。当用户选择文本显示类型中的一个时,控制器10在步骤1473检测选择的文本显示类型,并且在步骤1475在选择的文本显示类型的基础上允许显示单元60显示可显示的文本的最大长度。在此,文本显示类型能够是最上显示类型、最下显示类型、滑动显示类型、堆积显示类型等。
在步骤1477,当用户输入文本时,控制器10接收输入的文本,并且在存储器30中存储所接收的文本。此时,文本能够被保存在存储器30的一个文本缓存器中。当完成文本输入时,控制器10在步骤1479检测输入的全部文本,并且在步骤1481插入一个报头到所接收的文本中。如图14A所示,文本报头包含与表示存在文本的模式、指示所接收文本的长度的信号等有关的信息。
当完成文本输入时,控制器10允许显示单元60显示菜单信息,以便能够选择将与存储的活动图象信号组合的文本信号。即,存储器30能够存储多个活动图象信号。当活动图象信号与文本信号组合时,控制器10在步骤1483允许显示单元60显示存储的活动图象信号。当选择了一个任意的活动图象信号时,控制器10在步骤1485检测所选择的活动图象信号,并且在步骤1489组合所选择的活动图象信号与文本信号。
图15是依据本发明另一个实施例说明了这样一个过程的流程图,其中该过程用于以连续活动图象信号的形式编码由摄像机模块40捕获的图象信号,并且组合该活动图象信号与音频信号和一个文本信号。能够依据如图7所示的组合过程和如图11所示的组合过程执行如图15所示的过程。如图17所示的组件依据如图15所示的过程生成一个组合信号。
参见图15,当选择了活动图象组合方式以组合活动图象信号与音频和文本信号时,控制器10在步骤811检测所选择的组合方式,并且在步骤813驱动摄像机模块40、图象编解码器80和音频编解码器85。如果没有检测到所选择的组合方式,则在步骤812执行其它相应功能。然后,控制器10在步骤815组合连续编码的活动图象信号与编码的音频信号,象在如图7所示的上述步骤417到427中的操作那样。然后,在步骤817,控制器10基于活动图象和音频信号以及文本信号组合一个组合信号,象在上述步骤1423到1443中的操作那样。控制器10在步骤819存储其中活动图象信号与音频和文本信号组合的组合信号。上述步骤819涉及如图7所示的上述步骤431到435中的操作、或者如图11所示的上述步骤1427到1431中的操作。
此外,如图17所示的装置能够实现由如图15所示的过程生成的组合信号。组合信号的格式如图18所示。
图16是依据本发明另一个实施例说明了这样的另一个过程的流程图,其中该过程用于以连续活动图象信号的形式编码由摄像机模块40捕获的图象信号,并且组合该活动图象信号与音频和文本信号。能够依据如图8所示的组合过程和如图12所示的组合过程执行如图16所示的过程。
参见图16,当选择了活动图象方式时,控制器10在步骤831检测所选择的活动图象方式,并且在步骤833连续地编码活动图象信号和生成编码的活动图象信号,象在如图8所示的上述步骤453到463中的操作中那样。此外,当选择了音频组合方式时,控制器10在步骤835检测所选择的音频组合方式,并且在步骤837组合至少一个所选择的活动图象信号与一个音频信号,象在如图8所示的上述步骤473到491中的操作中那样。此外,当选择了文本组合方式时,控制器10在步骤839检测所选择的文本组合方式,并且在步骤841组合至少一个所选择的活动图象信号与一个文本信号,象上述步骤1471到1481中的操作中那样。如果没有选择所选择的文本组合方式,则在步骤840执行其它相应功能。在这时,所选择的活动图象信号能够包含音频信号。在所选择的活动图象信号与音频信号和/或文本信号组合之后,控制器10能够在步骤843存储一个组合信号,象在如图8所示的上述步骤465到469、或者如图12所示的上述步骤1463到1467中的操作中那样。
由如图15到17所示的方法生成的组合信号能够是一个其中活动图象信号是音频和文本信号的信号。在此,组合信号的格式如图18所示。
图19是依据本发明第二实施例说明了一个用于再现保存在存储器30中的组合数据的过程的流程图。
参见图19,当用户通过键输入单元27输入组合信号回放方式时,控制器10在步骤511检测输入的活动图象回放方式,并且在步骤513允许显示单元60显示一个活动图象菜单。如果没有检测到输入指令,则在步骤512执行其它相应功能。活动图象菜单的信息能够包含至少一个活动图象的名称,或者能够包含活动图象的名称和活动图象捕获的地点和时间。当在显示活动图象菜单的同时用户选择了一个想要的活动图象时,控制器10在步骤515检测所选择的活动图象。在步骤517和519,控制器10驱动图象编解码器80和音频编解码器85,并且从存储器30中存取所选择的组合数据的信息。
然后,在步骤521,控制器10分析所存取的组合数据的报头,并且把组合数据分成JPEG图象数据和音频数据。然后,控制器10在步骤525发送JPEG图象数据到图象编解码器80,并且在步骤523把音频数据发送给音频编解码器85。JPEG图象数据通过图象处理器50中的显示屏幕发生器进行处理,并且被显示在显示单元60上。此外,音频处理器25再现音频数据,并且扬声器输出再现的音频数据。控制器10在步骤529存取后一帧的组合数据,并且重复上述步骤521到525。保存在存储器30中的组合数据单元被连续地再现,并且再现了的组合数据单元被连续地输出到显示单元60和扬声器。以活动图象的形式再现组合数据。当存储在存储器30中的上一帧的组合数据被再现、或者从用户输入一条回放停止命令时,在步骤527,控制器10检测再现的上一帧或者接收的回放停止命令,并且终止组合信号回放方式。
图19是说明了用于允许控制器10生成和存储组合信号的流程图。如图19所示的过程能够由如图20所示的配置实现。图20是说明了在移动电话中用于生成和存储一个组合信号的组件的方框图。作为如图20所示的组件,报头分析器250、开关261、263、和265以及缓存单元270能够被包含在控制器10中。
参见图20,存储器30存储组合信号,并且在控制器10的控制下存取所选择的组合信号。报头分析器250分析在存储器30中存取的一个组合信号的报头,并且生成用于把组合信号分成JPEG图象数据和音频数据的切换控制信号。在开关或者A/V开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到用于切换音频数据的开关或者语音输入开关263的公共端,并且开关261的第二输出端连接到图象缓存器272。在缓存单元270中提供的图象缓存器(Img_Buf)272缓存从开关261输出的JPEG图象数据。第一和第二音频缓存器(Aud_Buf)274和276缓存编码的音频数据。用于开关263的公共端连接到开关261的第一输出端。开关263的第一输出端连接到第一音频缓存器274的一个输入端,而且开关263的第二输出端连接到第二音频缓存器276的一个输入端。此外,开关或者语音输出开关265的第一输入端连接到第一音频缓存器274的一个输出端,而且开关265的第二输入端连接到第二音频缓存器276的一个输出端。在开关265和音频编解码器或者语音解码器85之间连接一个公共端。开关263和265由图象缓存器272的输出控制。因此,缓冲器单元270执行用于从组合信号中分离音频数据和JPEG图象数据的分离器功能。音频编解码器或者语音解码器85解码从开关265中输出的编码音频数据,并且输出解码的音频信号。图象编解码器或者JPEG解码器80解码从图象缓存器272中输出的JPEG图象数据,并且输出解码的图象数据。
下面将描述如图20所示的操作。分别由音频编解码器85和图象编解码器80编码音频数据和图象数据。编码的音频和图象数据通过相应的路径被输入到缓存单元270中。在这种情况下,假定组合数据的第一输入被固定为图象数据。缓存单元270包含两个音频缓存器(Aud_Buf1和Aud_Buf2)274和246、和一个图象缓存器(Img_Buf)272。这些组件的操作顺序如下。
首先,输出从保存在存储器30中的组合信号中选择出的一个组合信号。保存在存储器30中的组合信号如图10B所示包含具有图象报头的JPEG图象数据和编码的音频或者语音数据,并且以帧为单位被保存。因此,当操作活动图象回放方式时,所选择的组合信号被分成JPEG图象数据和音频数据。再现JPEG图象数据和音频数据。报头分析器250分析从存储器30中输出的、如图10B所示的组合信号的报头,并且生成用于把该组合信号分成JPEG图象数据和音频数据的切换控制信号。假定以报头、JPEG图象数据和音频或者语音数据的次序存储组合信号。
报头分析器250分析组合数据的报头,并且控制连接到点(5)或者(6)的A/V开关261。图象缓存器272控制连接到点(1)或者(2)的语音输入开关263。从存储器30中输出的JPEG图象数据通过开关261被保存在图象缓存器272中。在这时,报头分析器250控制开关261,以便使它切换一帧的JPEG图象数据到点(6),并且JPEG图象数据被施加到图象缓存器272。因此,JPEG图象数据被保存在图象缓存器(Img_Buf)272中。当终止从存储器30中输出JPEG图象数据时,报头分析器250允许A/V开关261连接到点(5)。在这时,开关263连接到点(1),并且从存储器30中输出的音频数据被保存在第一音频缓存器(Aud_Buf1)274中。
图象缓存器(Img_Buf)272把缓存的JPEG图象数据施加到图象编解码器80,并且允许语音输出开关265连接到点(3)。从第一音频缓存器(Aud_Buf1)274中输出音频数据到音频编解码器85。图象编解码器80解码JPEG图象数据,然后输出解码了的图象数据到显示单元60。音频编解码器85解码编码的音频数据,然后输出解码了的音频数据到扬声器。
然后,当从存储器30中输出后一帧的组合数据时,报头分析器250允许开关261连接到点(6)。当从图象缓存器272中全部输出缓存的JPEG图象数据时,图象缓存器272允许开关263连接到点(2)。当如上所述从存储器30中输出的后一帧的JPEG图象数据在图象缓存器272中被缓存、并且全部输出缓存的JPEG图象数据时,报头分析器250允许A/V开关261连接到点(5)。在开关263连接到点(2)时,从存储器30中输出的音频数据被保存在第二音频缓存器(Aud_Buf2)中。当重复上述操作时,再现保存在存储器30中的组合数据。
图21是依据本发明另一个实施例说明了一个用于再现保存在存储器30中的一个组合信号的过程的流程图。假定组合信号是一个其中组合了活动图象信号和一个文本信号的信号。
参见图21,当用户通过键输入单元27输入组合信号回放方式时,控制器10在步骤1511检测输入的组合信号回放方式,并且在步骤1513允许显示单元60显示一个活动图象菜单。如果没有检测到输入指令,则在步骤1512执行其它相应功能。活动图象菜单的信息能够包含至少一个活动图象的名称,或者能够包含活动图象的名称和活动图象捕获的地点和时间。当在显示活动图象菜单的同时用户选择了一个想要的活动图象时,控制器10在步骤1515检测所选择的活动图象。在步骤1517,控制器10驱动图象编解码器80,并且存取从存储器30中选择出的一个组合信号的报头。
然后,在步骤1519,控制器10分析存取的组合信号的报头,并且把组合信号分成JPEG图象信号和一个文本信号。如果作为报头分析的结果检测到一个文本报头,则在步骤1521和1523控制器10分析文本显示类型和文本长度。然后,控制器10在步骤1525存取该文本信号,并且在步骤1527允许显示单元60基于文本显示类型显示该文本信号。然后,如果作为报头分析的结果检测到一个活动图象报头,则控制器10在步骤1529确认活动图象报头和活动图象大小。在在步骤1531存取活动图象信号之后,控制器10在步骤1533发送存取的活动图象信号到图象编解码器80。图象编解码器80解码JPEG图象信号以获得一个原始的图象信号,并且图象处理器50基于显示单元60的大小按比例缩放解码的JPEG图象数据,以便使显示单元60能够输出和显示按比例缩放的解码的JPEG图象数据。当完成了对活动图象信号的回放操作时,终止如图21所示的过程。
如果文本显示类型是最上显示类型,则控制器10允许显示单元60首先显示文本信号,然后连续地存取活动图象信号以输出连续存取的活动图象信号到图象编解码器80。在首先显示文本信号之后,显示单元60以活动图象信号的形式连续地显示接收的静止图片信号。另一方面,如果文本显示类型是最下显示类型,则控制器10连续地存取活动图象信号,并且输出连续存取的活动图象信号到图象编解码器80。在全部输出图象信号之后,把文本信号输出到显示单元60。显示单元60连续地接收和显示静止图片信号然后接收和显示文本信号。另一方面,如果文本显示类型是滑动显示类型,则在由上述公式1决定的时间期间把图象信号输出到图象编解码器80,并且把文本信号输出到显示单元60。当显示单元60连续地接收静止图片信号、并且以活动图象信号的形式显示连续接收的静止图片信号时,在显示单元的一个特定位置处滑动和显示文本信号。另一方面,如果文本显示类型是堆积显示类型,则在由上述公式2决定的时间期间,控制器10把图象信号输出到图象编解码器80,同时允许把设置数目的字符发送给显示单元60。因此,在显示单元60连续地接收静止图片信号并且以活动图象信号的形式显示连续接收的静止图片信号时,在显示单元60的一个特定位置处显示从控制器10输出的预设数目的字符。
图21显示了用于在控制器10中生成和存储一个组合信号的过程。如图21所示的过程能够由如图22所示的配置实现。图22显示了一个说明了用于在移动电话中再现组合信号的组件的方框图。
参见图22,存储器30存储组合信号,并且在控制器10的控制下存取所选择的组合信号。报头分析器250分析在存储器30中存取的一个组合信号的报头,并且生成一个用于把JPEG图象信号和文本信号分开的切换控制信号。在开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到一个文本缓存器228,并且开关261的第二输出端连接到一个图象缓存器222。图象缓存器222缓存从开关261中输出的JPEG图象信号,并且文本缓存器228缓存从开关261中输出的文本信号。
报头分析器250、开关261和缓存器222和228执行用于把从存储器30中输出的组合信号分成JPEG图象信号和文本信号的分离器功能。图象编解码器80解码从图象缓存器222中输出的JPEG图象数据,并且输出解码的图象数据。在控制器10的控制下,显示单元60依据文本显示类型显示活动图象信号和文本信号。
参见图22,存储器30输出从存储在其中的组合信号中选择出的至少一个组合信号。保存在存储器30中的组合信号包含一个具有如图14A所示的文本报头的文本信号,和一个具有如图14B所示的图象报头的JPEG图象信号。当运行活动图象回放方式时,从将被再现的组合信号中分出JPEG图象信号和文本信号。报头分析器250分析来自从存储器30输出的、如图14C所示的组合信号的文本信号的报头和图象信号的报头。当执行报头分析操作时,文本报头被配置为如图14A所示,并且图象报头被配置为如图14B所示。如果组合信号基于如图14C所示的格式,则报头分析器250通过检测文本报头的模式信号检测一个文本信号的存在,并且读取在该模式信号之后的“L”值以便确认文本信号的长度。控制开关261以便使存储器30的输出连接到文本缓存器228。然后,报头分析器250控制存储器30,以便能够输出一个对应于“L”值的文本信号。因此,从存储器30输出的文本信号被施加到文本缓存器228,并且在文本缓存器228中缓存的文本信号被施加到控制器10。此外,如果输入了图象报头,则报头分析器250通过检测图象报头的模式信号感知JPEG图象信号的存在,并且读取在模式信号之后的“L”值,以便确认JPEG图象信号的大小。控制开关261以便使存储器30的输出连接到图象缓存器222。然后,报头分析器250控制存储器30,以便能够输出一个对应于“L”值的JPEG图象信号。因此,从存储器30输出的JPEG图象信号被施加到图象缓存器222,并且在图象缓存器222中缓存的JPEG图象信号被施加到图象编解码器80。施加到图象编解码器80的JPEG图象信号基于帧大小。报头分析器250执行控制操作,以便能够基于帧大小输出连续的JPEG图象信号。
在接收了文本信号后,控制器10确认文本报头的显示类型T的信息。控制器10控制图象处理器50,以便依据指定的显示类型再现文本信号和活动图象信号。图21显示了用于允许控制器10控制图象处理器50和显示单元60以便能够再现文本和活动图象信号的方法。
图23是依据本发明另一个实施例、说明了一个用于再现与音频和文本信号组合的活动图象信号的过程的流程图。此外,图24是说明了再现一个其中活动图象信号与音频和文本信号组合的组合信号的一个装置的组件的方框图。
参见图23,当输入组合信号回放方式时,控制器10在步骤861检测输入的组合信号回放方式,并且在步骤863显示组合的信号菜单。如果没有检测到输入指令,则在步骤862执行其它相应功能。在显示组合信号菜单的同时选择一个希望的组合信号,控制器10在步骤865检测所选择的组合信号,并且在步骤867驱动图象编解码器80和音频编解码器85。在这时,存取所选择的组合信号的信息。
在步骤869,控制器10分析所存取的组合信号的报头,并且从分析的组合信号中分开JPEG图象信号和音频数据。然后,在检测到JPEG图象数据后,在步骤873,控制器10把JPEG图象数据输出到图象编解码器80以便能够显示JPEG图象数据。在检测到音频音频数据后,在步骤871,控制器10把音频数据输出到音频编解码器85以便能够再现音频数据。在检测到文本数据后,在步骤875,控制器10输出文本数据到显示单元60以便能够显示该文本数据。
在控制器10在步骤879存取了后一帧的组合信号之后,重复地执行上述步骤869到875中的操作。因此,通过显示单元60和扬声器连续地再现组合信号。以活动图象的形式再现该组合信号。当再现保存在存储器30中的上一帧的组合信号、或是从用户输入一条回放停止命令时,在步骤877,控制器10检测再现的上一帧或者接收的回放停止命令,并且终止组合信号回放方式。
图24是说明了用于依据如图23所示的过程在移动电话中生成和存储一个组合信号的装置的组件的方框图。如图24中所示的组件,报头分析器250、开关261、263、和265以及缓存单元270能够被包含在控制器10中。
参见图24,报头分析器250分析保存在存储器30中的组合信号。报头分析器250分析包含在在存储器30中存取的一个组合信号中的文本报头和图象报头,并且生成一个用于从组合信号中分出文本信号、JPEG图象信号和音频信号的切换控制信号。在开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到用于切换音频信号的开关263的公共端,开关261的第二输出端连接到一个图象缓存器272,并且开关261的第三输出端连接到一个文本缓存器278。在缓存单元270中提供的文本缓存器278缓存从开关261输出的文本信号。在缓存单元270中提供的图象缓存器(Img_Buf)272缓存从开关261输出的JPEG图象数据。第一和第二音频缓存器(Aud_Buf)274和276缓存编码的音频数据。用于开关263的公共端连接到开关261的第一输出端。开关263的第一输出端连接到第一音频缓存器274的一个输入端,而且开关263的第二输出端连接到第二音频缓存器276的一个输入端。此外,开关265的第一输入端连接到第一音频缓存器274的一个输出端,而且开关265的第二输入端连接到第二音频缓存器276的一个输出端。在开关265和音频编解码器85之间连接一个公共端。开关263和265由图象缓存器272的输出控制。音频编解码器85解码从开关265中输出的编码音频数据,并且输出解码的音频信号。图象编解码器80解码从图象缓存器272中输出的JPEG图象数据,并且输出解码的图象数据。
下面将描述如图24所示的组件的操作。报头分析器250读取保存在存储器30中的一个组合信号的预定大小,并且分析组合信号的报头。如果一个报头的模式信号指示文本模式,则报头分析器250连接开关261到文本缓存器278。另一方面,如果一个报头的模式信号指示图象模式,则报头分析器250连接开关261到图象缓存器272。另一方面,如果报头的模式信号指示音频模式,则报头分析器250连接开关263到音频缓存器274或者276。图象缓存器272以帧间隔控制开关263和265。当第一音频缓存器274缓存一个音频信号时,图象缓存器272允许输出保存在第二音频缓存器276中的音频数据。做为选择,当第二音频缓存器276缓存一个音频信号时,图象缓存器272允许输出保存在第一音频缓存器274中的音频数据。
由于报头分析器250对组合信号执行分析操作,所以分出文本信号、活动图象信号和音频信号,以便使分出的信号被施加到控制器10、图象编解码器80和音频编解码器85,从而能够再现所分出的信号。
图25是说明了用于传输一个组合信号的过程的流程图。由如图13所示的配置传输的组合信号能够是一个通过如图7、8、11、12、15或者16所示的过程保存在存储器30中的组合信号。此外,由如图25所示的过程传输的组合信号能够是一个其中活动图象信号与文本信号和/或音频信号组合的组合信号。一旦执行了用于生成组合信号的过程,就能够执行如图25所示的过程。
参见图25,当用户通过键输入单元27输入一条组合信号传输命令时,控制器10在步骤551检测输入的组合信号传输命令,并且在步骤553允许显示单元60显示一个组合信号菜单。如果没有检测到输入指令,则在步骤552执行其它相应功能。组合信号菜单能够包含表示保存在存储器30中的组合信号的名称的信息,或者表示组合信号的名称、和与组合信号有关的图象捕获的地点和时间信息的信息。当在显示组合信号菜单的同时用户选择了一个希望的组合信号时,控制器10在步骤555检测所选择的组合信号,并且在步骤557存取保存在存储器30中的一个相应组合信号。
控制器10把存取的组合信号分段,以便能够以分组数据的形式传输分段的组合信号。分组数据的大小被固定在预定长度N,并且能够把一帧的图象数据划分成多个分组。此外,能够在一个分组中混合图象/音频数据。通过数据处理器20传输分组数据。数据处理器20实现对所接收的分组数据的信道编码和调制操作,并且输出信道编码和调制操作的结果。RF模块23把信道编码和调制操作的结果转换成为一个无线电信号,并且传输该无线电信号。当全部执行了对组合数据的分组传输操作时,控制器10重复在步骤565用于存取后一帧的组合数据的操作、在步骤559用于生成分组数据的操作、和在步骤561用于传输分组数据的操作。
图25显示了用于传输如上所述的保存在存储器30中的组合数据的过程。当在执行如图7和8所示的过程的同时生成组合数据、并且把生成的组合数据保存在存储器30中时,能够传输生成的组合数据。在这种情况下,控制器10允许存储器30存储一帧的组合数据。组合数据能够以分组数据的形式传输。
图26是说明了用于在移动电话中生成一个组合信号并且同时传输该组合信号的组件的方框图。作为如图26所示的组件,能够在控制器10中构造缓存单元220、开关211和213、报头发生器230、组合器240和分组发生器245。图27A到27E显示了用于传输组合数据的分组数据的格式。
在如图9所示的移动电话中提供的发送器组合或者合并从图象编解码器或者图象编码器80中连续输出的编码的静止图片(JPEG图象)、和从音频编解码器或者语音编码器85中连续输出的编码的音频信号,并且存储一个合并或者组合的信号。当传输合并或者组合信号时,发送器附加基于预定格式的报头到该合并或者组合信号上,并且实现一个分组化操作。用于传输编码的音频数据和JPEG图象数据的分组数据如图27A到27E所示。
图27A显示了基于通过RF模块23传输的组合数据的一个分组的格式。能够决定一帧的组合数据的总大小N,并且如果必要的话,能够把总大小N设置在大约200~1500个字节的范围内。在每个分组中将被传输的一个分组的长度必须恒定。参见该分组格式,44个字节的TCP/IP报头以及7位的序列号S能够被包含在该分组内。序列号S表示生成的分组的序列。序列号可以具有一个值0到值127的值。在值127的序列号之后,重新选择值0的序列号。在序列号S之后的1位A/V值表示相应的一个分组中的第一个数据是音频还是JPEG图象数据。
图27A到27C显示了JPEG图象数据格式。在JPEG图象数据的情况下,一帧的大小被设置在5~10Kbytes(千字节)的范围内。依据本发明的实施例,一帧的图象数据长度比将通过RF模块23传输的分组数据的长度要大。因此,一帧的JPEG图象数据必须通过多个分组进行传输。JPEG图象数据的第一分组包含图象报头的P和L值,如图27B所示。在图27B中,P值表示被用来在接收分组数据的一个接收器中区分音频数据和JPEG图象数据的模式信号。在图27B中,L值表示一个JPEG图象帧的总大小。L值被用来在接收器通过模式信号检测到JPEG图象数据之后读取对应于该L值的JPEG图象数据。当在接收器连续地接收和缓存数据的同时接收和缓存的数据对应于L值时,接收的JPEG图象数据被施加到图象编解码器80,以便使它能够被解码和再现。图27C显示了在传输一帧的JPEG图象数据的第一分组之后剩余的分组格式。剩余的分组能够被填满JPEG图象数据而没有图象报头。
图27D显示了音频数据格式。在本发明的实施例中,假定音频编解码器85是一个8Kbps(8千位/秒)的语音编解码器。在音频编解码器85是8Kbps的语音编解码器时,每20毫秒生成一帧的编码的音频数据(20个字节)。在这时,在对应于数据的最大大小的N-45个字节被组合在一个分组中之前,多个编码的音频帧数据单元彼此连续地连接,以便能够生成一个音频分组。例如,其中N为200,对应于17帧和一个3/4帧(15个字节)的多个音频数据单元被组合,以便能够生成一个分组。由于JPEG图象数据通常被插入在音频帧之间,所以生成如图27E所示的其中混合音频数据和JPEG图象数据的格式。
在图26中的用于生成一个组合信号的组件包含音频编解码器85、图象编解码器80、开关211和213、缓存单元220、报头发生器230、和组合器240,如图9所示那样。在图26中的用于生成一个组合信号的组件的操作与如图9所示的那些组件的操作相同。图26进一步包含一个分组发生器245。如图26所示的组件执行传输所生成的组合信号的功能。
参见图26,分别由音频编解码器85和图象编解码器80编码音频数据和JPEG图象数据。编码的音频数据和图象数据经由相应的路径被输入到缓存单元220中。在本发明的实施例中,假定一个活动图象邮件的第一输入被固定为JPEG图象数据。缓存单元220包含两个音频缓存器224和226、以及一个图象缓存器222。用于生成组合信号的步骤与图9中所示的步骤相同。
第一步,一帧的JPEG图象数据被输入到一个图象缓存器(Img_Buf)222中。第二步,开关连接到点(1),并且编码的音频数据被输入到第一音频缓存器(Aud_Buf1)224中。第三步,当图象缓存器222充满一帧的JPEG图象数据时,一个图象报头被插入到该JPEG图象数据中,并且具有插入的图象报头的JPEG图象数据被传输到下一级。报头能够包含一个表示存在JPEG图象数据的模式信号P,和一个表示JPEG图象数据的长度的长度信号L。第四步,开关211通过路径(a)连接到点(2)。第五步,开关213通过路径(b)连接到点(3)。第六步,从音频编解码器85中输出的音频数据被保存在第二音频缓存器(Aud_Buf2)226中。第七步,缓存在第一音频缓存器(Aud_Buf1)224中的音频数据被传输到下一级。第八步,操作返回到第一步,并且重复地执行以上描述的步骤。在这时,开关211和213能够被连接到不同于先前点的点。
连续地生成和组合JPEG图象数据和音频数据,并且基于如图10B所示的格式的组合操作的结果被保存在存储器30中。分组发生器245基于如图27A到27E所示的保存在存储器30中的组合数据生成分组,然后通过数据处理器20和RF模块23传输生成的分组。
如图10B所示,保存在存储器30中的组合数据包含图象报头、JPEG图象数据和音频数据。组合数据能够通过多个分组进行传输。在从如图10B所示的组合数据中生成分组之后,分组发生器245插入一个TCP/IP报头,一个序列号和一个A/V位到每个数据分组中,并且在它们之后布置分组数据。TCP/IP报头位于分组数据的头部。在本发明的实施例中,假定TCP/IP报头包含44个字节。序列号表示生成的分组的序列。假定序列号包含7位。序列号可以具有一个值0到值127的值。在值127的序列号之后,重新选择值0的序列号。A/V位表示相应分组中的第一个数据是JPEG图象数据还是音频数据。假定A/V位为1位。TCP/IP报头、序列号和A/V位位于每个分组的头部。在本发明的实施例中,假定TCP/IP报头、序列号和A/V位包含45个字节。
如图27B所示,组合的数据包含一帧JPEG图象数据、和在一帧间隔期间生成的JPEG图象数据之后的音频数据。因此,分组发生器245生成JPEG图象分组数据,然后生成音频分组数据。
图27B和27C显示了JPEG图象数据的格式。一帧的JPEG图象数据的大小对应于大约5~10Kbytes(千字节)。一帧的图象数据比一个分组大。一帧的JPEG图象数据由多个分组构成。因此,第一帧的JPEG图象数据在TCP/IP报头、序列号和A/V位之后包含一个图象报头。在此,图象报头包含一个用于区分音频数据和JPEG图象数据的模式信号P、和一个表示帧图象数据的总大小的长度信号L。之后,接收器通过模式信号P确定存在JPEG图象数据,并且读取对应于长度信号L的JPEG图象数据。图27C显示了在JPEG图象数据的第一分组之后的第二分组或者另一个分组的分组数据格式。第二分组或者另一个分组能够包含JPEG图象数据而没有图象报头。
在生成和组合如图27B和27C所示的图象分组之后,以如图27D所示的音频分组的形式生成和组合音频数据。在这种情况下,音频编解码器85是8千位/秒的语音编解码器,且每20毫秒生成一帧的音频数据。分组发生器245生成一个音频分组,其中音频帧彼此连续连接直到在一个分组内组合了N-45个字节的最大长度为止。当分组化图象和音频数据单元时,在帧界限(boundary)间隔期间生成的分组数据能够被组合在音频和图象数据的一个分组内。在这种情况下,分组发生器245能够生成如图27E所示的分组数据。
数据处理器20实现对由分组发生器245生成的分组数据的信道编码和调制操作,并且通过RF模块23传输信道编码和调制操作的结果。
假定用于传输在图26中生成的组合数据的方法在生成组合数据的同时传输该组合数据。在在该方法中执行如图7和9所示的操作之后,从保存在存储器30中的组合数据单元中选择想要的组合数据,并且在如图25所示的过程期间传输所选择的组合数据。
图28是说明了用于在移动电话中生成、存储和传输组合信号的组件的方框图。作为如图28所示的组件,能够在控制器10中构造缓存单元220、开关211,213、图象报头发生器230、文本报头发生器235、组合器240和分组发生器245。此外,图29A和29B显示了组合信号格式和传输分组数据格式。
在如图28所示的移动电话中提供的发送器组合或者合并从图象编解码器或者图象编码器80中连续输出的编码的静止图片(JPEG图象)、和从音频编解码器或者语音编码器85中连续输出的编码的音频信号,并且存储一个合并或者组合的信号。当传输合并或者组合信号时,发送器附加基于预定格式的报头到该合并或者组合信号上,并且实现一个分组化操作。传输该分组化操作的结果。
参见图28,由图象编解码器80编码屏幕图象信号,并且把编码的图象信号输入到图象缓存器222中。图象报头发生器230基于帧大小生成一个图象报头,并且连接一个相应的屏幕图象信号到该图象报头。
然后,控制器10计算为再现当前存储的JPEG图象信号所需要的回放时间,并且允许显示单元60显示一个文本信号的最大长度。在确认文本信号的最大长度之后,用户通过键输入单元27输入将被包含在组合信号中的文本信号。在文本缓存器228中缓存该文本信号,并且文本报头发生器235生成一个包含表示由用户指定的文本显示类型的信息、和表示输入文本的长度的信息的文本报头。文本报头被插入到缓存的文本中,并且具有插入的文本报头的缓存的文本被施加到组合器240。组合器240组合保存在存储器30中的连续的JPEG图象信号与该文本信号,以生成如图29A所示的组合信号。在这时,组合方法把文本信号布置在一个活动图象信号之前。生成的如图29A所示的组合信号被保存在存储器30中。
分组发生器245基于存储的组合数据生成多个分组,并且该分组通过数据处理器20和RF模块23进行传输。
将描述用于传输一个其中组合了文本信号和活动图象信号的组合信号的过程。首先,如图29A所示,保存在存储器30中的组合数据包含一个文本报头、一个文本信号、图象报头和JPEG图象信号。组合数据能够通过多个分组进行传输。在从如图29A所示的组合数据中生成分组之后,分组发生器245插入包含一个TCP/IP报头,一个序列号和A/V/T位的一个分组报头到每个数据分组中,如图29B所示,并且在该分组报头之后布置分组数据。TCP/IP报头位于分组数据的头部。在本发明的实施例中,假定TCP/IP报头包含44个字节。序列号表示生成的分组的序列。假定序列号包含7位。序列号可以具有一个值0到值127的值。在值127的序列号之后,重新选择值0的序列号。A/V/T位表示相应分组中的第一个数据是文本、JPEG图象数据还是音频数据。假定A/V/T位是2位。TCP/IP报头、序列号和A/V/T位位于每个分组的头部。在本发明的实施例中,假定TCP/IP报头、序列号和A/V/T位包含45个字节。
如图31A所示,组合信号包含一个文本信号和在该文本信号之后的一帧的JPEG图象数据单元。因此,分组发生器245首先生成文本信号的分组数据,然后生成交错的JPEG图象信号的分组数据。
图31B显示了基于通过RF模块23传输的组合数据的一个分组的格式。能够决定将被传输的一帧的组合数据的总大小N,并且如果必要的话,能够把总大小N设置在大约200~1500个字节的范围内。在每个分组中将被传输的一个分组的大小必须恒定。参见该分组格式,44个字节的TCP/IP报头以及7位的序列号S能够被包含在该分组内。序列号S表示生成的分组的序列。序列号可以具有一个值0到值127的值。在值127的序列号之后,重新选择值0的序列号。在序列号S之后的1位A/V值表示相应的一个分组中的第一个数据是音频还是JPEG图象数据。
在JPEG图象数据的情况下,一帧的大小被设置在5~10Kbytes(千字节)的范围内。依据本发明的实施例,一帧的图象数据大小比将通过RF模块23传输的分组数据的大小要大。因此,一帧的JPEG图象数据必须通过多个分组进行传输。JPEG图象数据的第一分组包含图象报头的P和L值。P值表示被用来在接收分组数据的一个接收器中区分音频数据和JPEG图象数据的模式信号。L值表示一个JPEG帧的总大小。L值被用来在接收器通过模式信号检测到存在JPEG图象数据之后读取对应于该L值的JPEG图象数据。当在接收器连续地接收和缓存数据的同时接收和缓存的数据对应于L值时,接收的JPE图象数据被施加到图象编解码器80,以便使它能够被解码和再现。在传输了一帧的JPEG图象数据的第一分组之后,剩余的分组能够填满JPEG图象数据而没有图象报头。
数据处理器20实现对由分组发生器245生成的如图31B所示的分组数据单元的信道编码和调制操作,并且通过RF模块23传输信道编码和调制操作的结果。
图30是说明了用于在移动电话中生成、存储和传输组合信号的组件的方框图。作为如图30所示的组件,能够在控制器10中构造缓存单元220、开关211,213、图象报头发生器230、文本报头发生器235、组合器240和分组发生器245。此外,图31A和31B显示了组合信号格式和传输分组数据格式。
在如图30所示的移动电话中提供的发送器组合或者合并从图象编解码器或者图象编码器80中连续输出的编码的静止图片(JPEG图象)、和从音频编解码器或者语音编码器85中连续输出的编码的音频信号,并且存储一个合并或者组合的信号。当传输合并或者组合信号时,发送器附加基于预定格式的分组报头到该合并或者组合信号上,并且实现一个分组化操作。传输该分组化操作的结果。
参见图30,分别由音频编解码器85和图象编解码器80编码音频数据和JPEG图象数据。编码的音频数据和图象数据经由相应的路径被输入到缓存单元220中。在本发明的实施例中,假定一个活动图象邮件的第一输入被固定为JPEG图象数据。缓存单元220包含两个音频缓存器224和226、一个图象缓存器222、和一个文本缓存器228。
用于生成和传输组合信号的过程如下。
第一步,一帧的JPEG图象数据被输入到一个图象缓存器(Img_Buf)222中。第二步,开关211连接到点(1),并且编码的音频数据被输入到第一音频缓存器(Aud_Buf1)224中。第三步,当图象缓存器222充满一帧的JPEG图象数据时,一个图象报头被插入到该JPEG图象数据中,并且具有插入的图象报头的JPEG图象数据被传输到下一级。报头能够包含一个表示存在JPEG图象数据的模式信号P,和一个表示JPEG图象数据的长度的长度信号L。第四步,开关211通过路径(a)连接到点(2)。第五步,开关213通过路径(b)连接到点(3)。第六步,从音频编解码器85中输出的音频数据被保存在第二音频缓存器(Aud_Buf2)226中。第七步,缓存在第一音频缓存器(Aud_Buf1)224中的音频数据被传输到下一级。第八步,操作返回到第一步,并且重复地执行以上描述的步骤。在这时,开关211和213能够被连接到不同于先前点的点。
依据以上描述的方法,交错和组合连续生成的如图31A所示的JPEG图象数据和音频数据,并且交错和组合操作的结果被暂时地保存在存储器30中。然后,控制器10计算为再现当前存储的JPEG图象信号所需要的回放时间,并且允许显示单元60显示一个文本信号的最大长度。在确认文本信号的最大长度之后,用户通过键输入单元27输入将被包含在组合信号中的文本信号。在文本缓存器228中缓存该文本信号,并且文本报头发生器235生成一个包含表示由用户指定的文本显示类型的信息、和表示输入文本的长度的信息的文本报头。文本报头被插入到缓存的文本中,并且具有插入的文本报头的缓存的文本被施加到组合器240。组合器240组合一个它的保存在存储器30中的音频和JPEG图象信号被组合的信号、与文本信号,以生成一个如图31B所示的组合信号。生成的如图31B所示的组合信号被保存在存储器30中。分组发生器245基于保存在存储器30中的组合数据生成分组,然后通过数据处理器20和RF模块23传输生成的分组。
如图31B所示,保存在存储器30中的组合数据包含一个文本报头、一个文本信号、一个图象报头、JPEG图象数据和音频数据。组合数据能够通过多个分组进行传输。在从如图31B所示的组合数据中生成分组之后,分组发生器245插入包含一个TCP/IP报头,一个序列号和A/V/T位的一个分组报头到每个数据分组中,并且在该分组报头之后布置分组数据,如图31C所示。TCP/IP报头位于分组数据的头部。在本发明的实施例中,假定TCP/IP报头包含44个字节。序列号表示生成的分组的序列。假定序列号包含7位。序列号可以具有一个值0到值127的值。在值127的序列号之后,重新选择值0的序列号。A/V/T位表示相应分组中的第一个数据是文本、JPEG图象数据还是音频数据。假定A/V/T位是2位。TCP/IP报头、序列号和A/V/T位位于每个分组的头部。在本发明的实施例中,假定TCP/IP报头、序列号和A/V/T位包含45个字节。
如图31B所示,组合信号包含一个文本信号和一帧的JPEG图象数据和用于在文本信号之后的一帧图象数据的音频数据。因此,分组发生器245首先生成文本信号的分组数据,然后生成交错的音频和JPEG图象信号的分组数据。
图31C显示了基于通过RF模块23传输的组合数据的一个分组的格式。能够决定将被传输的一帧的组合数据的总大小N,并且如果必要的话,能够把总大小N设置在大约200~1500个字节的范围内。在每个分组中将被传输的一个分组的长度必须恒定。参见该分组格式,44个字节的TCP/IP报头以及7位的序列号S能够被包含在该分组内。序列号S表示生成的分组的序列。序列号可以具有一个值0到值127的值。最初,插入一个对应于值0的分组。在序列号S之后的1位A/V值表示相应的一个分组中的第一个数据是音频还是JPEG图象数据。
在JPEG图象数据的情况下,一帧的长度被设置在5~10Kbytes(千字节)的范围内。依据本发明的实施例,一帧的图象数据长度比将通过RF模块23传输的分组数据的长度要大。因此,一帧的JPEG图象数据必须通过多个分组进行传输。JPEG图象数据的第一分组包含图象报头的P和L值。P值表示被用来在接收分组数据的一个接收器中区分音频数据和JPEG图象数据的模式信号。L值表示一个JPEG帧的总长度。L值被用来在接收器通过模式信号检测到JPEG图象数据之后读取对应于该L值的JPEG图象数据。当在接收器连续地接收和缓存数据的同时接收和缓存的数据对应于L值时,接收的JPEG图象数据被施加到图象编解码器80,以便使它能够被解码和再现。在传输了一帧的JPEG图象数据的第一分组之后,剩余的分组能够填满JPEG图象数据而没有图象报头。
假定音频编解码器85是一个8千位/秒(Kbps)的语音编解码器。在音频编解码器85是8Kbps的语音编解码器时,每20毫秒生成一帧的编码的音频数据(20个字节)。在这时,在对应于数据的最大大小的N-45个字节被组合在一个分组中之前,多个编码的音频帧数据单元彼此连续地连接,以便能够生成一个音频分组。例如,其中N为200,对应于17帧和一个3/4帧(15个字节)的多个音频数据单元被组合,以便能够生成一个分组。由于文本信号通常被布置在组合数据的头部,并且JPEG图象数据通常被插入在音频帧之间,所以生成如图31B所示的、其中混合一组文本信号和JPEG图象数据与一组音频数据和JPEG图象数据的格式。
数据处理器20实现对由分组发生器245生成的如图31B所示的分组数据单元的信道编码和调制操作,并且通过RF模块23传输信道编码和调制操作的结果。
图32是说明了一个用于从一个基站接收一个组合信号、在存储器30中存储所接收的组合信号、并且再现所存储的组合信号的过程的流程图。图33是说明了用于在移动电话中接收、存储和再现一个组合信号的组件的方框图。作为如图33所示的组件,分组分解器255、分组分析器250、开关261、263、和265、以及缓存单元270能够被构造在控制器10中。图34A到34C是说明了用于分解分组数据和生成一个组合信号的过程的视图。
如图32所示,当从基站接收数据时,控制器10在步骤611检测所接收的数据,并且在步骤613确定所接收的数据是否为一个组合信号。如果没有检测到输入指令,则在步骤612执行其它相应功能。如果作为在上述步骤613确定的结果所接收的数据为组合信号,则控制器10驱动图象编解码器80和音频编解码器85。然后,控制器10分解分组数据,并且允许存储器30存储分解的分组数据。然后,控制器10分析组合信号的模式,并且再现该组合信号。
由于所接收的组合信号是以分组格式接收的,所以控制器10在步骤617分解一个分组。在在上述步骤617分解了分组之后,在步骤619把分解了的分组保存在存储器30中。
然后,在步骤621,控制器10分析保存在存储器30中的组合信号的报头,并且分出JPEG图象数据和音频数据和/或文本数据。在检测到JPEG图象数据之后,控制器10把检测到的JPEG图象数据传输到图象编解码器80。在检测到音频数据之后,控制器10把检测到的音频数据传输到音频编解码器85。在检测到文本数据之后,控制器10把检测到的文本数据传输到显示单元60。JPEG图象数据通过图象处理器50中的显示屏幕发生器进行处理,并且被显示在显示单元60上。此外,音频处理器25再现音频数据,并且扬声器输出再现的音频数据。此外,文本数据被显示在显示单元60上。在重复上述步骤617到627的同时,控制器10分解随后接收的分组数据,并且再现以帧为单位由存储器30存储的组合信号。当全部接收了组合信号时,控制器10检测在上述步骤627完全接收的组合信号。在步骤629,控制器10允许显示单元60显示为输入所接收的活动图象信号的名称所需要的一个活动图象菜单。依据输入的活动图象信息记录活动图象菜单,然后终止活动图象接收方式。
图33是说明了用于在移动电话中接收、存储和再现一个其中组合了活动图象和音频信号的组合信号的组件的方框图。作为如图33所示的组件,分组分解器255、报头分析器250、开关261、263、和265、以及缓存单元270能够被构造在控制器10中。
将描述如图33所示的组件。通过RF模块23和数据处理器20处理分组数据。分组分解器255接收处理了的分组数据。在这时,接收的分组具有如图27A到27E所示的格式。分组分解器255从接收的一个分组中除去TCP/IP报头。分组分解器255能够依据所接收分组的序列号连续地处理这些分组。能够由A/V位区分音频分组或者JPEG图象分组。因此,分组分解器255能够依据如图10B所示的格式分解所接收的分组。所接收的数据被保存在存储器30中。以上描述的操作的结果如图34A到34C所示。
存储器30存储如图10B所示的、从分组分解器255中输出的一个组合信号。报头分析器250分析保存在存储器30中的组合信号。报头分析器250分析在存储器30中存取的一个组合信号的报头,并且生成用于把组合信号分成JPEG图象和音频信号的切换控制信号。在开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到用于切换音频信号的开关263的公共端,并且开关261的第二输出端连接到图象缓存器272。在缓存单元270中提供的图象缓存器(Img_Buf)222缓存从开关输出的图象数据。第一和第二音频缓存器(Aud_Buf)274和276缓存编码的音频数据。用于开关263的公共端连接到开关261的第一输出端。开关263的第一输出端连接到第一音频缓存器274的一个输入端,而且开关263的第二输出端连接到第二音频缓存器276的一个输入端。此外,开关或者语音输出开关265的第一输入端连接到第一音频缓存器274的一个输出端,而且开关265的第二输入端连接到第二音频缓存器276的一个输出端。在开关265和音频编解码器或者语音解码器85之间连接一个公共端。开关263和265由图象缓存器272的输出控制。因此,缓冲器单元270执行用于从组合信号中分离一个音频信号和一个JPEG图象信号的分离器功能。音频编解码器或者语音解码器85解码从开关265中输出的编码音频信号,并且输出解码的音频信号。图象编解码器(或者JPEG解码器)80解码从图象缓存器272中输出的JPEG图象数据,并且输出解码的图象数据。
参见图33,分组分解器255从接收的分组中除去TCP/IP报头。音频数据和图象数据在图33中被分离,并且由如图33所示的音频编解码器85和图象编解码器80解码。分组分解器255分解接收的分组,并且分解了的分组被保存在存储器30中。然后,报头分析器250分析分解了的分组。如图33所示的其它组件的操作与如图20所示的其它组件的操作相同,
在本发明的一个实施例中,能够在组合音频数据和连续的图象数据之后生成一个组合信号。生成的组合信号被分成图象数据和音频数据,以便能够同时再现该图象和音频数据。生成的组合信号能够通过一个基站以传输分组的形式被传输到另一个终端或者服务器。基于组合信号的分组是从另一个终端或者服务器接收的,并且所接收的分组能够被分解和再现。
图35是说明了用于在移动电话中接收、存储和再现一个其中组合了活动图象和文本信号的组合信号的组件的方框图。作为如图35所示的组件,分组分解器255、报头分析器250、开关261、263、和265、以及缓存单元270能够被构造在控制器10中。
将描述如图33所示的组件。通过RF模块23和数据处理器20处理分组数据。分组分解器255接收处理了的分组数据。在这时,接收的分组具有如图29B所示的格式。分组分解器255从接收的一个分组中除去TCP/IP报头。分组分解器255能够依据所接收分组的序列号连续地处理这些分组。能够由V/T位区分文本分组或者JPEG图象分组。因此,分组分解器255能够分解所接收的分组,并且所接收的数据被保存在存储器30中。分解了的分组以如图29A所示的格式被保存在存储器30中。
报头分析器250分析保存在存储器30中的组合信号。报头分析器250分析在存储器30中存取的一个组合信号的报头,并且生成用于把组合信号分成JPEG图象和文本信号的切换控制信号。在开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到一个文本缓存器272,并且开关261的第二输出端连接到一个文本缓存器278。在缓存单元270中提供的文本缓存器278缓存从开关261输出的文本信号。在缓存单元270中提供的图象缓存器(Img解码从图象缓存器272中输出的JPEG图象数据,并且输出解码的JPEG图象数据。
如图35所示的分组分解器255从接收的分组中除去TCP/IP报头。音频数据和图象数据在图36中被分离,并且由如图36所示的音频编解码器85和图象编解码器80解码。分组分解器255分解接收的分组,并且分解了的分组被保存在存储器30中。然后,报头分析器250分析分解了的分组。如图36所示的其它组件的操作与如图22所示的其它组件的操作相同,
图36是说明了用于在移动电话中接收、存储,再现一个其中组合了活动图象、音频和文本信号的组合信号的组件的方框图。作为如图36所示的组件,分组分解器255、报头分析器250、开关261、263、和265、以及缓存单元270能够被构造在控制器10中。假定如图36所示的组合信号是一个其中组合了文本、JPEG图象和音频信号的信号。
将描述如图36所示的组件。通过RF模块23和数据处理器20处理分组数据。分组分解器255接收处理了的分组数据。在这时,接收的分组基于如图31B所示的格式。分组分解器255从接收的一个分组中除去TCP/IP报头。分组分解器255能够依据所接收分组的序列号连续地处理这些分组。能够由A/V/T位区分文本分组、音频分组或者JPEG图象分组。因此,分组分解器255能够分解所接收的分组,并且所接收的数据被保存在存储器30中。分解了的分组以如图31A所示的格式被保存在存储器30中。
报头分析器250分析保存在存储器30中的组合信号。报头分析器250分析在存储器30中存取的一个组合信号的报头,并且生成用于把组合信号分成文本信号、JPEG图象信号和音频信号的切换控制信号。在开关261和存储器30之间连接一个公共端。开关261的第一输出端连接到用于切换音频信号的开关263的公共端,开关261的第二输出端连接到一个图象缓存器272,并且开关261的第三输出端连接到一个文本缓存器278。在缓存单元270中提供的文本缓存器278缓存从开关261输出的文本信号。在缓存单元270中提供的图象缓存器(Img_Buf)222缓存从开关输出的图象数据。第一和第二音频缓存器(Aud_Buf)274和276缓存编码的音频数据。用于开关263的公共端连接到开关261的第一输出端。开关263的第一输出端连接到第一音频缓存器274的一个输入端,而且开关263的第二输出端连接到第二音频缓存器276的一个输入端。此外,开关265的第一输入端连接到第一音频缓存器274的一个输出端,而且开关265的第二输入端连接到第二音频缓存器276的一个输出端。在开关265和音频编解码器85之间连接一个公共端。开关263和265由图象缓存器272的输出控制。音频编解码器85解码从开关265中输出的编码音频数据,并且输出解码的音频信号。图象编解码器80解码从图象缓存器272中输出的JPEG图象数据,并且输出解码的图象数据。
参见图36,分组分解器255从接收的分组中除去TCP/IP报头。由如图36所示的分离器分离的音频数据和图象数据由如图36所示的音频编解码器85和图象编解码器80解码。分组分解器255分解接收的分组,并且分解了的分组被保存在存储器30中。然后,报头分析器250分析分解了的分组。如图36所示的其它组件的操作与如图24所示的其它组件的操作相同,
图37是说明了用于在配备有摄像机和用于编码静止图片的图象编解码器的移动电话中执行上述操作的另一个过程的流程图。
参见图37,当摄像机模块40拾取图象并且显示单元60显示捕获的图象时,用户通过键输入单元27生成用于驱动摄像机模块40的键数据。在这时,用于驱动捕获方式的键被放置在键输入单元27的定位键(navigation key)上,或者能够以一个菜单的形式被显示。当选择了捕获方式时,控制器10在步骤711检测选择的捕获方式,并且在步骤713控制摄像机模块40和图象处理器50以激活一条能够接收捕获的图象信号的路径。在捕获方式下,摄像机模块40生成捕获的图象信号和同步信号HREF与VREF。同步信号HREF能够是水平同步信号,而同步信号VREF能够是垂直同步信号、即帧同步信号。
垂直同步信号VREF表示一个帧开始时间点。当生成垂直同步信号VREF时,选择器319选择LCD接口317的一个输出。图象处理器50中的屏幕显示发生器以行(或者帧)为单位处理从摄像机模块40中输出的图象数据,并且把处理的图象数据发送给显示单元60。比例缩放器315基于显示单元60的屏幕尺寸按比例缩放从摄像机模块40输出的CIF图象大小的数据。转换器315基于YUV格式把图象信号转换成为RGB格式,并且基于RGB格式输出图象信号。在LCD接口317缓存以行为单位接收的图象信号的同时,基于显示单元60的显示时序把图象信号输出到显示单元60。以行为单位重复用于显示来自摄像机模块40的图象信号的操作,直到全部传输了一帧的图象信号为止。
在在步骤715显示一个预览屏幕的同时,以活动图象的形式显示由摄像机模块40捕获的图象信号,并且显示从控制器10输出的用户数据。在其中在显示单元60上显示预览屏幕的状态下,用户确认显示的活动图象,并且能够输入一条用于在一特定时间获得一个静止图片的照片捕获命令。能够使用布置在键输入单元27上的一个特定功能键实现照片捕获命令,或者是能够使用显示在显示单元60上的一个菜单键选择照片捕获命令。当生成照片捕获命令时,控制器10在步骤717检测生成的照片捕获命令。控制器10驱动图象处理器50中的图象编解码器80,以便使选择的一帧的图象数据被编码成为JPEG图象数据。JPEG编码图象数据在显示单元60上被显示为静止图片。在步骤721,来自图象编解码器80的JPEG编码图象数据被保存在存储器30中,并且缩略图发生器从JPEG编码图象数据中生成一个缩略图屏幕。然后,控制器10允许显示单元60显示一个用于引导照片信息输入的菜单。当输入照片信息时,控制器10在步骤723检测输入的照片信息,并且在步骤725存储和记录JPEG图象数据以及缩略图屏幕与照片名称。
当在预览屏幕显示状态下终止照片捕获方式或者生成捕获方式终止的请求时,控制器10在步骤727检测请求并且终止捕获方式。
在捕获方式下,显示一个预览屏幕,或者是捕获和存储一个静止图片。
当用户请求实现组合信号存储方式时,控制器10在步骤731检测该请求并且执行组合信号存储方式。当选择了组合信号存储方式时,控制器10能够引导用于组合活动图象信号与音频信号的操作方式、用于组合活动图象信号与文本信号的操作方式、和用于组合活动图象信号与音频和文本信号的操作方式。当用户选择了相应的组合信号存储方式时,控制器10允许在在步骤733执行如图7或者8、图11或者12和图15或者16所示的处理过程的同时,以帧为单位实现对由摄像机模块40捕获的图象数据的JPEG编码操作。JPEG帧图象是静止图片。然而,图象编解码器80以活动图象的形式连续地生成JPEG图象帧。生成一个其中把以活动图象的形式生成的JPEG图象数据与音频数据和/或文本数据组合的组合信号,并且生成的组合信号被保存在存储器30中。
此外,当用户选择了保存在存储器30中的一个组合信号、并且要求再现选择的组合信号时,控制器10在步骤741检测该请求,并且在步骤743允许再现所选择的组合信号。在这时,如果组合信号是一个其中组合了活动图象信号与音频信号的信号,则控制器10允许在在上述步骤743执行如图19所示的过程的同时再现组合信号。另一方面,如果组合信号是一个其中组合了活动图象信号与一个文本信号的信号,则控制器10允许在在上述步骤743执行如图21所示的过程的同时再现组合信号。另一方面,如果组合信号是一个其中组合了活动图象信号与音频和文本信号的信号,则控制器10允许在在上述步骤743执行如图23所示的过程的同时再现组合信号。当再现组合信号时,从组合信号中分出JPEG图象、音频和文本信号,并且通过相应的解码器再现它们。
保存在存储器30中的组合信号能够被传输到另一个终端或者服务器。在一种传输方法中,能够在生成组合信号之后立即传输组合信号。做为选择,存储该组合信号,并且如果必要的话能够被有选择地传输。当用户请求传输活动图象信号时,控制器10在步骤751和753检测该请求。在在步骤755执行如图25所示的过程的同时传输活动图象信号。
此外,在使用了配备有图象编解码器和音频编解码器的移动电话时,能够接收和再现来自另一个终端或者服务器的组合信号。因此,当接收了组合信号时,控制器10在步骤761和763检测接收的组合信号。在在步骤765执行如图32所示的过程的同时接收和再现组合信号。
从以上的描述中显然可以看出,本发明允许一个移动终端连续地编码由摄像机捕获的图象信号并且生成活动图象信号。此外,移动终端能够组合该活动图象信号与音频信号和/或一个文本信号,并且生成至少一个组合信号。组合信号被再现或者被传输到另一个终端或者服务器。接收的组合信号能够被存储和再现。因此,移动终端允许用户生成和编辑活动图象邮件。生成的活动图象邮件被传输,或者接收的活动图象邮件能够被再现。
虽然已经为了说明性的目的公开了本发明的实施例,但是本领域技术人员将会理解:可能有各种修改、添加以及替换,而没有背离本发明的范围和精神。

Claims (19)

1.一种用于在配备有捕获图象信号的摄像机的移动终端中生成一组合信号的方法,包含以下步骤:
(a)基于帧大小,把捕获的图象信号编码成为静止图片信号;
(b)对接收的音频信号进行编码;
(c)基于帧大小,将包含图象模式信息和帧大小信息的图象报头插入到静止图片信号中;
(d)基于帧大小,组合向其中插入了图象报头的静止图片信号与编码的音频信号;
(e)在重复步骤(a)到(d)的同时,基于帧大小,组合连续的静止图片信号与相应的音频信号;以及
(f)当完成记录操作时,在活动图象文件中存储表示组合结果的组合信号。
2.如权利要求1所述的方法,其中,编码图象信号是联合摄影专家组(JPEG)编码的图象信号。
3.如权利要求1所述的方法,进一步包含步骤:
(g)执行一引导操作,以便能够在完成记录操作时输入活动图象文件的名称、和与活动图象文件有关的图象捕获的地点和时间信息,并且记录输入信息以及活动图象文件。
4.一种用于在配备有拾取图象信号的摄像机的移动终端中生成一组合信号的方法,包含以下步骤:
(a)捕获并且存储活动图象信号;以及
(b)生成一组合信号,
其中步骤(a)包含步骤:
(a-1)基于帧大小,在规定时间期间,借助于一图象编解码器把由摄像机捕获的图象信号编码成为静止图片信号;
(a-2)基于帧大小把静止图片信号存储为编码的图象信号;
(a-3)在重复步骤(a-1)以及(a-2)的同时,基于帧大小,编码所有图象信号并且存储所有静止图片信号;以及
(a-4)实现一引导操作,以便在存储静止图片信号的同时在完成记录操作时输入一文件名称,当输入文件名称时该静止图片信号被保存在一活动图象文件中,并且
其中步骤(b)包含步骤:
(b-1)基于帧大小,存取和再现存储的活动图象信号,并且编码以一帧间隔接收的音频信号;
(b-2)在一帧的边界处把包含图象模式信息和帧大小信息的图象报头插入到每个编码图象信号中;
(b-3)组合向其中插入了图象报头的每个编码图象信号与编码的音频信号;
(b-4)在一存储器中存储组合的结果;
(b-5)在重复步骤(b-1)和(b-4)的同时,基于帧大小,组合静止图片信号与音频信号,并且存储表示了组合结果的组合信号;以及
(b-6)实现一引导操作,以便在存储组合信号的同时在完成记录操作时输入一文件名称,该组合信号在输入文件名称时被保存在一活动图象文件中。
5.一种用于在移动终端中生成一组合信号的装置,包含:
用于捕获图象信号的摄像机模块;
配备有图象编解码器的图象处理器,其中该图象编解码器基于帧大小编码捕获的图象信号,图象处理器基于帧大小依据显示屏幕处理从摄像机模块中生成的活动图象信号;
显示单元,用于显示由图象处理器处理的图象信号;
数据处理器,配备有编码所接收的音频信号的音频编解码器,该数据处理器处理数据;
缓存单元,包含图象缓存器和多个音频缓存器,其中图象缓冲器用于基于帧大小缓存由图象编解码器编码的图象信号,而多个音频缓存器用于缓存由音频编解码器编码的音频信号;
报头发生器,用于在基于帧大小从图象缓存器中输出图象信号时,把包含图象模式信息和帧大小信息的图象报头插入到每个编码的图象信号中,并且输出向其中插入了图象报头的每个编码图象信号;
组合器,用于组合报头发生器的输出和音频缓存器的输出,并且输出组合的结果;以及
存储器,用于把组合器的输出存储作为一组合信号。
6.如权利要求5所述的装置,其中,在缓存单元中提供的多个音频缓存器包含第一和第二音频缓存器,并且
其中该装置进一步包含:
音频输入开关,连接在音频编解码器与第一和第二音频缓存器之间;以及
音频输出开关,连接在第一和第二音频缓存器与组合器之间,
其中音频输入与输出开关的切换操作由图象缓存器的输出控制。
7.一种用于在移动终端中生成一组合信号的装置,包含:
用于捕获图象信号的摄像机模块;
配备有图象编解码器的图象处理器,其中该图象编解码器基于帧大小编码捕获的图象信号,图象处理器基于帧大小依据显示屏幕处理从摄像机模块中生成的活动图象信号;
显示单元,用于显示由图象处理器处理的图象信号;
数据处理器,配备有编码所接收的音频信号的音频编解码器,该数据处理器处理数据;
缓存单元,包含一图象缓存器和多个音频缓存器,其中图象缓冲器用于基于帧大小缓存由图象编解码器编码的图象信号,而多个音频缓存器用于缓存由音频编解码器编码的音频信号;
报头发生器,用于在基于帧大小从图象缓存器中输出编码图象信号时,把包含图象模式信息和帧大小信息的图象报头插入到每个编码的图象信号中,并且输出向其中插入了图象报头的每个编码图象信号;
组合器,用于组合报头发生器的输出和音频缓存器的输出,并且输出组合的结果;
存储器,用于把组合器的输出存储作为一组合信号;以及
分组发生器,用于基于分组大小划分以帧为单位存取的组合信号,把分组报头连接到分组,组合图象分组以及在该图象分组之后的音频分组,并且连续地传输组合的分组。
8.一种用于在配备有摄像机以及图象编解码器的移动终端中处理图象信号的方法,包含以下步骤:
(a)在捕获方式下显示从摄像机接收的图象信号,在照片捕获方式下把显示的图象信号编码成为静止图片,并且在一存储器中存储静止图片;
(b)在组合信号存储方式下基于帧大小把捕获的图象信号编码成为图象数据,依据该图象数据编码音频信号,把图象报头添加到图象数据上,组合图象数据和音频数据,并且在存储器中存储组合的数据。
9.一种用于在配备有摄像机以及图象编解码器的移动终端中生成一组合信号的方法,包含以下步骤:
(a)基于帧大小借助于图象编解码器把由摄像机捕获的图象信号编码成为静止图片,重复用于把包含图象模式信息和帧大小信息的图象报头插入到每个编码图象信号中的操作,并且生成活动图象信号;
(b)在获得活动图象信号之后,生成至少一个文本信号;
(c)组合获得的活动图象信号与文本信号;以及
(d)在一存储器中存储表示了组合结果的组合信号。
10.如权利要求9所述的方法,其中,步骤(b)包含以下步骤:
(b-1)依据为再现所获得的活动图象信号所需要的回放时间决定可显示的文本的最大长度,并且显示再现的活动图象信号;
(b-2)生成文本报头,其中该文本报头包含表示了所接收的文本信号的大小的信息以及文本模式信号;以及
(b-3)把该文本报头插入到文本信号中,并且生成具有插入的文本报头的文本信号。
11.如权利要求10所述的方法,其中,步骤(b-1)包含以下步骤:
允许文本信号发生器确定为再现获得的活动图象信号所需要的回放时间;以及
依据该回放时间以及由用户指定的显示类型,决定可显示的文本的最大长度,并且
其中步骤(b-2)包含步骤:
生成文本报头,其中该文本报头包含表示了所接收的文本信号的大小的信息以及显示类型的信息。
12.如权利要求9所述的方法,其中,步骤(a)包含以下步骤:
(a-1)基于帧大小压缩和编码图象信号;
(a-2)生成图象报头,其中该图象报头包含表示了每个压缩和编码的图象信号的大小的信息和一图象模式信号;
(a-3)把该图象报头插入到每个压缩和编码的图象信号中,并且基于帧大小生成一静止图片信号;以及
(a-4)重复用于生成静止图片的操作并且生成活动图象信号。
13.如权利要求12所述的方法,其中,压缩和编码的图象信号是联合摄影专家组(JPEG)编码的图象信号。
14.如权利要求9所述的方法,其中,步骤(d)包含以下步骤:
设置一组合信号菜单,以记录组合信号的名称、以及与该组合信号有关的图象捕获的地点和时间。
15.一种用于在配备有摄像机以及图象编解码器的移动终端中生成一组合信号的方法,包含以下步骤:
(a)基于帧大小借助于图象编解码器把由摄像机捕获的图象信号编码成为静止图片,重复用于把包含图象模式信息和帧大小信息的图象报头插入到每个编码图象信号中的操作,并且基于帧大小生成静止图片信号;
(b)依据静止图片信号生成音频信号;
(c)生成其中静止图片信号与音频信号组合的活动图象信号;
(d)在获得活动图象信号之后,生成一文本信号;
(e)组合该活动图象信号与文本信号;以及
(f)在一存储器中存储表示了组合结果的组合信号。
16.一种用于在移动终端中生成一组合信号的装置,包含:
用于捕获图象信号的摄像机模块;
配备有图象编解码器的图象处理器,其中该图象编解码器用于基于帧大小编码捕获的图象信号,图象处理器基于帧大小依据显示屏幕处理从摄像机模块中生成的活动图象信号;
显示单元,用于显示由图象处理器处理的图象信号;
图象报头发生器,用于把包含图象模式信息以及帧大小信息的图象报头插入到由图象编解码器编码的每个图象信号中,并且输出向其中插入了图象报头的每个编码图象信号;
文本信号发生器,用于生成一文本信号;
文本报头发生器,用于生成包含模式信息以及与该文本信号有关的文本长度信息的文本报头;
组合器,用于组合该活动图象信号与文本信号;以及
存储器,用于存储表示了组合器的输出的组合信号。
17.如权利要求16所述的装置,其中,文本信号发生器确认为再现活动图象信号所需要的回放时间,依据该回放时间以及由用户指定的显示类型决定可显示的文本的最大长度,并且输出文本信号发生器的输出到显示单元。
18.一种用于在移动终端中生成一组合信号的装置,包含:
用于捕获图象信号的摄像机模块;
配备有图象编解码器的图象处理器,其中该图象编解码器基于帧大小编码捕获的图象信号,图象处理器基于帧大小依据显示屏幕处理从摄像机模块中生成的活动图象信号;
显示单元,用于显示图象信号;
音频编解码器,用于编码接收的音频信号;
图象报头发生器,用于把包含图象模式信息以及帧大小信息的图象报头插入到由图象编解码器编码的每个图象信号中,并且输出向其中插入了图象报头的每个编码图象信号;
第一组合器,用于交错图象报头发生器的输出与音频编解码器的输出以生成第一组合信号;
文本信号发生器,用于生成一文本信号;
文本报头发生器,用于生成包含模式信息以及与该文本信号有关的文本长度信息的文本报头;
第二组合器,用于组合第一组合信号与文本报头发生器的输出;以及
存储器,用于存储表示了一组合信号的第二组合器的输出。
19.一种用于在配备有摄像机以及静止图片或图象编解码器的移动终端中生成活动图象信号的方法,包含以下步骤:
(a)基于帧大小,在规定时间,借助于图象编解码器把由摄像机捕获的图象信号编码成为静止图片信号;
(b)在一存储器中基于帧大小存储静止图片信号;
(c)在重复步骤(a)以及(b)的同时,基于帧大小,编码所有图象信号并且存储所有静止图片信号;以及
(d)实现一引导操作,以便在存储静止图片信号的同时在完成记录操作时输入一文件名称,该静止图片信号在输入文件名称时被保存在一活动图象文件中。
CNB2003101183783A 2002-11-25 2003-11-25 用于在移动终端中显示图像的装置和方法 Expired - Fee Related CN100493135C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20020073403 2002-11-25
KR73403/2002 2002-11-25
KR86057/2002 2002-12-28
KR20020086057 2002-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN 200610071007 Division CN1835570A (zh) 2002-11-25 2003-11-25 用于在移动终端中显示图像的装置和方法

Publications (2)

Publication Number Publication Date
CN1510906A CN1510906A (zh) 2004-07-07
CN100493135C true CN100493135C (zh) 2009-05-27

Family

ID=29782090

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101183783A Expired - Fee Related CN100493135C (zh) 2002-11-25 2003-11-25 用于在移动终端中显示图像的装置和方法

Country Status (6)

Country Link
US (1) US7782373B2 (zh)
JP (2) JP3843269B2 (zh)
KR (1) KR100566253B1 (zh)
CN (1) CN100493135C (zh)
DE (1) DE10354556B4 (zh)
GB (1) GB2396988B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195205A1 (en) * 2004-03-03 2005-09-08 Microsoft Corporation Method and apparatus to decode a streaming file directly to display drivers
WO2005125182A1 (ja) * 2004-06-18 2005-12-29 Konica Minolta Opto, Inc. 撮像装置
JP4389694B2 (ja) * 2004-06-28 2009-12-24 ソニー株式会社 無線通信システム、無線通信装置及び無線通信方法、並びにコンピュータ・プログラム
KR100631714B1 (ko) 2004-06-30 2006-10-09 엘지전자 주식회사 휴대단말기의 개선된 영상신호 레이트 콘트롤 장치 및 방법
KR100693598B1 (ko) * 2004-09-08 2007-03-14 주식회사 팬택앤큐리텔 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법
KR100597669B1 (ko) * 2004-10-08 2006-07-07 주식회사 네오엠텔 멀티미디어 콘텐츠의 재생이 가능한 이동통신단말기 및 그재생방법
WO2006043768A1 (en) * 2004-10-22 2006-04-27 Lg Electronics, Inc. Image processor and operating method thereof
US7373174B2 (en) * 2004-12-31 2008-05-13 Motorola, Inc. Method and apparatus for reducing the effect of EMI on receiver sensitivity in a camera phone
KR100733835B1 (ko) * 2005-04-20 2007-07-03 주식회사 코아로직 음성 및 오디오 데이터를 포함한 제이피이지 파일의 생성장치, 그의 생성 방법 및 그의 저장 매체
KR100754656B1 (ko) * 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
US8121534B2 (en) * 2006-09-27 2012-02-21 Sirius Xm Radio Inc. System and method for sending and receiving images via wireless audio channels
KR100818927B1 (ko) 2006-10-27 2008-04-04 삼성전자주식회사 휴대 단말기의 컨텐츠 관리 장치 및 방법
JP4267036B2 (ja) * 2007-01-10 2009-05-27 キヤノン株式会社 表示制御装置及び表示制御方法
JP2008228121A (ja) * 2007-03-15 2008-09-25 Fujifilm Corp 動画変換装置および動画送信装置ならびにそれらの動作制御方法
KR101335174B1 (ko) 2007-04-13 2013-11-29 주식회사 엘지유플러스 동영상 관리 방법 및 시스템
JP5080305B2 (ja) 2008-02-13 2012-11-21 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP4517310B2 (ja) * 2008-03-27 2010-08-04 ソニー株式会社 撮像装置、文字情報関連付け方法及び文字情報関連付けプログラム
JP5268608B2 (ja) * 2008-12-09 2013-08-21 キヤノン株式会社 撮像再生装置
CN101888475B (zh) * 2009-05-12 2012-11-21 虹软(杭州)多媒体信息技术有限公司 摄像电子装置
KR101607295B1 (ko) * 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기
JP5378929B2 (ja) * 2009-09-28 2013-12-25 京セラ株式会社 携帯端末、リスト作成プログラムおよびリスト作成方法
US9191612B2 (en) * 2010-06-29 2015-11-17 Ricoh Co., Ltd. Automatic attachment of a captured image to a document based on context
JP5482629B2 (ja) * 2010-11-16 2014-05-07 株式会社Jvcケンウッド 無線装置および通信方法
CN102012818B (zh) * 2010-12-01 2014-03-26 广东威创视讯科技股份有限公司 屏幕录制方法与装置
US9792363B2 (en) 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US10972746B2 (en) 2012-08-14 2021-04-06 Shuttersong Incorporated Method of combining image files and other files
US9009123B2 (en) 2012-08-14 2015-04-14 Shuttersong Incorporated Method of combining image files and other files
KR102166176B1 (ko) * 2013-09-27 2020-10-15 삼성전자주식회사 이미지 촬영 장치 및 방법
CN104077588A (zh) * 2014-07-10 2014-10-01 苏州皓琪信息科技有限公司 Jpeg压缩的医学dicom动态影像的帧偏移量自动插入的方法
WO2017051955A1 (ko) * 2015-09-25 2017-03-30 이정빈 동영상 이펙트 적용 장치 및 방법
US11588872B2 (en) 2017-06-12 2023-02-21 C-Hear, Inc. System and method for codec for combining disparate content
US10187443B2 (en) * 2017-06-12 2019-01-22 C-Hear, Inc. System and method for encoding image data and other data types into one data format and decoding of same

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982291A (en) * 1987-08-27 1991-01-01 Casio Computer Co., Ltd. Electronic still video camera capable of searching desired picture in simple and quick manner
KR940002277B1 (ko) 1991-08-27 1994-03-19 주식회사 금성사 브이씨알의 자막문자 표시장치 및 방법
JP3002348B2 (ja) 1992-11-30 2000-01-24 シャープ株式会社 画像通信システム
JPH06233225A (ja) * 1992-12-08 1994-08-19 Nikon Corp デジタルスチルビデオカメラの画像データ記録方法
ATE160066T1 (de) 1993-02-03 1997-11-15 Novell Inc Multimediaverteilungssystem
JPH06276435A (ja) 1993-03-22 1994-09-30 Victor Co Of Japan Ltd テレビジョン受像機
JPH0750798A (ja) 1993-08-06 1995-02-21 Ricoh Co Ltd 電子スチルカメラ
JPH0779411A (ja) 1993-09-06 1995-03-20 Sony Corp 画像信号再生方法および画像信号再生装置、ならびに 画像信号記録媒体
JPH06233226A (ja) 1993-11-16 1994-08-19 Olympus Optical Co Ltd カメラ
EP1024664B1 (en) * 1993-12-24 2002-05-29 Sharp Kabushiki Kaisha Image-information storage regenerating device
US5640202A (en) * 1994-04-26 1997-06-17 Canon Kabushiki Kaisha Imaging system which changes the frame rate of the image signal
JP3504724B2 (ja) 1994-05-18 2004-03-08 オリンパス株式会社 画像記録装置
JPH08181961A (ja) 1994-12-21 1996-07-12 Toshiba Corp テレビジョン会議端末装置
JPH098763A (ja) 1995-06-16 1997-01-10 Hitachi Denshi Ltd データ伝送システム
JP3326669B2 (ja) * 1995-06-30 2002-09-24 ソニー株式会社 データ再生装置
JPH09322078A (ja) * 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
JP3664335B2 (ja) 1996-06-13 2005-06-22 株式会社ニコン 情報入力装置
US5903309A (en) * 1996-09-19 1999-05-11 Flashpoint Technology, Inc. Method and system for displaying images and associated multimedia types in the interface of a digital camera
JP3787398B2 (ja) 1996-11-27 2006-06-21 キヤノン株式会社 画像処理装置及びその方法
TW399181B (en) * 1997-09-17 2000-07-21 Matsushita Electric Ind Co Ltd Video data editing apparatus and computer-readable recording medium storing an editing program
JP3086676B2 (ja) * 1998-09-29 2000-09-11 三洋電機株式会社 画像再生装置
JP3091728B2 (ja) 1998-09-30 2000-09-25 三洋電機株式会社 画像記録方法及び撮像装置
JP2001119653A (ja) 1999-10-18 2001-04-27 Toshiba Corp マルチメディア情報処理装置および画像情報処理装置
JP2001174900A (ja) 1999-12-16 2001-06-29 Canon Inc カメラ、画像プリント装置および画像表示装置
JP2001189909A (ja) 1999-12-28 2001-07-10 Matsushita Electric Ind Co Ltd 動画カメラ
JP2001251537A (ja) 2000-03-07 2001-09-14 Minolta Co Ltd デジタルカメラ
JP2001285841A (ja) 2000-03-31 2001-10-12 Megafusion Corp 画像送信装置、画像受信装置、および画像伝送システム
JP2002012335A (ja) 2000-06-30 2002-01-15 Canon Aptex Inc シート搬送装置とこのシート搬送装置を備えた画像形成装置
KR20020012335A (ko) 2000-08-07 2002-02-16 정병철 사운드가 부가된 애니메이션 동영상 부호화/복호화 방법및 그 부호화된 파일을 기록한 컴퓨터가 읽을 수 있는기록매체
JP4445653B2 (ja) 2000-08-08 2010-04-07 オリンパス株式会社 電子カメラ
JP2002057977A (ja) 2000-08-08 2002-02-22 Matsushita Electric Ind Co Ltd 動画像生成装置および動画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4174960B2 (ja) * 2000-08-11 2008-11-05 ソニー株式会社 信号処理装置及び方法並びにファイル生成方法
KR20020032803A (ko) * 2000-10-27 2002-05-04 구자홍 스트리밍 서비스를 위한 파일 구조
KR20020050780A (ko) * 2000-12-21 2002-06-27 조명래 상황 정보 처리 장치 및 그 처리 방법
JP2002203231A (ja) 2000-12-28 2002-07-19 Canon Inc 画像データの再生方法、その装置および記憶媒体
JP2002223403A (ja) 2001-01-29 2002-08-09 Fuji Photo Film Co Ltd 電子カメラ
JP2002290908A (ja) 2001-03-28 2002-10-04 Minolta Co Ltd 撮影装置、動画および静止画の記録制御方法、画像編集装置
US20020146133A1 (en) * 2001-03-31 2002-10-10 Lee Kyu Ho Portable multimedia reproducing apparatus

Also Published As

Publication number Publication date
US7782373B2 (en) 2010-08-24
KR20040045382A (ko) 2004-06-01
JP2006325241A (ja) 2006-11-30
GB0327271D0 (en) 2003-12-24
DE10354556A1 (de) 2004-07-29
JP3843269B2 (ja) 2006-11-08
KR100566253B1 (ko) 2006-03-29
GB2396988A (en) 2004-07-07
US20040150723A1 (en) 2004-08-05
GB2396988B (en) 2006-07-12
DE10354556B4 (de) 2008-10-09
CN1510906A (zh) 2004-07-07
JP4842033B2 (ja) 2011-12-21
JP2004312685A (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
CN100493135C (zh) 用于在移动终端中显示图像的装置和方法
KR100606060B1 (ko) 휴대단말기의 데이터를 외부장치로 출력하는 장치 및 방법
EP1638326B1 (en) Image pickup apparatus, image recording apparatus and image recording method
KR20050015932A (ko) 전화 통신 시스템
CN100480833C (zh) 用于拍摄运动图像的装置和方法
CN101945216A (zh) 摄像装置和动态图像再现方法
KR100555012B1 (ko) 영상 신호 기록 및 송신 장치
KR20050067286A (ko) 카메라를 구비하는 장치의 영상 촬영 방법
JP4526965B2 (ja) テレビドアホン装置
KR20100041108A (ko) Udta 정보를 이용한 MP4 동영상 연속 촬영 방법 및 이를 지원하는 휴대 단말기
KR100983966B1 (ko) 기록 재생 장치, 기록 재생 방법, 동시 처리 프로그램격납 매체, 및 동시 처리 프로그램
KR100308311B1 (ko) 화상 전화기의 화상 저장방법
CN201114207Y (zh) 3d商务信息电话机
KR100735303B1 (ko) 카메라를 가지는 이동통신단말기의 이미지 파일 저장방법
EP1718076B1 (en) Mobile terminal for selectively storing video call data and video call data storing method therefor
CN102364934A (zh) 一种利用可视电话实现远程监控视频传输的方法和系统
KR100711713B1 (ko) 실시간 스트리밍데이터 전송 기능을 가지는 이동통신 단말기
JPH06327010A (ja) 協調処理方式
KR100426127B1 (ko) 동영상 전송시스템
GB2413452A (en) Apparatus and method for displaying pictures in a mobile terminal
JPH06141320A (ja) 遠隔映像伝送装置
JPH11187365A (ja) 静止画像の伝送方法
CN1835570A (zh) 用于在移动终端中显示图像的装置和方法
JPH10126751A (ja) 多地点画像通信装置
JP2004336805A (ja) 通信端末装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090527

Termination date: 20181125