CN100345448C - 通信设备和方法 - Google Patents

通信设备和方法 Download PDF

Info

Publication number
CN100345448C
CN100345448C CNB2004100379014A CN200410037901A CN100345448C CN 100345448 C CN100345448 C CN 100345448C CN B2004100379014 A CNB2004100379014 A CN B2004100379014A CN 200410037901 A CN200410037901 A CN 200410037901A CN 100345448 C CN100345448 C CN 100345448C
Authority
CN
China
Prior art keywords
image
keyword
assistant images
output
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100379014A
Other languages
English (en)
Other versions
CN1551630A (zh
Inventor
米田伦子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1551630A publication Critical patent/CN1551630A/zh
Application granted granted Critical
Publication of CN100345448C publication Critical patent/CN100345448C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Abstract

本发明提供的通信设备包括摄像单元、话音识别单元、关键字检测单元、辅助图像选择单元、输入图像选择器开关和发送单元。摄像单元摄取照相机图像。话音识别单元从输入话音中识别短语。关键字检测单元检测已登录关键字和从话音识别单元输出的短语之间的一致性。辅助图像选择单元响应于来自关键字检测单元的一致性检测输出，选择与已登录的关键字相关的特定辅助图像。响应于一致性检测输出，输入图像选择器开关有选择地输出从摄像单元输出的照相机图像和包含从辅助图像选择单元输出的辅助图像的图像中的一个。发送单元发送输入的话音和从输入图像选择器开关中输出的图像。还公开了一种通信方法。

Description

通信设备和方法
技术领域
本发明涉及一种通信设备和方法，更具体地说，涉及一种有选择地发送/接收所摄取的照相机图像和包含特定辅助图像的图像的设备和方法。
背景技术
通常，正在使用电视电话的交谈者在通话期间总是只盯着对方的视频图像。但是，在某些情况下，他/她可能想要在交谈的同时看到一些辅助材料等。例如在视频会议中，如果在演讲时放映一些演示材料，例如具体的图表，与会者就可以更容易地理解所讲的内容。甚至在家用电视电话中或在移动电话中，如果人们在看到对方的同时能看见图片或地图，那么他们就可以从会话中获得更多的享受。具有发送辅助材料的功能的传统视频会议系统具有一个装置，用于在视频图像和话音数据之外发送静止图像。预先将材料存储为例如JPEG格式的静止图像，并由预定的密钥操作(keyoperation)来发送这些材料。
使用话音识别的视频会议系统不需要用户完成这种预定的密钥操作。图13示出了视频会议系统的一个例子。
参考图13，传统的视频会议系统包括发送设备50和接收设备51。发送设备50包括话音接收单元3、摄像单元4例如照相机、对接收的话音进行编码的话音编码器5、以及对接收的运动图像进行编码的运动图像编码器6。
发送设备50还包括静止图像数据库52和静止图像编码器53，其对从静止图像数据库52接收的静止图像进行编码。静止图像数据库52将静止图像数据存储为辅助材料，以在会议中与作为关键字的话音数据一同使用。
话音编码器5所得到的话音、运动图像编码器6所得到的运动图像和静止图像编码器53所得到的静止图像压缩数据被复接单元54复接(multiplex)在一起，并通过发送单元7被发送到接收设备51。存储在静止图像数据库52中的辅助图像被预先发送到接收设备51。
接收设备51包括分接单元55，其将所接收的复接数据分接(demultiplex)为各个压缩数据，还包括话音解码器9、运动图像解码器10和静止图像解码器56，它们分别对话音、运动图像和静止图像压缩数据进行解码。接收设备51还包括话音识别单元58和静止图像数据库57。
在接收设备51中，预先接收的辅助图像数据被保存在静止图像数据库57中。关键字被登录在话音识别单元58中，并与静止图像数据库57中特定的静止图像数据相关。
在视频会议中，通过接收单元8接收的复接数据由分接单元55分接成运动图像压缩数据和话音压缩数据。该运动图像数据和话音数据分别由运动图像解码器10和话音解码器9解码，并被输出到显示单元12和话音输出单元11。同时，来自话音解码器9的输出数据被输入到话音识别单元58中。当识别出的话音数据与登录的关键字一致时，这个结果被发送到数据确定单元59。数据确定单元59从静止图像数据库57中选出与识别出的关键字相对应的静止图像数据，使得所选出的静止图像数据作为辅助图像被显示在显示单元12上。
在上述设置下，可使另一方一侧的设备显示所述辅助图像，而无需任何特定的密钥操作(例如，日本专利在先公开No.11-355747)。
然而，在使用实时显示图像的通信设备的通信中，需要一种具有更高可操作性的通信设备和方法，其允许显示主图像之外的辅助图像，而不必考虑可操作性。
发明内容
本发明就是要解决以上问题，其目的是提供一种具有更高可操作性的通信设备和方法，其在使用实时显示图像的通信设备的通信中，允许显示主图像之外的辅助图像，而不必考虑可操作性。
为了实现以上目的，根据本发明提供了一种通信设备，其包括：摄像装置，用于摄取照相机图像；话音识别装置，用于从输入的话音中识别短语；关键字检测装置，用于检测在已登录的关键字和从话音识别装置中输出的短语之间的一致性；辅助图像选择装置，用于响应于来自所述关键字检测装置的一致性检测输出，选择与已登录的关键字相关的特定辅助图像；输入图像切换装置，用于响应于所述一致性检测输出，在从摄像装置中输出的照相机图像和包含从辅助图像选择装置中输出的辅助图像的图像中有选择地输出两者之一；和发送装置，用于发送输入的话音和从所述输入图像切换装置中输出的图像。
根据本发明，还提供了一种包括以下步骤的通信方法：摄取照相机图像；从输入的话音中识别短语；检测所述短语和已登录的关键字之间的一致性；响应于所述一致性检测输出，选择与已登录的关键字相关的辅助图像；响应于所述一致性检测输出，在所摄取的照相机图像和包含所选择的辅助图像的图像中有选择地输出两者之一；并发送所输出的照相机图像和辅助图像之一。
附图说明
图1是示出第一实施例的示意性设置的框图；
图2示出了当静止图像用作辅助图像时，关键字确定单元和辅助图像选择单元的内部设置的细节的框图；
图3是示出当运动图像用作辅助图像时，关键字确定单元和辅助图像选择单元的内部设置的细节的框图；
图4示出了当静止图像用作辅助图像时发送侧的操作的流程图；
图5示出了接收侧的操作的流程图；
图6示出了当电影文件用作辅助图像时发送侧的操作的流程图；
图7是示出第二实施例的示意性设置的框图；
图8是示出当静止图像用作辅助图像时，关键字确定单元和辅助图像选择单元的内部设置的细节的框图；
图9是示出当运动图像用作辅助图像时，关键字确定单元和辅助图像选择单元的内部设置的细节的框图；
图10示出了发送侧的操作的流程图；
图11是示出当静止图像用作辅助图像时的辅助图像选择操作的流程图；
图12是示出当电影文件用作辅助图像时的辅助图像选择操作的流程图；
图13是示出传统的视频会议系统的设置的框图。
具体实施方式
下面参考附图来详细描述本发明的实施例。
第一实施例
图1示出了第一实施例的示意性设置。在根据这个实施例的电视电话中，一个电视电话设备既包括发送设备1又包括接收设备2。在后面的描述中，为了便于理解，将省略对发送侧的接收设备以及接收侧的发送设备的描述。
参考图1，这个实施例包括发送设备1、接收设备2和信息通信网络。
信息通信网络能够使用有线通信或无线通信进行双向通信数据发送/接收。
发送设备1将发送者所输入的话音和将要显示在接收设备上的图像转换成可通过信息通信网络传送的数据格式，并将所述数据发送给接收设备。
接收设备2通过信息通信网络接收从发送设备1发送的数据，并输出/显示所述话音和图像。
发送设备1还包括话音接收单元3、摄像单元4、话音编码器5、运动图像编码器6、复接单元17、话音识别单元13、关键字确定单元14、辅助图像选择单元15、输入图像选择器开关16和发送单元7。
摄像单元4是一种静止图像成像设备例如数码相机，或者是一种运动图像成像设备例如摄像机。摄像单元4包括在发送装置1中，或与发送装置1外部相连。摄像单元4实时摄取发送者的视频图像，将所摄取的图像转换成电信号，并将其作为图像数据输出到输入图像选择器开关16。
话音接收单元3是一种声音收集设备，用于收集发送者所发出的话音。话音接收单元3包括在发送装置1中，或与发送装置1外部相连。话音接收单元3实时收集发送者所发出的话音，将所收集的话音转换成电信号，并将转换后的话音作为话音数据输出到话音识别单元13和话音编码器5。
话音识别单元13是这样一种信息处理功能件，其接收从话音接收单元3输出的话音数据，并自动识别包含在所接收的话音数据中的短语。这种话音识别处理所识别出的短语作为已识别短语数据而输出。
关键字确定单元14是这样一种信息处理功能件，其确定从话音识别单元13输出的已识别短语数据是否与预先登录的关键字一致。关键字确定单元14向输入图像选择器开关16输出控制信号，以有选择地连接其内部的终端，并且向辅助图像选择单元15输出指令(辅助图像选择指令)以选择一个辅助图像。辅助图像选择指令包含被确定为与已识别短语数据一致的关键字。控制信号和辅助图像选择指令是基于关键字确定单元14的确定结果而从中输出的。
辅助图像选择单元15接收从关键字确定单元14发送的辅助图像选择指令。基于所接收的辅助图像选择指令，辅助图像选择单元15选择与所述关键字相对应的辅助图像数据，并把它输出到输入图像选择器开关16。
输入图像选择器开关16有选择地向运动图像编码器6输出从摄像单元4输出的图像数据和从辅助图像选择单元15输出的辅助图像数据中的至少一个。将被输出到运动图像编码器6的图像数据由从关键字确定单元14输出的控制信号来完成切换。
运动图像编码器6是这样一种图像数据转换功能件，其对数据格式进行转换，以将从摄像单元4输出的图像数据或从辅助图像选择单元15输出的辅助图像发送到接收设备2。可通过信息通信网络将运动图像数据以最佳状态传送到接收设备2的格式被用作转换格式。
话音编码器5是这样一种话音数据转换功能件，其对数据格式进行转换，以将从话音接收单元3输出的话音数据发送到接收设备2。可通过信息通信网络将话音数据以最佳状态传送到接收设备2的格式被用作转换格式。
复接单元17是这样一种数据合成功能件，其将已由运动图像编码器6进行数据格式转换的发送运动图像数据和已由话音编码器5进行数据格式转换的发送话音数据复接在一起。复接数据被输出到发送单元7。
发送单元7是一种数据发送功能件。发送单元7将从复接单元17输出的复接数据通过信息通信网络发送到接收设备2的接收单元8。
接收设备2还包括接收单元8、分接单元18、话音解码器9、运动图像解码器10、话音输出单元11和显示单元12。
接收单元8是一种数据接收功能件。接收单元8接收从发送设备1的发送单元7通过信息通信网络传送而来的复接数据，并将所接收的复接数据输出到分接单元18。
分接单元18是一种数据分接功能件，其将从接收单元8发送来的复接数据分接成话音数据和运动图像数据。分接后的话音数据被输出到话音解码器9。分接后的运动图像数据被输出到运动图像解码器10。
话音解码器9是一种话音数据格式转换功能件。话音解码器9将由分接单元18分接出的话音数据从适于通过信息通信网络传输的格式转换成可从话音输出单元11输出的格式。
运动图像解码器10是一种图像数据格式转换功能件。运动图像解码器10将由分接单元18分接出的话音图像数据从适于通过信息通信网络传输的格式转换成可在显示单元12上显示的格式。
话音输出单元11是一种话音输出设备，例如扬声器。话音输出单元11将已由话音解码器9进行格式转换的话音数据输出为话音。
显示单元12是一种图像显示设备。显示单元12将已由运动图像解码器10进行格式转换的运动图像数据输出为显示图像。
图2示出了当静止图像用作辅助图像时，关键字确定单元14和辅助图像选择单元15的内部设置的细节。
参考图2，关键字确定单元14还包括已登录关键字存储器件20和关键字匹配单元21。辅助图像选择单元15还包括静止图像存储器件22、关键字对应图像读取单元23和图像格式转换单元24。
已登录关键字存储器件20是一种用于存储预先登录的关键字的存储设备。已登录关键字存储器件20所存储的多个关键字是由登录者预先登录的，并将用于关键字确定。
关键字匹配单元21是这样一种信息处理功能件，其执行搜索处理，以确定与从话音识别单元13输出的已识别短语数据一致的关键字是否登录在已登录关键字存储器件20中。响应于从话音识别单元13输出的已识别短语数据的输入，关键字匹配单元21搜索已登录关键字存储器件20。基于搜索结果，关键字匹配单元21输出对应于以下两种情况之一的控制信号，一种情况是登录有与已识别短语数据一致的关键字，另一种情况是未登录任何与已识别短语数据一致的关键字。如果搜索的结果被确定为登录有与已识别短语数据一致的关键字，则向关键字对应图像读取单元23输出辅助图像选择指令，以用于选择对应于所述关键字的辅助图像。
静止图像存储器件22是一种预先存储将要用作辅助图像的静止图像的存储设备。在使用根据这个实施例的电视电话的语音通信中可用作辅助图像的静止图像对应于将用来输出该静止图像的关键字而被存储。
关键字对应图像读取单元23是用于从静止图像存储器件22中读出静止图像的信息处理功能件。响应于从关键字匹配单元21输出的辅助图像选择指令，关键字对应图像读取单元23从静止图像存储器件22中读出与关键字相对应的静止图像，并将该静止图像输出到图像格式转换单元24。
图像格式转换单元24是用于转换由关键字对应图像读取单元23所读出的静止图像的图像格式的数据转换功能件。图像格式转换单元24将从关键字对应图像读取单元23输出的、作为辅助图像的静止图像的图像格式转换为适于输入到运动图像编码器6的图像格式。例如当静止图像具有JPEG格式时，图像格式转换单元24将其扩展成YUV格式。
图3示出了当运动图像用作辅助图像时，关键字确定单元14和辅助图像选择单元15的内部设置的细节。
参考图3，关键字确定单元14还包括已登录关键字存储器件20和关键字匹配单元21。辅助图像选择单元15还包括电影文件存储器件30、关键字对应文件读取单元31、运动图像数据抽取单元32和运动图像格式转换单元33。
已登录关键字存储器件20是一种用于存储预先登录的关键字的存储设备。已登录关键字存储器件20所存储的多个关键字是由登录者预先登录的，并将用于关键字确定。
关键字匹配单元21是这样一种信息处理功能件，其执行搜索处理，以确定与从话音识别单元输出的已识别短语数据一致的关键字是否登录在已登录关键字存储器件20中。响应于从话音识别单元输出的已识别短语数据的输入，关键字匹配单元21搜索已登录关键字存储器件20。基于搜索结果，关键字匹配单元21输出对应于以下两种情况之一的控制信号，一种情况是登录有与已识别短语数据一致的关键字，另一种情况是未登录任何与已识别短语数据一致的关键字。如果搜索的结果被确定为登录有与已识别短语数据一致的关键字，则向关键字对应文件读取单元31输出辅助图像选择指令，以用于选择对应于所述关键字的辅助图像。
电影文件存储器件30是一种用于预先存储将用作辅助图像的电影文件的存储设备。在使用根据这个实施例的电视电话的语音通信中可用作辅助图像的电影文件对应于将用来输出该电影文件的关键字而被存储。
关键字对应文件读取单元31是用于从电影文件存储器件30中读出电影文件的信息处理功能件。响应于从关键字匹配单元21输出的辅助图像选择指令，关键字对应文件读取单元31从电影文件存储器件30中读出与关键字相对应的电影文件，并将该电影文件输出到运动图像数据抽取单元32。
运动图像数据抽取单元32是一种分离电影文件并抽取图像数据的数据抽取功能件。运动图像数据抽取单元32所抽取的图像数据被输出到运动图像格式转换单元33。
运动图像格式转换单元33是一种对运动图像数据抽取单元32所抽取的图像数据的图像格式进行转换的数据转换功能件。运动图像格式转换单元33将从运动图像数据抽取单元32输出的、作为辅助图像的图像数据的图像格式转换为适于输入到运动图像编码器6的图像格式。例如，图像格式被转换为例如YUV格式。转换后的运动图像数据对应于每一帧被输入到运动图像编码器6。
表1是一张已登录关键字数据表，其表示存储在已登录关键字存储器件20中的已登录关键字的示例。参考表1，已登录关键字数据表存储了由根据这个实施例的电视电话的用户所预先登录的关键字。只要使在登录关键字中所使用的文本数据与将要实际用于话音识别的话音数据相对应，就完成了对关键字的存储。
                表1
        已登录关键字数据表
  已登录关键字   (日文)发音 …
  图像1   Gazo-ichi
  图像2   Gazo-ni
  ：   ：
  运动图像1   Doga-ichi
  运动图像2   Doga-ni
  ：   ：
  显示   Hyoji
  结束显示   Hyoji shuryo
  ：   ：
表2是一张静止图像数据表，其表示已登录关键字和存储在静止图像存储器件22中的图像数据之间的对应关系的示例。参考表2，静止图像数据表对应于静止图像数据而存储包含在辅助图像选择指令中的关键字。已接收辅助图像选择指令的关键字对应图像读取单元23使用该静止图像数据表，从而读出静止图像作为辅助图像。
              表2
        静止图像数据表
  关键字   静止图像数据 …
  图像1   图像1数据
  图像2   图像2数据
  ：   ：
表3是一张电影文件数据表，其表示已登录关键字和存储在电影文件存储器件30中的电影文件数据之间的对应关系的示例。参考表3，电影文件数据表对应于电影文件数据而存储包含在辅助图像选择指令中的关键字。已接收辅助图像选择指令的关键字对应文件读取单元31使用该电影文件数据表，从而读出电影文件作为辅助图像。
                表3
            电影文件数据表
  关键字   电影文件 …
  运动图像1   电影1
  运动图像2   电影2
  ：   ：
下面将描述这个实施例的操作。图4示出了当静止图像用作辅助图像时发送侧的操作。
参考图4，在步骤S101，在这个实施例中所要描述的电视电话的用户从话音接收单元3输入用于语音通信的话音。话音接收单元3将在步骤S101中输入的话音转换成电信号，并将其作为话音数据输出到话音识别单元13和话音编码器5。
在步骤S103，从话音接收单元3输出的话音数据被输入到话音识别单元13。话音识别单元13执行话音识别处理，以自动地识别出包含在所接收的话音数据中的短语。所识别出的短语被输出为已识别短语数据。
从话音识别单元13输出的已识别短语数据被发送到关键字确定单元14。在步骤S105，关键字确定单元14确定在已识别短语数据中是否包含已登录的关键字。如果在步骤S105中确定在已识别短语数据中包含已登录的关键字(是)，则关键字确定单元14输出控制信号(切换信号)和辅助图像选择指令，所述控制信号用于控制在输入图像选择器开关16中将终端B连接到终端S上，所述辅助图像选择指令用于读出辅助图像。流程前进到步骤S107。
在步骤S107，从关键字确定单元14输出的辅助图像选择指令被输入到辅助图像选择单元15。一旦接收到辅助图像选择指令，辅助图像选择单元15就让关键字对应图像读取单元23和图像格式转换单元24执行该指令。
更具体地说，在步骤S108，关键字对应图像读取单元23从静止图像存储器件22中读出与关键字相对应的静止图像，并将对应于所述关键字的读出辅助图像输出到图像格式转换单元24。在步骤S109，图像格式转换单元24将从关键字对应图像读取单元23输出的、作为辅助图像的静止图像的图像格式转换为适于输入到运动图像编码器6的图像格式，并将所述图像数据输出到输入图像选择器开关16。
在步骤S111，从辅助图像选择单元15输出的辅助静止图像通过输入图像选择器开关16的终端B和S被输入到运动图像编码器6。
另一方面，如果在步骤S105中确定在已识别短语数据中未包含任何已登录关键字(否)，则关键字确定单元14输出控制信号以控制在输入图像选择器开关16中将终端A连接到终端S上。流程前进到步骤S113。
在步骤S113，从摄像单元4输出的照相机图像被输入到运动图像编码器6。
在步骤S115，运动图像编码器6通过将从摄像单元4输出的照相机图像数据或从辅助图像选择单元15输出的辅助静止图像数据转换成适于通过网络传输的格式，而生成发送运动图像数据，并且将该发送运动图像数据输出到复接单元17。
在步骤S117，复接单元17将在步骤S101从话音接收单元3输出并已由话音编码器5进行数据格式转换的发送话音数据和在步骤S115从运动图像编码器6输出的发送运动图像数据复接在一起，并将复接数据输出到发送单元7。
在步骤S119，发送单元7通过信息通信网络来发送从复接单元17输出的复接数据。
图5示出了在这个实施例的操作中接收侧的操作。
在步骤S201，接收单元8通过信息通信网络接收在图4中的步骤S119，从发送单元7发送的复接数据，并将所接收的复接数据输出到分接单元18。
在步骤S203，分接单元18将从接收单元8输出的复接数据分接成话音数据和运动图像数据。分接出的话音数据被输出到话音解码器9。分接出的运动图像数据被输出到运动图像解码器10。
在步骤S205，运动图像解码器10将分接单元18所分接出的运动图像数据从适于通过信息通信网络传输的格式转换成可在显示单元12上显示的格式，并输出该运动图像数据。
在步骤S207，显示单元12将已由运动图像解码器10进行格式转换并被输出的运动图像数据作为显示图像而显示出来。
在步骤S209，话音解码器9将分接单元18所分接出的话音数据从适于通过信息通信网络传输的格式转换成可从话音输出单元11输出的格式，并输出该话音数据。
在步骤S211，话音输出单元11将已由话音解码器9进行格式转换并输出的话音数据作为话音而输出。
图6示出了在根据这个实施例的操作中电影文件用作辅助图像的情况。
参考图6，在步骤S301，在这个实施例中所要描述的电视电话的用户从话音接收单元3输入用于语音通信的话音。话音接收单元3将在步骤S301中输入的话音转换成电信号，并将其作为话音数据输出到话音识别单元13和话音编码器5。
在步骤S303，从话音接收单元3输出的话音数据被输入到话音识别单元13。话音识别单元13执行话音识别处理，以自动地识别出包含在所接收的话音数据中的短语。所识别出的短语被输出为已识别短语数据。
从话音识别单元13输出的已识别短语数据被发送到关键字确定单元14。在步骤S305，关键字确定单元14确定已登录的关键字是否包含在已识别短语数据中。如果在步骤S305中确定在已识别短语数据中包含已登录的关键字(是)，则关键字确定单元14输出控制信号(切换信号)和辅助图像选择指令，所述控制信号用于控制在输入图像选择器开关16中将终端B连接到终端S上，所述辅助图像选择指令用于读出辅助图像。流程前进到步骤S307。
在步骤S307，从关键字确定单元14输出的辅助图像选择指令被输入到辅助图像选择单元15。一旦接收到辅助图像选择指令，辅助图像选择单元15就让关键字对应文件读取单元31、运动图像数据抽取单元32和运动图像格式转换单元33执行该指令。
更具体地说，在步骤S308，关键字对应文件读取单元31从电影文件存储器件30中读出电影文件，并将对应于所述关键字的读出电影文件输出到运动图像数据抽取单元32。在步骤S309，运动图像数据抽取单元32从输出自关键字对应文件读取单元31的、与所述关键字相对应的电影文件中抽取图像数据，并将所抽取的图像数据输出到运动图像格式转换单元33。在步骤S310，运动图像格式转换单元33将从运动图像数据抽取单元32输出的辅助运动图像的运动图像格式转换成适于输入到运动图像编码器6的运动图像格式，并将所述图像数据输出到输入图像选择器开关16。
在步骤S313，从辅助图像选择单元15输出的辅助运动图像通过输入图像选择器开关16的终端B和S被输入到运动图像编码器6。
另一方面，如果在步骤S305中确定在已识别短语数据中未包含任何已登录关键字(否)，则关键字确定单元14输出控制信号以控制在输入图像选择器开关16中将终端A连接到终端S上。流程前进到步骤S315。
在步骤S315，从摄像单元4输出的照相机图像被输入到运动图像编码器6。
在步骤S317，运动图像编码器6通过将从摄像单元4输出的照相机图像数据或从辅助图像选择单元15输出的辅助运动图像数据转换成适于通过网络传输的格式，从而生成发送运动图像数据，并且将该发送运动图像数据输出到复接单元17。
在步骤S319，复接单元17将在步骤S301从话音接收单元3输出并已由话音编码器5进行数据格式转换的发送话音数据和在步骤S317从运动图像编码器6输出的发送运动图像数据复接在一起，并将复接数据输出到发送单元7。
在步骤S321，发送单元7通过信息通信网络来发送从复接单元17输出的复接数据。
与将静止图像用作辅助图像的情况相同，从发送单元7中发送的复接数据由接收设备2的接收单元8接收，并被显示在显示单元12上。
可将用作辅助图像的静止图像或运动图像的辅助图像显示时间段设置为预定的时间。或者，可预先登录一个用于结束显示的专用关键字，使得发送者可以通过说出这个专用关键字而结束显示。更具体地说，当关键字匹配单元21找到表示显示结束的专用关键字时，向输入图像选择器开关16输出用于控制在其内部将终端S连接到终端A的控制信号(特定切换信号)，从而在其内部将终端S与A连接起来。从摄像单元4输出的照相机图像通过输入图像选择器开关16的终端A和S被输出到运动图像编码器6。
如上所述，在使用实时显示图像的通信设备的通信中，可提供一种具有更高可操作性的通信设备和方法，其允许显示除主图像之外的辅助图像，而不必考虑可操作性。另外，可以取得以下效果，即减少与图像显示有关的资源的消耗。此外，在以上通信设备和方法中，通过使用简单的协议就可以实现实时显示图像的通信。
第二实施例
图7示出了本发明第二实施例的示意性设置。在这个实施例中，发送设备40具有图像合成单元41，其通过合成照相机输入图像和辅助图像而生成运动图像数据。在根据这个实施例的电视电话中，一个电视电话设备既包括发送设备40又包括接收设备2。在后面的描述中，为了便于理解，将省略对发送侧的接收设备以及接收侧的发送设备的描述。在接收侧的操作与第一实施例中所描述的基本相同。
参考图7，这个实施例包括发送设备40、接收设备2和信息通信网络。
信息通信网络能够使用有线通信或无线通信进行双向通信数据发送/接收。
发送设备40将发送者所输入的话音和将要显示在接收设备2上的图像转换成可通过信息通信网络传送的数据格式，并将所述数据发送给接收设备2。
接收设备2通过信息通信网络接收从发送设备40发送的数据，并输出/显示所述话音和图像。
发送设备40还包括话音接收单元3、摄像单元4、话音编码器5、运动图像编码器6、复接单元17、话音识别单元13、关键字确定单元14、辅助图像选择单元15、输入图像选择器开关42、图像合成单元41和发送单元7。
摄像单元4是一种静止图像成像设备例如数码相机，或者是一种运动图像成像设备例如摄像机。摄像单元4包括在发送装置40中，或与发送装置40外部相连。摄像单元4实时摄取发送者的视频图像，将所摄取的图像转换成电信号，并将其作为图像数据输出到输入图像选择器开关42。
话音接收单元3是一种声音收集设备，用于收集发送者所发出的话音。话音接收单元3包括在发送装置40中，或与发送装置40外部相连。话音接收单元3实时收集发送者所发出的话音，将所收集的话音转换成电信号，并将转换后的话音作为话音数据输出到话音识别单元13和话音编码器5。
话音识别单元13是这样一种信息处理功能件，其接收从话音接收单元3输出的话音数据，并自动识别包含在所接收的话音数据中的短语。这种话音识别处理所识别出的短语作为已识别短语数据而输出。
关键字确定单元14是这样一种信息处理功能件，其确定从话音识别单元13输出的已识别短语数据是否与预先登录的关键字一致。关键字确定单元14向输入图像选择器开关42输出控制信号，以有选择地连接其内部的终端，并且向辅助图像选择单元15输出指令(辅助图像选择指令)以选择一个辅助图像。辅助图像选择指令包含被确定为与已识别短语数据一致的关键字。控制信号和辅助图像选择指令是基于关键字确定单元14的确定结果而从中输出的。
辅助图像选择单元15接收从关键字确定单元14发送的辅助图像选择指令。基于所接收的辅助图像选择指令，辅助图像选择单元15选择与所述关键字相对应的辅助图像数据，并把它输出到图像合成单元41。
图像合成单元41是这样一种图像合成功能件，其通过合成照相机图像和辅助图像而生成合成图像。所生成的合成图像被输出到输入图像选择器开关42。
输入图像选择器开关42有选择地向运动图像编码器6输出从摄像单元4输出的图像数据和从图像合成单元41输出的合成图像数据中的至少一个。将被输出到运动图像编码器6的图像数据由从关键字确定单元14输出的控制信号来完成切换。
运动图像编码器6是这样一种图像数据转换功能件，其对数据格式进行转换，以将从摄像单元4输出的图像数据或从图像合成单元41输出的合成图像数据发送到接收设备2。可通过信息通信网络将运动图像数据以最佳状态传送到接收设备2的格式被用作转换格式。
话音编码器5是这样一种话音数据转换功能件，其对数据格式进行转换，以将从话音接收单元3输出的话音数据发送到接收设备2。可通过信息通信网络将话音数据以最佳状态传送到接收设备2的格式被用作转换格式。
复接单元17是这样一种数据合成功能件，其将已由运动图像编码器6进行数据格式转换的发送运动图像数据和已由话音编码器5进行数据格式转换的发送话音数据复接在一起。复接数据被输出到发送单元7。
发送单元7是一种数据发送功能件。发送单元7将从复接单元17输出的复接数据通过信息通信网络发送到接收设备2的接收单元8。
图8示出了当静止图像用作辅助图像时，关键字确定单元14和辅助图像选择单元15的内部设置的细节。除了从辅助图像选择单元15的图像格式转换单元24而来的合成图像数据被输出到图像合成单元41之外，所述关键字确定单元14和辅助图像选择单元15具有和图2中相同的设置。
图9示出了当运动图像用作辅助图像时，关键字确定单元14和辅助图像选择单元15的内部设置的细节。除了从辅助图像选择单元15的运动图像格式转换单元33而来的合成图像数据被输出到图像合成单元41之外，所述关键字确定单元14和辅助图像选择单元15具有和图3中相同的设置。
下面将描述这个实施例的操作。图10示出了这个实施例的操作。
参考图10，在步骤S401，在这个实施例中所要描述的电视电话的用户从话音接收单元3输入用于语音通信的话音。话音接收单元3将在步骤S401中输入的话音转换成电信号，并将其作为话音数据输出到话音识别单元13和话音编码器5。
在步骤S403，从话音接收单元3输出的话音数据被输入到话音识别单元13。话音识别单元13执行话音识别处理，以自动地识别出包含在所接收的话音数据中的短语。所识别出的短语被输出为已识别短语数据。
从话音识别单元13输出的已识别短语数据被发送到关键字确定单元14。在步骤S405，关键字确定单元14确定在已识别短语数据中是否包含已登录的关键字。如果在步骤S405中确定在已识别短语数据中包含已登录的关键字(是)，则关键字确定单元14向输入图像选择器开关42输出控制信号(切换信号)，用于控制在输入图像选择器开关42中将终端S1连接到终端B1上，并将终端B2连接到终端S2上。关键字确定单元14还输出辅助图像选择指令以读出辅助图像。流程前进到步骤S407。
在步骤S407，从关键字确定单元14输出的辅助图像选择指令被输入到辅助图像选择单元15。当辅助图像是静止图像时，一旦辅助图像选择单元15接收到辅助图像选择指令，它就让关键字对应图像读取单元23和图像格式转换单元24执行该指令。
更具体地说，在图11中的步骤S501，关键字对应图像读取单元23从静止图像存储器件22中读出与关键字相对应的静止图像，并将对应于所述关键字的读出辅助图像输出到图像格式转换单元24。在图11中的步骤S502，图像格式转换单元24将从关键字对应图像读取单元23输出的、作为辅助图像的静止图像的图像格式转换为适于输入到运动图像编码器6的图像格式，并将所述图像数据输出到图像合成单元41。
当辅助图像是运动图像时，辅助图像选择单元15让关键字对应文件读取单元31、运动图像数据抽取单元32和运动图像格式转换单元33执行所述指令。
更具体地说，在图12中的步骤S601，关键字对应文件读取单元31从电影文件存储器件30中读出电影文件，并将对应于所述关键字的读出电影文件输出到运动图像数据抽取单元32。在图12中的步骤S602，数据抽取单元32从输出自关键字对应文件读取单元31的、与所述关键字相对应的电影文件中抽取图像数据，并将所抽取的图像数据输出到运动图像格式转换单元33。在图12中的步骤S603，运动图像格式转换单元33将从运动图像数据抽取单元32输出的辅助运动图像的运动图像格式转换成适于输入到运动图像编码器6的运动图像格式，并将所述图像数据输出到图像合成单元41。
在图10中的步骤S409，图像合成单元41将辅助图像选择单元15所选择的静止图像或运动图像与从摄像单元输出的照相机图像合成在一起，以生成合成图像，并将该合成图像输出到输入图像选择器开关42。
在步骤S411，从图像合成单元41通过输入图像选择器开关42的终端B2和S2而输出的合成图像被输入到运动图像编码器6。
另一方面，如果在步骤S405中确定在已识别短语数据中未包含任何已登录关键字(否)，则关键字确定单元14输出控制信号以控制在输入图像选择器开关42中将终端S1连接到终端A1，并将终端A2连接到终端S2。流程前进到步骤S413。
在步骤S413，摄像单元4所摄取的照相机图像通过终端S1、A1、A2和S2被输入到运动图像编码器6。
在步骤S415，运动图像编码器6通过将从摄像单元4输出的照相机图像或从图像合成单元41输出的合成图像转换成适于通过网络传输的格式，从而生成发送运动图像数据，并且将该发送运动图像数据输出到复接单元17。
在步骤S417，复接单元17将在步骤S401从话音接收单元3输出并已由话音编码器5进行数据格式转换的发送话音数据和在步骤S415从运动图像编码器6输出的发送运动图像数据复接在一起，并将复接数据输出到发送单元7。
在步骤S419，发送单元7通过信息通信网络发送从复接单元17输出的复接数据。
如同第一实施例一样，从发送单元7中发送的复接数据由接收设备2的接收单元8接收，并被显示在显示单元12上。
可将用作辅助图像的静止图像或运动图像的辅助图像显示时间段设置为预定的时间。或者，可预先登录一个用于结束显示的专用关键字，使得发送者可以通过说出这个专用关键字而结束显示。更具体地说，当关键字匹配单元21找到表示显示结束的专用关键字时，向输入图像选择器开关42输出用于控制在其内部将终端S1连接到终端A1，并将终端S2连接到终端A2的控制信号(特定切换信号)，从而将终端S1连接到终端A1，并将终端S2连接到终端A2。从摄像单元4输出的照相机图像通过输入图像选择器开关42的终端S1和A1以及终端A2和S2被输出到运动图像编码器6。
如上所述，在使用实时显示图像的通信设备的通信中，可提供一种具有更高可操作性的通信设备和方法，其允许显示除主图像之外的辅助图像，而不必考虑可操作性。另外，可以取得以下效果，即减少与图像显示有关的资源的消耗。此外，在以上通信设备和方法中，通过使用简单的协议就可以实现实时显示图像的通信。

Claims (20)

1.一种通信设备(1)，其特征在于包括：
摄像装置(4)，用于摄取照相机图像；
话音识别装置(13)，用于从输入的话音中识别短语；
关键字检测装置(14)，用于检测在多个已登录的关键字中的任意一个和从所述话音识别装置(13)中输出的短语之间的一致性；
辅助图像选择装置(15)，用于响应于来自所述关键字检测装置的一致性检测输出，选择与被检测为一致的已登录的关键字相关的特定辅助图像；
输入图像切换装置(16，42)，用于响应于所述一致性检测输出，在从所述摄像装置中输出的照相机图像和包含从所述辅助图像选择装置中输出的辅助图像的图像中有选择地输出两者之一；和
发送装置(7)，用于发送所述输入的话音和从所述输入图像切换装置中输出的图像。
2.如权利要求1所述的设备，其中，所述辅助图像选择装置包括：
静止图像存储装置(22)，用于预先存储与已登录的关键字相关的特定静止图像；
图像读取装置(23)，用于响应于所述一致性检测输出，从所述静止图像存储装置中读出与已登录的关键字相关的特定静止图像；和
图像格式转换装置(24)，用于转换所述图像读取装置所读出的静止图像的图像格式，并将所述静止图像作为所述辅助图像输出到所述输入图像切换装置。
3.如权利要求1所述的设备，其中，所述辅助图像选择装置包括
电影文件存储装置(30)，用于存储包含与已登录的关键字相关的运动图像数据的电影文件；
电影文件读取装置(31)，用于响应于所述一致性检测输出，从所述电影文件存储装置中读出与已登录的关键字相关的特定电影文件；
运动图像数据抽取装置(32)，用于从所述电影文件读取装置所读出的电影文件中抽取运动图像数据；和
运动图像格式转换装置(33)，用于转换所述运动图像数据抽取装置所抽取的运动图像数据的运动图像格式，并将所述运动图像数据作为所述辅助图像输出到所述输入图像切换装置。
4.如权利要求1所述的设备，其中，
所述关键字检测装置响应于所述一致性检测输出，向所述输入图像切换装置输出切换信号，并且
所述输入图像切换装置响应于从所述关键字检测装置中输出的切换信号，将所要输出的图像从所述照相机图像切换到包含辅助图像的所述图像。
5.如权利要求4所述的设备，其中，
所述关键字检测装置响应于检测到某一短语和特定关键字之间的一致性，向所述输入图像切换装置输出特定的切换信号，并且
所述输入图像切换装置响应于从所述关键字检测装置输出的特定切换信号，将所要输出的图像从包含辅助图像的所述图像切换到所述照相机图像。
6.如权利要求1所述的设备，还包括图像合成装置(41)，用于响应于所述一致性检测输出，将从所述摄像装置输出的照相机图像与从所述辅助图像选择装置输出的辅助图像合成在一起，以生成合成图像，并将所述合成图像输出到所述输入图像切换装置(42)，
其中，所述输入图像切换装置响应于所述一致性检测输出，在从所述摄像装置输出的照相机图像和从所述图像合成装置输出的合成图像之间进行切换，并将所切换的图像输出到所述发送装置。
7.如权利要求6所述的设备，其中，所述辅助图像选择装置包括
静止图像存储装置(22)，用于预先存储与已登录的关键字相关的特定静止图像，
图像读取装置(23)，用于响应于所述一致性检测输出，从所述静止图像存储装置中读出与已登录的关键字相关的特定静止图像，和
图像格式转换装置(24)，用于转换所述图像读取装置所读出的静止图像的图像格式，并将所述静止图像作为所述辅助图像输出到所述图像合成装置。
8.如权利要求6所述的设备，其中，所述辅助图像选择装置包括
电影文件存储装置(30)，用于存储包含与已登录的关键字相关的运动图像数据的电影文件，
电影文件读取装置(31)，用于响应于所述一致性检测输出，从所述电影文件存储装置中读出与已登录的关键字相关的特定电影文件，
运动图像数据抽取装置(32)，用于从所述电影文件读取装置所读出的电影文件中抽取运动图像数据，和
运动图像格式转换装置(33)，用于转换所述运动图像数据抽取装置所抽取的运动图像数据的运动图像格式，并将所述运动图像数据作为所述辅助图像输出到所述图像合成装置。
9.如权利要求6所述的设备，其中，
所述关键字检测装置响应于所述一致性检测输出，向所述输入图像切换装置输出切换信号，并且
所述输入图像切换装置响应于从所述关键字检测装置中输出的切换信号，将所要输出的图像从所述照相机图像切换到所述合成图像。
10.如权利要求6所述的设备，其中，
所述关键字检测装置响应于检测到某一短语和特定关键字之间的一致性，向所述输入图像切换装置输出特定的切换信号，并且
所述输入图像切换装置响应于从所述关键字检测装置输出的特定切换信号，将所要输出的图像从所述合成图像切换到所述照相机图像。
11.一种通信方法，其特征在于包括以下步骤：
摄取照相机图像；
从输入的话音中识别短语(S103，S303)；
检测所述短语和多个已登录的关键字中的任意一个之间的一致性(S105，S305)；
响应于一致性检测输出，选择与被检测为一致的已登录的关键字相关的特定辅助图像(S107，S307)；
响应于所述一致性检测输出，在所摄取的照相机图像和包含所选择的特定辅助图像的图像中有选择地输出两者之一(步骤S111，S113，S313，S315)；以及
发送所输出的所摄取照相机图像和所述辅助图像中的一个(S119，S321)。
12.如权利要求11所述的方法，其中，所述特定辅助图像选择步骤包括以下步骤：
响应于所述一致性检测输出，读出与所述已登录的关键字相关的特定静止图像(S108)，以及
转换所读出的特定静止图像的图像格式，并将所述静止图像作为所述辅助图像而输出(S109)。
13.如权利要求11所述的方法，其中，所述特定辅助图像选择步骤包括以下步骤：
响应于所述一致性检测输出，读出与所述已登录的关键字相关的特定电影文件(S308)，
从所读出的特定电影文件中抽取运动图像数据(S309)，以及
转换所抽取的运动图像数据的运动图像格式，并将所述运动图像数据作为所述辅助图像而输出(S310)。
14.如权利要求11所述的方法，其中，
所述有选择输出的步骤包括以下步骤：
响应于所述一致性检测输出，输出切换信号，以及
响应于所述切换信号，将所要输出的图像从所述照相机图像切换到包含所述辅助图像的所述图像。
15.如权利要求11所述的方法，其中，
所述有选择输出的步骤包括以下步骤：
响应于检测到短语和特定关键字之间的一致性，输出特定的切换信号，以及
响应于所述特定的切换信号，将所要输出的图像从包含所述辅助图像的所述图像切换到所述照相机图像。
16.如权利要求11所述的方法，还包括以下步骤：将所述所摄取的照相机图像与所述所选择的辅助图像合成在一起，以生成合成图像(S409)，
其中，在所述有选择输出的步骤中，有选择地输出所述照相机图像和所述合成图像中的一个。
17.如权利要求16所述的方法，其中，所述特定辅助图像选择步骤包括以下步骤：
响应于所述一致性检测输出，读出与所述已登录的关键字相关的特定静止图像(S501)，以及
转换所读出的特定静止图像的图像格式，并将所述静止图像作为所述辅助图像而输出(S502)。
18.如权利要求16所述的方法，其中，所述特定辅助图像选择步骤包括以下步骤：
响应于所述一致性检测输出，读出与所述已登录的关键字相关的特定电影文件(S601)，
从所读出的特定电影文件中抽取运动图像数据(S602)，以及
转换所抽取的运动图像数据的运动图像格式，并将所述运动图像数据作为所述辅助图像而输出(S603)。
19.如权利要求16所述的方法，其中，
所述有选择输出的步骤包括以下步骤：
响应于所述一致性检测输出，输出切换信号，以及
响应于所述切换信号，将所要输出的图像从所述照相机图像切换到所述合成图像。
20.如权利要求16所述的方法，其中，
所述有选择输出的步骤包括以下步骤：
响应于检测到短语和特定关键字之间的一致性，输出特定的切换信号，以及
响应于所述特定的切换信号，将所要输出的图像从所述合成图像切换到所述照相机图像。
CNB2004100379014A 2003-05-13 2004-05-10 通信设备和方法 Expired - Fee Related CN100345448C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003134811A JP2004343232A (ja) 2003-05-13 2003-05-13 通信装置及び通信方法
JP134811/2003 2003-05-13

Publications (2)

Publication Number Publication Date
CN1551630A CN1551630A (zh) 2004-12-01
CN100345448C true CN100345448C (zh) 2007-10-24

Family

ID=33028347

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100379014A Expired - Fee Related CN100345448C (zh) 2003-05-13 2004-05-10 通信设备和方法

Country Status (4)

Country Link
US (1) US7233345B2 (zh)
EP (1) EP1478178A1 (zh)
JP (1) JP2004343232A (zh)
CN (1) CN100345448C (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092735B2 (en) * 2002-03-22 2006-08-15 Osann Jr Robert Video-voicemail solution for wireless communication devices
GB2405948B (en) * 2003-09-12 2006-06-28 Canon Res Ct Europ Ltd Voice activated device
EP1771006A1 (en) * 2005-09-29 2007-04-04 Hewlett-Packard Development Company, L.P. Remote media source device access
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP2008270912A (ja) * 2007-04-16 2008-11-06 Ntt Docomo Inc 制御装置、移動通信システム及び通信端末
JP2008270914A (ja) * 2007-04-16 2008-11-06 Ntt Docomo Inc 制御装置、移動通信システム及び通信端末
JP2009044328A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
WO2009034412A1 (en) * 2007-09-13 2009-03-19 Alcatel Lucent Method of controlling a video conference
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US8661471B2 (en) 2008-10-29 2014-02-25 Sony Corporation Information processing apparatus and information processing method
JP5282613B2 (ja) * 2009-03-12 2013-09-04 ブラザー工業株式会社 テレビ会議装置、テレビ会議システム、テレビ会議制御方法、及びテレビ会議装置のプログラム
US20110001878A1 (en) * 2009-07-02 2011-01-06 Sony Corporation Extracting geographic information from tv signal to superimpose map on image
US20110311144A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Rgb/depth camera for improving speech recognition
JP7044633B2 (ja) * 2017-12-28 2022-03-30 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
JP7351642B2 (ja) 2019-06-05 2023-09-27 シャープ株式会社 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160277A (ja) * 1987-12-17 1989-06-23 Mitsubishi Electric Corp 静止画テレビ電話装置
JPH0332187A (ja) * 1989-06-28 1991-02-12 Sharp Corp テレビ電話装置
CN1100873A (zh) * 1993-04-30 1995-03-29 卡西欧计算机公司 电视电话设备
CN1100874A (zh) * 1993-03-22 1995-03-29 索尼公司 图象处理器
CN1290107A (zh) * 1999-12-18 2001-04-04 深圳市中兴通讯股份有限公司 远端画中画的实现方法
CN1298173A (zh) * 1999-09-13 2001-06-06 松下电器产业株式会社 语音识别设备与方法
CN1365487A (zh) * 1999-06-24 2002-08-21 西门子公司 语音识别的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313092A (ja) * 1989-06-09 1991-01-22 Nec Commun Syst Ltd テレビ電話機
JP3172199B2 (ja) * 1990-04-04 2001-06-04 株式会社東芝 テレビ電話装置
JPH04150686A (ja) * 1990-10-15 1992-05-25 Sharp Corp テレビ電話装置
JP3185505B2 (ja) * 1993-12-24 2001-07-11 株式会社日立製作所 会議録作成支援装置
JP2924717B2 (ja) * 1995-06-12 1999-07-26 日本電気株式会社 プレゼンテーション装置
JPH11259269A (ja) * 1998-03-13 1999-09-24 Omron Corp 情報処理装置および方法、並びに記録媒体
JPH11355747A (ja) 1998-06-10 1999-12-24 Nec Corp 映像・音声通信装置と同装置を用いたテレビ会議装置
JP2000032422A (ja) * 1998-07-08 2000-01-28 Nec Corp 画像伝送装置
JP2001075965A (ja) * 1999-06-30 2001-03-23 Mega Chips Corp 情報通信システム
JP2000250392A (ja) * 1999-03-02 2000-09-14 Kansai Tlo Kk 遠隔講義装置
JP2001127990A (ja) * 1999-11-01 2001-05-11 Mega Chips Corp 情報通信システム
JP2002185632A (ja) * 2000-12-14 2002-06-28 Nec Saitama Ltd テレビ電話機
JP2002215514A (ja) * 2001-01-16 2002-08-02 Hitachi Ltd 情報処理システム
JP2003219327A (ja) * 2001-09-28 2003-07-31 Canon Inc 画像管理装置、画像管理方法、制御プログラム、情報処理システム、画像データ管理方法、アダプタ、及びサーバ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160277A (ja) * 1987-12-17 1989-06-23 Mitsubishi Electric Corp 静止画テレビ電話装置
JPH0332187A (ja) * 1989-06-28 1991-02-12 Sharp Corp テレビ電話装置
CN1100874A (zh) * 1993-03-22 1995-03-29 索尼公司 图象处理器
CN1100873A (zh) * 1993-04-30 1995-03-29 卡西欧计算机公司 电视电话设备
CN1365487A (zh) * 1999-06-24 2002-08-21 西门子公司 语音识别的方法和装置
CN1298173A (zh) * 1999-09-13 2001-06-06 松下电器产业株式会社 语音识别设备与方法
CN1290107A (zh) * 1999-12-18 2001-04-04 深圳市中兴通讯股份有限公司 远端画中画的实现方法

Also Published As

Publication number Publication date
JP2004343232A (ja) 2004-12-02
CN1551630A (zh) 2004-12-01
US7233345B2 (en) 2007-06-19
EP1478178A1 (en) 2004-11-17
US20040227811A1 (en) 2004-11-18

Similar Documents

Publication Publication Date Title
CN100345448C (zh) 通信设备和方法
CN1103981C (zh) 视频信息调节装置
CN1107405C (zh) 能够进行通信的数字式静象摄像机
CN100338619C (zh) 字符识别处理设备、字符识别处理方法和便携式终端设备
CN1222188C (zh) 在配备照相机的移动通信终端中显示略图的装置和方法
CN1283125C (zh) 电话通信系统
CN1124901A (zh) 用于电视会议终端的电视传输设备
CN1140093C (zh) 数据通信系统及具适于该系统的通信功能的信息管理装置
CN1435988A (zh) 移动图像数据发送方法、装置和系统
CN1615478A (zh) 便携终端式图像处理系统、便携终端和服务器
CN1353557A (zh) 移动电话
CN101035334A (zh) 用于移动电话的多媒体处理设备和方法
CN1630303A (zh) 基于多个视频信号源的可切换图像显示的便携式通信终端
CN1706181A (zh) 图像组合便携式终瑞及其所用的图像组合方法
CN101056439A (zh) 便携式电子装置、内容信息服务器、内容列表提供方法
CN1725770A (zh) 便携式终端中控制相机模式的方法
CN1906924A (zh) 成像设备及成像辅助标记使用控制方法
CN1643573A (zh) 音频视频转换设备、音频视频转换方法以及音频视频转换程序
CN1909601A (zh) 摄像装置和摄像方法
CN1581142A (zh) 在客户机－服务器分布式系统中使用的方法、服务器和客户机
CN1770886A (zh) 一种蜂窝电话及其传送消息的方法
CN1685697A (zh) 电话翻译辅助装置及使用其的电话翻译系统
CN1411311A (zh) 移动无线终端设备
CN1878214A (zh) 提供呼叫服务和广播服务的方法及数字多媒体广播终端
CN1949856A (zh) 具有拍摄活动图像功能的移动通信终端和用于操作其的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071024

Termination date: 20130510