CN1484451A - 信息处理系统 - Google Patents

信息处理系统 Download PDF

Info

Publication number
CN1484451A
CN1484451A CNA031540570A CN03154057A CN1484451A CN 1484451 A CN1484451 A CN 1484451A CN A031540570 A CNA031540570 A CN A031540570A CN 03154057 A CN03154057 A CN 03154057A CN 1484451 A CN1484451 A CN 1484451A
Authority
CN
China
Prior art keywords
user
pictorial data
processing system
information processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA031540570A
Other languages
English (en)
Inventor
v
河崎祐司
ƽ
小山润
石井太
山崎舜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN1484451A publication Critical patent/CN1484451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

在配有摄象机和麦克风的一信息处理系统内，为通过传送线向和从另一个信息处理系统的用户传送和接收信息，用摄象机获得的用户的图象数据事先存储在一存储器内，当一个用户与另一个用户通讯时，通过图象处理使用摄象机获得一用户的图象数据与事先存储在存储器中的图象数据合成。使一用户的衣服，头发，背景和装饰与真实不同和在通讯中图象数据传送给另一个用户。

Description

信息处理系统
本发明是关于配有摄象机和麦克风并且通过传输线向/从其它信息处理系统的用户转送/接收图象数据和声音数据的信息处理系统。
众所周知，通过通讯线路使用配有摄象机和麦克风的信息处理系统例如使用图象电话或计算机进行通讯来使信息处理系统传送接收图象数据和声音数据。
使用该信息处理系统，不仅可以传送声音，而且谈话的双方可以看着对方的面部表情谈话，进而也可以传送诸如字符或照片的图象，因而，它可以传送和接收不仅只是声音的大量数据，和由此可以进行详细和深入的对话。
使用这样的信息处理系统，传送通讯双方的图象数据，而不考虑谈话双方的意图，这样涉及通讯的双方在相互通讯之前，经常需要进行与通讯无关的操作，诸如打扮面容和打扫环境等。
这样丧失了通讯的简捷，近而，和事先准备交谈的打电话人相比较，接收方由此存在着不能维持私人秘密的缺欠，这是因为接收方不能对交谈做充分的准备。
换句话说，使用通常的涉及声音和图象的数据通讯，用户的容貌作为图象数据直接传送给对方，因此，如果有必要进行通讯而通讯的接收方又不顾意这样做时，使接收方接收了精神上的苦恼。
如果接收方不得不这样做，即刚醒就使用配有摄象机和麦克风的信息处理系统进行通讯，这就是，如果如此，衣服，头发或修饰打扮物和环境和类似物是乱糟糟的，以致使接收方认为对方形象是失礼的，或者，如果接收方特别累和表情看来很阴郁，接收方可能迫使拒绝向对方发送已被摄象机拍下的接收方的图象数据，和这样拒绝传送图象数据。
为了这样保护通讯接收方起码的隐私，停止图象传送数据，仅执行声音数据的通讯传送。这样使用图象和声音的信息通讯的服务就不能得到有效的利用。
近而，如果突然要求打电话方传送信息，然后，甚至接收方可以决定制止伴有传送图象的有效的通讯，除非接收方已经安排好使自己不在对方呈现失礼，和已经收拾了环境，这样用到最后，可能通常只使用传递声音的电话或电传机在处理事物。
本发明的目的是提供这样的图象处理系统，当图象数据和声音数据使用配有摄象机和麦克风的信息处理系统进行传送和接收时，谈话可能使用图象和声音而没有传送方不希望传送的图象数据。
为了解决上述的问题，在本说明书中所示出的主要发明之一是一信息处理系统，用于通过传输线向/从其它信息处理系统的用户传送/接收信息，该系统包括：一摄象机，用于获得用户的图象数据；一麦克风，用于获得用户的声音数据；一处理图象数据的装置，用于获得除用户脸以外的部分的不同的图象数据；一传送处理过的图象数据和获得的声音数据到另一信息处理系统的装置。在构图中，在面部以外的部分对应着在脖子以下的背景，衣服，头发部分或类似的部分。
近而，在本说明书中公开的一主要结构是一通过一传输线向/从另一信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户表情的一图象数据；一麦克风，用于获得用户的声音数据；改变一图象数据为另一个图象数据或把一图象数据和另一图象数据综合的装置；把改变后或综合后的图象数据和声音数据传送给另一信息处理系统的装置。
近而，公开在本说明书中的一重要结构是一通过一传输线向/从另一信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户表情的一图象数据和表示用户嘴运动的另一个图象数据；一麦克风，用于获得用户声音数据；用于事先存储一图象数据的装置；用于综合已存储的一图象数据和另一图象数据的装置，用于传送综合的图象数据和声音数据到另一个信息处理系统的装置。
近而，在本说明书中公开的一个重要结构是通过一传输线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的一图象数据，和表示用户嘴运动的另一图象数据，一麦克风，用于获得用户的声音数据，用于事先存储一图象数据的装置，通过处理存储的第一个图象数据以检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据以综合图象数据的装置，其中，通过把存储的一图象数据和另一个图象数据综合在一起而获得综合的图象数据，用于传送声音数据和存储的一图象数据和综合的图象数据中的一个到另一个信息处理系统的装置。
近而，在本说明书中公开的一重要结构是通过一个传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的一图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于预先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据以综合图象数据的装置；其中，把存储的一图象数据和另一个图象数据进行综合获得综合的图象数据；传送声音数据和存储的一图象数据和综合的图象数据中的一个到另外的信息处理系统的装置，其中，通过测量，结合一个图象的用户每单位时间眨眼的次数，和把用户眨眼的次数和事先测量的用于表示用户每单位时间眨眼参考值的参考眨眼值加以比较来获得用户的疲劳程度。
近而，在本公开说明书中公开的一个重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的一图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于事先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度而改变存储的一图象数据以综合图象数据的装置，其中，通过把存储的一图象数据和另一个图象数据相综合而获得综合的图象数据；传送声音数据和存储的一图象数据和综合的图象数据中的一个到另一个信息处理系统的装置，其中，通过测量用户每单位时间眨眼的次数，结合一图象数据识别该用户，结合识别参考用户的参考值，把用户的眨眼值和用户的参考眨眼值加以比较，获得用户的疲劳程度，参考眨眼值表示事先测量的用户每单元时间参考眨眼的次数。
近而，在本公开说明书中公开的一个重要结构是，通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的一图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于事先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据用以综合图象数据的装置，其中，把存储的一图象数据与其它的图象数据相综合而获得综合的图象数据；传送声音数据和存储的一图象数据和综合图象数据中的一个到其它信息处理系统的装置，其中，测量用户每分钟眨眼的次数和用ID数识别用户，根据识别引用用户的参考眨眼值，把用户的眨眼值和用户的参考眨眼值相比较而获得用户的疲劳程度，该参考眨眼值表示了预先测的用户每单位时间眨眼的参考次数。
为了精心制作，本说明书中公开的重要发明之一是配有摄摄象机和麦克风的信息处理系统(例如连接到传输线上的个人计算机和电视电话)，其中用户眨眼的次数是从摄象机照取的图象数据中获得的，使用内部的定时电路通过计算每单位时间的眨眼的次数估测用户的疲劳程度；如果该值超过了特定的固定值，不传送用户的真实图象数据而传送组合用户嘴的运动和事先摄取并存储的图象数据的组合的图象数据。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于事先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据用以综合图象数据的装置，其中，把存储的一图象数据与其它的图象数据相综合而获得综合的图象数据；传送声音数据和存储的一图象数据和综合图象数据中的一个到另一个信息处理系统的装置，其中，测量结合一图象数据中的用户眼球的毛细血管跳动程度(bloodshotdegree)获得用户的疲劳程度。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于事先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据用以综合图象数据的装置，其中，把存储的一图象数据与其它的图象数据相综合而获得综合的图象数据；传送声音数据和存储的一图象数据和缩综合图象数据中的一个到另一个信息处理系统的装置，其中，通过测量用户眼球当前毛细血管跳动程度和结合一图象数据识别用户，根据识别引用具有参考(眼球)血管程度的参考图象数据，比较用户眼球当前毛细血管跳动程度和参考毛细血管跳动程度而获得用户的疲劳程度。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得表示用户面部表情的图象数据和表示用户嘴部运动的另一图象数据；一麦克风，用于获得用户的声音数据；用于事先存储一图象数据的装置；通过处理存储的一图象数据检测用户的疲劳程度和根据用户的疲劳程度改变存储的一图象数据用以综合图象数据的装置，其中，把存储的一图象数据和与其它的图象数据相综合而获得综合的图象数据；传送声音数据和存储的一图象数据和综合的图象数据中的一个到另一个信息处理系统的装置，其中，通过测量用户眼球的当前毛细血管跳动和用ID数识别用户，根据识别引用其有参考毛细血管跳动程度的参考图象数据，和把用户眼球当前毛细血管跳动程度与参考毛细血管跳动程度相比较而获得用户的疲劳程度。
换句话说，在本说明书中公开的重要的发明之一是配有摄象机和麦克风的信息处理系统，其中，通过从由摄象机摄取的图象数据获得的用户眼球的毛细血管跳动程度而估测用户的  劳程度，其中，如果该值超过了特定的固定的值，不传送用户的真实图象，而传送组合用户嘴部运动和事先摄取并存储的图象数据。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得包括背景数据在内的用户的图象数据；一麦克风，用于获得用户的声音数据；用于存储所希望的背景数据的装置，用于通过图象处理改变背景数据为所希望的背景数据的装置；和用于传送处理的图象数据和声音数据到另外的信息处理系统的装置。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，有于获得包括用户面部在内的图象数据；麦克风，用于获得用户声音数据；通过图象处理补足包括在图象数据在内的用户的面部的装置；传送处理后的图象数据和声音数据到另一个信息处理系统的装置。
近而，在本说明书中公开的一重要结构是通过传送线向和从另一个信息处理系统的用户传送和接收信息的一信息处理系统，该系统包括，一摄象机，用于获得包括面部数据和背景数据的用户的图象数据；一麦克风，用于获得用户的声音数据；用于存储所希望的背景数据的装置，用于通过图象处理补足图象数据的面部数据和改变背景数据以获得所希望的背景数据的装置，和用于传送处理的图象数据和声音数据到另一个信息处理系统的装置。
换句话说，在本说明书公开的另一个重要发明是一个配有摄象机和麦克风的图象处理系统，其中，通过用户的选取可以任意地改变背景，和要被传送到另一信息处理系统的用户的背景的图象数据。
图1给出了配有摄象机和麦克风并执行图象处理的信息处理系统的方框图；
图2给出了在图象处理中进行模式匹配的原理；
图3给出了一信息处理系统的外部结构的一实例；
图4至6给出了图象处理的流程图；
图1给出了本实施例的信息处理系统的一方框图，和图3给出了该信息处理系统的外部的结构，这是一个配有CCD(电耦合器件)摄象机和麦克风的PC(个人计算机)或WS工作站的实例。
本实施例的信息处理系统包括一微处理单元(MPU)101，主存储器102，存储器控制器103，视频随机存储器(VRAM)104，多路器105，数字信号处理器(DSP)106，CCD摄象机107，A/D转换器108，麦克风109，线大规模集成(LSI)单元110，扬声器111，D/A转换器112，显示单元113，显示单元控制器114，键盘115，点入设备控制器118，闪烁(flash)存储器119，硬盘120和硬盘控制器121。
MPU101控制着整个系统，例如控制存储器控制器103，线LSI单元110和类似的部件。
主存储器102用来处理表示用户面容或类似内容的由CCD摄象机117摄取的图象数据，这就是说，图象处理由MPU 101在主存储器中执行以检测包括在图象数据内的用户表情的疲劳程度。存储器控制器103对VRAM104执行刷新操作和读写操作控制并且经过直接存储器存取(DMA)传送把存在VRAM 104中的数据传送到主存储器102。在VRAM 104中存储用户的图象数据和声音数据。
多路器105选取由CCD摄象机107获取的图象数据或由麦克风获得的声音数据。
CCD摄象机107获得用户的图象数据，使用数字信号处理机106把获得的图象数据二进制化，然后把该数据存入到VRAM 104中。
麦克风109获得用户的声音作为音频信号。A/D传换器108数字化该音频信号，通过多路分配器105把声音数据存储在VRAM 104中。
线LSI单元110作为外线的接口运行和使用由外线协议确定的包格式通过DMA传送把图象数据和声音数据传送到目的地。同样，单元110从目的地接收另一个用户图象和声音数据。
在本实施例中，使用联接到PC或WS的智能选取板或哑选取板，就有可能从PS或WS的CPU(中央处理单元)直接控制外部电路。
扬声器111通过D/A转换器112主要输出从另一个信息处理系统传送的另一个用户的声音数据，以再产生作为另一个用户的被传送用户的声音。
在显示单元控制器114的控制下，显示单元113主要显示从另一信息处理系统传送的另一用户的图象数据。
在键盘控制器116的控制下使用键盘115以进行键输入控制和用来输入诸如用户ID信息的各种信息。
点入器件117包括鼠标，球或类似物和在点入装置控制器118的控制下。
在这样的信息处理系统中，如果需要，对由CCD摄象机107获得的图象数据进行图象处理和然后再传送到其它的图象处理系统。
结合图4至6描述信息处理系统的操作。
为了准备和另一信息处理系统的用户进行通讯，事先在本系统获得表示用户面容和类似物的图象数据。这就是由CCD摄象机107获得的用户的图象数据(初始图象数据)(步A1)。数字信号处理器106对所获得的图象数据(视频信号)进行二进制化和然后存储在VRAM104中(步A3)，同样，与此同时，使用麦克风109获得用户的声音数据(初始声音数据)，使用A/D转换器对所获得的声音数据(模拟信号)进行数字化处理和然后把它们存入VRAM 104(步A3)。
当另一信息处理系统的另一个用户要求通讯时，通过如下的操作传送本系统的用户或类似物的图象数据。
首先，在所希望的时间间隔，使用CCD摄象机107获得大量用户的当前的图象数据(步B1)，该数据然后通过数字信号处理器106和多路器105被存入VRAM 104。如下的过程由事先存储的图象处理程序执行。这就是，在步B2，从所获得的当前图象数据中取出用户的人眼部分。
在步B3确定是否检测出取出的人眼部分的边缘。如果检测出边缘部分，就可以确定眼睛闭合了，这就是，眨眼了，对每一个取出的人眼部分执行判定和对用户眨眼的次数进行计数(步B4)。
在步5确定在步B4计数的计数值是否大于或等于所希望的值，即，确定是否在所期望的的时间内用户眨眼的次数不少于眨眼的期望值。这是基于这样一个事实，眨眼的次数作为表示人类疲劳程度的参数和随着疲劳程度的增加眨眼的次数增加。
在步B5，当计数值是大于或等于期望值时，可以确定用户是疲劳了。因此，在步A3事先存储的用户的初始图象数据从VRAM 104中读出，综合当前的图象数据和初始的图象数据(步B6)，综合成的图象数据通过线LSI单元110传送到另一信息处理系统的目的地(步B7)。
另一方面，在步B5，当计数值少于被期望值时，就可以确定用户没有疲劳，这样，当前的图象数据通过线LSI单元110传送到另一信息处理系统的目的地而无需图象合成(步B8)。
上述的图象处理是使用MPU 101在主存储器102中执行的，在这时，在所期望的时间内用户眨眼的次数是由MPU 101加以计算，然后，当眨眼的次数不少于期望值时，事先存储在硬盘120，闪烁存储器119或类似存储器内的用户的图象与用户当前图象的嘴部分进行合成。合成的图象使用线LSI单元110进行DMA传送，这样传送图象数据到传输线。这样就可能传送的图象数据仿佛用户使用事先存储的衣着和背景在说话。
除了使用眨眼次数作为表示疲劳程度的参数外，还可以使用毛细血管跳动程度，在这种情况下，例如，可在本系统执行下列的过程。
首先，在期望的时间间隔内使用CCD摄象机107获得大量的用户的当前图象数据(步C1)和该数据通过数字信号处理器106和多路器105存入VRAM 104，按照事先存入的图象处理程度执行下述过程。即，在步C2，从获得当前图象数据中取出用户的人眼部分。
在步C3，毛细血管跳动部分被从取出的人眼部分检测，由于血管跳动部分是红色，当一部分的红色程度比所期望的水平大时，就可以确定该部分是血管跳动部分，和该部分作为毛细血管跳动部分被检测，近而，测量血管跳动部分到人眼部分的面积比率被测量(步C4)。面积比率作为确定用户毛细血管跳动程度的指数。
在步骤C5，可以确定血管跳动部分的面积比率大于或等于一期望值，当毛细血管部分的面积比率不小于该期望值时，可以确定用户疲劳了。这样，在步A3事先存储的用户的初始图象数据从VRAM中读出，和当前的数据与初始的数据进行合成(步B6)。合成的数据通过线LSI单元110传送到另一信息处理系统的目的地(步B7)。
另一方面，在步B5，当毛细血管部分的面积比率小于期望的值时，就可以确定用户没有疲劳，因此可以确定，当前的图象数据通过线LSI单元110传送到另一个信息处理系统的目的地而无需图象合成(步B8)。
因此就可能传送图象数据仿佛用户用事先存储的衣服和背影在通话。
合成不仅仅是对嘴而且对整个面容均是有效的，包括眼和皮肤的运动，同样，可以传送给另一方没有疲劳表示的但是用嘴的当前运动和健康，高兴表情的合成，或涉及人眼和皮肤运动的表情，例如，以此在通讯中呈现愉快的感觉。
通过比较获得的图象和存储的图象来执行用户的识别，也可以把用户的ID提供给被输入的每个用户来执行。
如上所述，根据用户的状态，改变由摄象机获得的图象进入到用户事先使用该系统获得的图象，合成这些图象以形成要被传送的用户的图象，这就可能避免传送用户不希望传送的图象和传送用户清楚的表情到对方，这就使保持隐私和传送不失礼的图象到对方成为可能。
现描述相关于图象处理的基本方法。
通过二进制化图象处理仪把输入图象转化为二进制图象。如果亮度是一固定值(阈值)或更多的话，二进制化设置为1，否则设置为0。该阈值能由下述的方法加以确定。
(1)在固定阈值中，阈值是事先确定的，如果图象的变化较小和图象具有至少有效的对比度时，可以使用该方法。
(2)如果在图象内的″1″部分的比率事先知道为P瓦(P tile)方法是有效的，通常，取亮度的直方图，如此设定亮度的阈值，使得累计分布是P的百分数，甚至直方图事先并不产生，获得阈值仍然是可能的，即通过使用适当的阈值二进制化，由重复地获得″1″的比率，该阈值给出近似的P百分比。
(3)在一种模式方法中，如果亮度直方图是双峰的，取出凹点亮度值作为阈值，当固定的阈值不适合整个图象时，这时存在着变化的阈值方法，但图象被分为区域，通过模方法为所化分的区域确定不同的阈值。
(4)在浮动二进制化和移动平均阈值法中，如果亮度信号的幅度是减弱的和延迟信号被设置作为阈值，这就可能检测出突然的亮度变化。还有被使用的类似的方法是移动平均方法，在该方法中一固定时间间隔的平均亮度被设置为阈值。
图2给出了模型匹配的原理和用此检测特定模型的位置，目标图象被完成为二进制图象，要被检测的区域置为1。该区域设置在图象的合适的位置，在失配检测块10内检测目标图象的重叠度，在位置设置块11中设置大量位置，如果在位置中检测出重叠，在计算块12中执行计算，在最小值检测块13中检测计算值。当重叠是最大时获得模型的位置和失配度是小的，如果失配度在任何位置都不小，那么这样的模型被认为不存在。
如果目标的两维模型不是恒定的，简单的模型匹配不是有效的，必须从图象中取出各类特征，并且基于它们的组合做出判决，从图象的一部分获得的一特征称为一局部特征，而随后的处理经常依此而执行。
为了获得图象示出的内容，这就需要从图象中提取特征，产生目标的描述和并将此和事先形成的模型加以匹配。特征包括点，线和区域和层数。即，特征仅能从一小局部区域中取出，或者他们能反射较大区域的状态，近而，特征能以层的方式加以表示，使得点结合在一起形成线，并且可以获得由线包围的区域，对于每一个特征，哪一层适合取决于目的。空间微分经常用来从分级图象或是具有不同亮度的两区域之间的边界部分的边缘执行提取。为了获得特定点和其方向上的亮度差，应当计算亮度f(x，y)的梯度，如果f(x，y)是连续的图象，[f(x，y)]的梯度是由公式(1)表示的两维矢量。grad[f(x，y)]＝(f(x，y)/x，f(x，y)/y)      (1)
如果绝对值是大的，这是边缘和取出垂直方向作为梯度。如果线的宽度大到一定程度，和如果方向具有两个相反的梯度，这时取出的是线的边界。近而，如果线的宽度是小的，可以使用拉普拉斯公式(2)：Δ2f(x，y)＝2f(x，y)/x2+2f(x，y)/y2        (2)
如果拉普拉斯算子的值是大的，该点较其余的部分暗，如果它是负的，那末它比其余的部分亮。
为了通过连接边缘或线元素取出一单根线，诸线元素可被获得，图象被分为4×4象素的小区域，从在每一个小区域的边缘点(边缘元素)中取出的最大的微分值被保留和取消其它的值。通过检测到每个边缘点邻近的亮度可以获得边缘的方向。如果在相邻的小的区域内的边缘方向是近似地相同，两个边缘点接合在一起，那些完全互不连接的点被视为噪音并且被消去。在该过程的每一级，仅使用图象的邻域，每一个点的近一步处理完全独立于其它点的处理，这样的处理被视为局部处理，这就可能执行对每个点的平行处理。
为了通过局部处理多次而检测一线，这里存在着如下所述使用概率的方法，首先，通过检测边缘点获得该边缘点的强度(微分的绝对值)和方向，根据边缘点的强度确定在一条线上的每一个边缘点的概率的初始值，其次，使用邻近边缘点的强度和方向改变每一个边缘点的概率。如果特定的边缘点和邻近不同的边缘点有相同的方向，该边缘点的概率被增加，如果方向很不相同，概率减小。执行这样的校正多次，消去逐渐噪音，在一线上的边缘点的概率接近为1。该过程被视为逐次近似法。
在参数空间方法中，用ρ＝xcosθ+ysinθ表示直线，如果产生边界点的坐标(xi，yi)转移到θ-ρ平面，在该平面一曲线被获得，该曲线为ρ＝xicosθ+yisinθ。如果在一幕中的所有边界点均被转换了，在同一直线上的所有点均通过θ-ρ平面的一点。这样，如果获得了大量曲线通过的点(θo，ρo)，就可以得到直线方程，如果知道边界点的方向，可以从相对ρ的直方图中确定该直线，参数方法要求产生具有和未知参数数目相同维数的直方图，因而应用到曲线很困难，如果这里对曲线方程内的参数做确定的限制，和参数空间的维数可以减小到2或更小，该方法还是有效的。
应用跟踪法可以获得一般的曲线，跟踪法是一个过程，借此产生的线连接边缘点。需要下述过程执行跟踪。
(1)检测跟踪开始点。
(2)估测相邻点的位置和在一些情况下该点的方向。
(3)根据该估测检测边缘点。
(4)确定是否连续跟踪或结束跟踪。
和局部处理相反，跟踪涉及依次连续的过程。因此如果一单独边缘点要被检测，该过程取决于前一过程的结果。因此，获得的结果将是不同的，这完全取决于在图象中从那儿处理开始。然而，使用依次处理，通过使用先前有效获得的信息能有效地执行处理是可能的。
取出一致区域的方法被视为区域方法，它包括如下两个过程。
(1)在区域法中使用合并，首先，产生大量的小区域，合并类似的区域。
(2)在区域法中使用划分，从单独的区域开始，该区域被划分为具有不同特性的区域。
区域法使用初始合并以获得小的区域，在这些小的区域中亮度近似相同的被称为基本区域，在两个相邻区域亮度，边界的长度和区域形状之间差别的基础上，区域逐渐地被合并，重复该过程直到没有更多的区域能够被合并。
使用划分方法具有的重要问题是确定在什么基础上图象应被划分在各类性质直方图的基础上划分彩色图象是有效的，这如下所述。
首先，为每个象素检测出红态，绿态，兰态，亮度，色相，饱合度和Y、I和Q彩色电视信号，9种类型的直方图从参数中产生和选出形成明显峰和谷的参数，做出划分那些用来作为边界的左边和右边的谷。根据象素具有的性质划分图象，为划分区域然后做出各种直方图，而这些区域再次划分得更细，该过程一直重复直至不再可能做出划分。
如果可能不是简单地使用亮度，而且如该例所示使用大量的信息，使用划分的区域方法是有效的，然而，这不一定如本例所示，需要使用9种类型之多。
通过使用上述方法，这就可能在获得用户的图象数据之后去确定用户是否已经眨眼了和去计算用户眼球的毛细血管程度。在本实施例中，使用CCD摄象机监视用户的眼球，但是眼球凝视方向，或瞳孔的反应也可以使用一护目镜型头上显示装置加以观察。
在实施例中，如在一情况所示，其中，衣服和背景改变了，然而，如果确定，用户极端地疲劳，那末可能通过图象处理改变用户的真实表情，和传送给另一个信息处理系统一图象数据，该图象数据合成了在用户处在健康状态下时愉快，健康的面容，近而，在这时最好略微控制口音的调子或音调，使得如果口音的音调有被压低的影响时，例如用户如果极端疲劳的话，要形成高兴的口音。
根据本发明的信息处理系统配有摄象机和麦克风，当使用图象数据进行数据通讯时，通过合成由摄象机获得的数据和事先存储的图象数据，合成的图象数据不是基于从图象数据中所确定的也不是按照在通讯中的传送方所处的情况确定的，这样使得衣服，头发，背景，化妆等等均不同于真实情况，和传送这些数据到通讯中的对方，从而有可能保护涉及通讯中的双方的隐私。

Claims (5)

1.一种信息处理系统，包括：
一个微处理单元；
一个摄象机，用于获得图象数据，它在操作上连接至所述微处理单元；
一个麦克风，用于获得声音信号，它在操作上连接至所述微处理单元；
一个扬声器，用于输出声音信号，它在操作上连接至所述微处理单元；
一个显示器单元，用于显示图象数据，它在操作上连接至所述微处理单元；
一个键输入装置，它在操作上连接至所述微处理单元。
2.按照权利要求1所述的信息处理系统，其特征在于，所述信息处理系统是一部个人计算机。
3.按照权利要求1所述的信息处理系统，其特征在于，所述信息处理系统是一个工作站。
4.按照权利要求1所述的信息处理系统，其特征在于，所述键输入装置是一个键盘。
5.按照权利要求1所述的信息处理系统，其特征在于，所述信息处理系统还包括一个包含一个鼠标或一个球标的点入装置。
CNA031540570A 1994-07-28 1995-07-28 信息处理系统 Pending CN1484451A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP19804494A JP3167865B2 (ja) 1994-07-28 1994-07-28 情報処理装置
JP198044/1994 1994-07-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN95115236A Division CN1124553C (zh) 1994-07-28 1995-07-28 信息处理系统

Publications (1)

Publication Number Publication Date
CN1484451A true CN1484451A (zh) 2004-03-24

Family

ID=16384606

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA031540570A Pending CN1484451A (zh) 1994-07-28 1995-07-28 信息处理系统
CN95115236A Expired - Fee Related CN1124553C (zh) 1994-07-28 1995-07-28 信息处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN95115236A Expired - Fee Related CN1124553C (zh) 1994-07-28 1995-07-28 信息处理系统

Country Status (5)

Country Link
US (1) US6307948B1 (zh)
JP (1) JP3167865B2 (zh)
KR (1) KR100310807B1 (zh)
CN (2) CN1484451A (zh)
TW (1) TW323361B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077122A (zh) * 2013-03-29 2014-10-01 纬创资通股份有限公司 自动检测疲劳的计算机系统以及自动检测疲劳的方法
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707484B1 (en) * 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
US7253731B2 (en) 2001-01-23 2007-08-07 Raymond Anthony Joao Apparatus and method for providing shipment information
US10011247B2 (en) 1996-03-27 2018-07-03 Gtj Ventures, Llc Control, monitoring and/or security apparatus and method
US10152876B2 (en) 1996-03-27 2018-12-11 Gtj Ventures, Llc Control, monitoring, and/or security apparatus and method
KR100261607B1 (ko) * 1997-06-30 2000-07-15 이중구 원격 통신이 가능한 디지탈 스틸 카메라
US9075136B1 (en) 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
TWI252592B (en) 2000-01-17 2006-04-01 Semiconductor Energy Lab EL display device
JP2002024905A (ja) * 2000-07-06 2002-01-25 Nec Kofu Ltd 電子ジャーナル作成方式及び電子ジャーナル作成方法
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
JP2003283604A (ja) * 2002-03-20 2003-10-03 Oki Electric Ind Co Ltd 表情伝送機能付情報端末装置
US10562492B2 (en) 2002-05-01 2020-02-18 Gtj Ventures, Llc Control, monitoring and/or security apparatus and method
KR100619975B1 (ko) * 2004-12-22 2006-09-08 엘지전자 주식회사 이동통신 단말기의 합성 사진 생성 방법
US7583287B2 (en) * 2005-03-22 2009-09-01 Microsoft Corp. System and method for very low frame rate video streaming for face-to-face video conferencing
US9286643B2 (en) 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
CN103905773B (zh) * 2012-12-28 2018-08-10 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技（深圳）有限公司 视频通信方法及装置
KR101988279B1 (ko) 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US10546441B2 (en) 2013-06-04 2020-01-28 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
US9821738B2 (en) 2014-06-30 2017-11-21 Raymond Anthony Joao Battery power management apparatus and method
US10097823B1 (en) * 2015-11-13 2018-10-09 Harmonic, Inc. Failure recovery for real-time audio and video encoding, decoding, and transcoding
CN106713811B (zh) * 2015-11-17 2019-08-13 腾讯科技（深圳）有限公司 视频通话方法和装置
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
US11760227B2 (en) 2021-02-15 2023-09-19 Raymond Anthony Joao Battery power management apparatus and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US435972A (en) * 1890-09-09 Straw-cutter
US4359724A (en) * 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
US4645872A (en) * 1982-04-01 1987-02-24 John Hopkins University Videophone network system
FR2531290A1 (fr) * 1982-07-30 1984-02-03 Poirier Alain Reseau de videocommunication entre des terminaux visiophoniques et une banque d'images
GB2150725B (en) * 1983-11-30 1988-02-17 Aisin Seiki Safety apparatus for a road vehicle
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
KR890002721B1 (ko) * 1986-02-07 1989-07-25 포항종합제철 주식회사 생산관제용 종합 정보 시스템
JPS63903A (ja) 1986-06-18 1988-01-05 日本鉱業株式会社 ビデオ及び又はテレビ用に使用する銅材
US4953111A (en) * 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JPH0779803B2 (ja) * 1987-12-09 1995-08-30 日本電装株式会社 居眠り検出装置
SE8800848D0 (sv) * 1988-03-10 1988-03-10 Saab Scania Ab Sett och anordning for att overvaka en fordonsforares styrbeteende
US5079627A (en) * 1988-06-15 1992-01-07 Optum Corporation Videophone
KR920007919B1 (ko) * 1988-06-27 1992-09-19 미쯔비시 덴끼 가부시기가이샤 텔레비젼 전화기
CH677599A5 (zh) * 1988-09-22 1991-06-14 Interzeag Ag
JPH02238788A (ja) 1989-03-13 1990-09-21 Mitsubishi Electric Corp パケツトテレビ会議端末装置
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
JPH0349492A (ja) 1989-07-18 1991-03-04 Mitsubishi Electric Corp 静止画テレビ電話装置
JP2982204B2 (ja) 1990-03-05 1999-11-22 トヨタ自動車株式会社 車両運転者監視装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH04310086A (ja) 1991-04-08 1992-11-02 Sharp Corp テレビ電話装置
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5537662A (en) 1992-05-29 1996-07-16 Casio Computer Co., Ltd. Electronic montage composing apparatus
US5541640A (en) * 1992-06-23 1996-07-30 Larson; Craig R. Videophone for simultaneous audio and video communication via a standard telephone line
JPH0638205A (ja) 1992-07-14 1994-02-10 Canon Inc 情報処理システム
US5465079A (en) * 1992-08-14 1995-11-07 Vorad Safety Systems, Inc. Method and apparatus for determining driver fitness in real time
JPH0670313A (ja) 1992-08-19 1994-03-11 Hitachi Ltd テレビ電話装置
JPH06141308A (ja) 1992-10-23 1994-05-20 Hitachi Ltd 携帯形テレビ電話機
JPH06205404A (ja) 1992-12-28 1994-07-22 Casio Comput Co Ltd テレビ電話装置
US5412708A (en) * 1993-03-12 1995-05-02 Katz; Ronald A. Videophone system for scrutiny monitoring with computer control
US5381195A (en) * 1993-03-22 1995-01-10 Rootzen; Holger Method and apparatus for testing a subject's perception of visual stimuli
JP3472594B2 (ja) * 1993-04-28 2003-12-02 株式会社日立製作所 テレビ対話システム及び中央局
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5734923A (en) * 1993-09-22 1998-03-31 Hitachi, Ltd. Apparatus for interactively editing and outputting sign language information using graphical user interface
US5606361A (en) * 1995-05-10 1997-02-25 Davidsohn; John Videophone interactive mailbox facility system and method of processing information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077122A (zh) * 2013-03-29 2014-10-01 纬创资通股份有限公司 自动检测疲劳的计算机系统以及自动检测疲劳的方法
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备

Also Published As

Publication number Publication date
JPH0844861A (ja) 1996-02-16
CN1127388A (zh) 1996-07-24
JP3167865B2 (ja) 2001-05-21
US6307948B1 (en) 2001-10-23
CN1124553C (zh) 2003-10-15
KR100310807B1 (ko) 2001-12-17
TW323361B (zh) 1997-12-21

Similar Documents

Publication Publication Date Title
CN1124553C (zh) 信息处理系统
US8514261B2 (en) Information processing system
CN111344712B (zh) 用于图像去标识的系统和方法
JP3768945B2 (ja) 個人のモデルを生成する方法及び装置
CA2926235C (en) Image blur with preservation of detail
US6885761B2 (en) Method and device for generating a person's portrait, method and device for communications, and computer product
CN109034102A (zh) 人脸活体检测方法、装置、设备及存储介质
KR101733512B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
CN1834986A (zh) 面部认证装置、控制方法、程序、电子设备及记录介质
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
CN107301626B (zh) 一种适合移动设备拍摄图像的磨皮算法
KR102009130B1 (ko) 실시간 메이크업 진단 및 질의응답 서비스 제공 시스템
Dutta et al. Leveraging smart devices for automatic mood-transferring in real-time oil painting
KR20160044203A (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
JP2011228936A (ja) 動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラム
JP5896204B2 (ja) 画像処理装置及びプログラム
CN114219868A (zh) 一种护肤方案推荐方法和系统
CN109146985A (zh) 视网膜刺激器的图像处理方法、装置及视网膜刺激器
CN104349115B (zh) 网络视频会议系统及在其中设置虚拟环境的方法和装置
CN106169172A (zh) 一种图像处理的方法及系统
KR20090041039A (ko) 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
JPWO2004023397A1 (ja) 視覚補助ネットワークサーバ、視覚補助ネットワークシステム、視覚補助方法、視覚補助システム、色覚機能通知システム、色覚機能通知用プログラム、色覚機能通知方法、色覚補助システム、色覚補助用プログラム、及び色覚補助方法
CN108197915A (zh) 一种虚拟红包信息处理方法
CN106162052A (zh) 传输视频图像及其装置，显示图像的方法及其装置
JP3434264B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication