CN101346990B - 电视电话功能的拍摄图像处理切换装置 - Google Patents

电视电话功能的拍摄图像处理切换装置 Download PDF

Info

Publication number
CN101346990B
CN101346990B CN2005800524379A CN200580052437A CN101346990B CN 101346990 B CN101346990 B CN 101346990B CN 2005800524379 A CN2005800524379 A CN 2005800524379A CN 200580052437 A CN200580052437 A CN 200580052437A CN 101346990 B CN101346990 B CN 101346990B
Authority
CN
China
Prior art keywords
hand
mentioned
portable terminal
terminal device
holding state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800524379A
Other languages
English (en)
Other versions
CN101346990A (zh
Inventor
植木隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN101346990A publication Critical patent/CN101346990A/zh
Application granted granted Critical
Publication of CN101346990B publication Critical patent/CN101346990B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33376—Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity
    • H04N1/33384—Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity according to transient characteristics or state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096—Portable devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33314—Mode signalling or mode changing; Handshaking therefor of a particular mode of reading or reproducing mode

Abstract

本发明提供电视电话功能的拍摄图像处理切换装置，其根据便携终端的状态，仅提供最佳的功能，从而降低消耗功率。该电视电话功能的拍摄图像处理切换装置至少具备：图像剪切单元(11)，其从便携终端的摄像头拍摄的拍摄图像剪切包含拍摄对象的规定范围；手持状态检测单元(12)，其检测手持状态；切换单元(13)，其根据手持状态检测单元(12)检测出的便携终端的状态，切换图像剪切单元(11)的有效/无效。

Description

电视电话功能的拍摄图像处理切换装置
技术领域
本发明涉及具有电视电话功能的便携终端，特别涉及拍摄图像处理切换装置，其对通过便携终端的摄像头拍摄的拍摄图像的图像处理进行控制。
背景技术
近年来，在移动电话等便携终端中附加了很多功能。在其代表性的功能中有电视电话功能。
具有电视电话功能的便携终端，以用户手持便携终端靠近脸部面对使用的方式为前提，设计了电视电话功能(例如摄像头等光学系统)。
这种情况下，为了以适当的大小对靠近的脸部进行拍摄，使用具有例如视场角为40度以上的标准或广角的光学系统的摄像头。因此，如果在便携终端与脸部(拍摄对象)之间的距离较远的情况下进行拍摄，大部分情况下就会导致映入拍摄画面中的人物的脸部比例较小。
因此，虽然在手持便携终端使用的情况下，画面中人物的脸部比例适当，但是在将便携终端放在桌子上等位置进行通话的情况下，会导致映入拍摄画面的人物的脸部比例较小，难以判断表情。
另外，在便携终端的电视电话功能中，进行以下的图像处理，即，消除由手抖动引起的画面晃动的处理，以及剪切利用人物位置识别或脸部位置识别的技术识别出的画面内的脸部，并将其放大发送给对象终端的处理等的图像处理。通常，由于进行图像处理需要较高的处理能力，因而导致消耗功率增大。
在专利文献1中，公开了一种电视会议终端的画面显示控制装置，其可靠地进行人物检测，并且即使在人物移动的情况下也能够进行容易看清的画面显示，从而适当地显示人物图像。
在专利文献2中公开了一种摄像装置，其能够充分确保剪切位置精度，并且具有高级的手抖动修正功能。
况时防止图像抖动的功能，以及为了使用户识别拍摄角度的不恰当而将显示切换为对象物的拍摄图像的功能。
专利文献1：JP特开平10-051755号公报
专利文献2：JP特开平11-266391号公报
专利文献3：JP特开2000-156849号公报
发明内容
鉴于上述问题，本发明目的在于提供一种电视电话功能的拍摄图像处理切换装置，其能够根据便携终端的状态，仅提供最佳的功能，从而降低消耗功率。
为了实现上述目的，本发明的拍摄图像处理切换装置，用于具有电视电话功能的便携终端中，其特征在于，具有：图像剪切单元，其用于进行图像剪切处理，该图像剪切处理是指，在上述便携终端具有的摄像头所得到的拍摄图像中对拍摄对象进行识别，剪切包含该识别出的拍摄对象的规定范围，并向使用上述电视电话功能进行通信的通信对象发送的处理；手持状态检测单元，其在使用上述电视电话功能进行通信时，检测上述便携终端处于手持状态；切换单元，其在上述便携终端处于手持状态时，使上述图像剪切单元停止图像剪切处理，在上述便携终端处于非手持状态时，使上述图像剪切单元执行图像剪切处理。
根据本发明，切换单元，在通过手持检测单元检测出的便携终端的状态为手持状态时，停止图像剪切单元的图像剪切处理；在非手持状态时，通过图像剪切单元进行图像剪切处理。由此，仅在便携终端需要进行图像剪切处理的情况下，进行图像剪切处理。另外，图像剪切单元识别的拍摄对象是指：例如人物的脸。
即，能够根据便携终端的状态，仅提供最佳的功能。另外，根据便携终端的状态停止不需要的功能，因此能够降低消耗功率。
如上所述，根据本发明能够提供：根据便携终端的状态仅提供最佳的功能，从而降低消耗功率的电视电话功能的拍摄图像处理切换装置。
另外，为了实现上述目的，本发明的拍摄图像处理切换装置，用于具有电视电话功能的便携终端中，其特征在于，具有：图像剪切单元，其用于在上述便携终端具有的摄像头所得到的拍摄图像中对拍摄对象进行识别，剪切包含该识别出的拍摄对象的规定范围的图像；手持状态检测单元，其在使用上述电视电话功能进行通信时，检测上述便携终端处于手持状态；切换单元，其在上述便携终端处于手持状态时，使上述图像剪切单元停止图像剪切处理，并使数据通信部发送上述拍摄图像，在上述便携终端处于非手持状态时，使数据通信部发送上述图像剪切单元所剪切的上述规定范围的图像。
附图说明
图1是表示本发明的原理的图。
图2是表示本发明实施例的实现拍摄图像切换装置的便携终端的主要部分的结构图。
图3是表示本发明实施例的便携终端的处理的流程图。
图4是说明本发明实施例的便携终端的状态和各状态中的拍摄图像的图。
具体实施方式
下面，参照图1～图4对本发明的实施方式进行说明。
图1是表示本发明的原理的图。
图1所示的拍摄图像处理切换装置10，至少具备：图像剪切单元11，其从通过具有电视电话功能的便携终端(以下称为“便携终端”)中的摄像头拍摄而获得的拍摄图像，剪切包含人物脸部的规定范围并向通信对象发送；手持状态检测单元12，其检测用户手持便携终端的状态(以下称为“手持状态”)；切换单元13，其根据手持状态检测单元12所检测出的便携终端的状态，切换图像剪切单元11的有效/无效。
切换单元13，在手持状态检测单元12检测出的便携终端的状态为手持状态的情况下，使图像剪切单元11的图像剪切处理停止。另外，剪切单元13，在手持状态检测单元12检测出的便携终端的状态为非手持状态的情况下，使图像剪切单元11执行图像剪切处理。
在图1所示的拍摄图像处理切换装置10中，还具备：检测便携终端的手抖动并修正拍摄图像的手抖动防止单元14。
另外，切换单元13，在手持状态检测单元12检测出的便携终端的状态为手持状态的情况下，使手抖动防止单元14对拍摄图像执行手抖动修正处理。另外，切换单元13，在手持状态检测单元12检测出的便携终端的状态为非手持状态的情况下，使手抖动防止单元14对拍摄图像所进行的手抖动修正处理停止。
图2表示本发明实施例的实现拍摄图像处理切换装置10的便携终端20的主要部分的结构。
图2所示的便携终端20，至少具备：拍摄被摄体摄像头(或者CCD(ChargeCoupled Devices)等摄像元件)21；驱动摄像头21的驱动器22；检测便携终端20的手抖动的加速度传感器23；驱动加速度传感器23的驱动器24；脸识别处理部25，其从摄像头21生成的拍摄图像中识别人物的脸；脸剪切处理部26，其从拍摄图像中剪切包含由脸识别处理部25识别出的人物脸部的规定范围；手抖动防止处理部27，其基于手抖动量修正拍摄图像的手抖动；切换控制部28，其根据便携终端20的状态切换对拍摄图像进行的图像处理(脸剪切处理/手抖动防止处理)；编码器29，其按照规定的协议对经过脸剪切处理或手抖动修正处理后的拍摄图像进行编码；电视电话控制部30，其通过解码器对经过编码的拍摄图像的数据(以下称为“显示图像”)进行解码，在便携终端20上进行显示，并且经由数据通信部31将显示图像和语音数据发送给通信对象；数据通信部31，其将显示图像和语音数据发送给通信对象。
另外，虽然没有图示，但是便携终端20当然具备CPU(Central ProcessingUnit)和非易失性/易失性的存储器(例如RAM和EEPROM)。
另外，通过CPU执行存储在存储器中的程序指令，从而实现图2所示的驱动器22、驱动器24、脸识别处理部25、脸剪切处理部26、手抖动防止处理部27、切换控制部28、编码器29、电视电话控制部30等。
摄像头21生成的拍摄图像，被输入到脸识别处理部25和手抖动防止处理部27中。当拍摄图像被输入到脸识别处理部25后，脸识别处理部25从拍摄图像所记录的图像中识别人物的脸。然后，脸剪切处理部26从拍摄图像中抽出含有识别出的人物脸部的规定范围(例如能够获得半身像的范围)。
因此，即使在人物的脸相对于拍摄图像整体的比例较小的情况下，脸识别处理部25和脸剪切处理部26将拍摄图像转换为例如半身像图像，从而也能够清楚识别被拍摄人物的表情。
另一方面，当拍摄图像被输入到手抖动防止处理部27后，手抖动防止处理部27根据加速度传感器23的传感器值计算出手抖动量，并修正拍摄图像。因此，经过修正的拍摄图像消除了由便携终端20的手抖动而引起的被摄体像的抖动。
这里，切换控制部28根据由加速度传感器23得到的加速度，检测(判断)便携终端20的状态(手持状态/非手持状态)。然后，切换控制部28根 据便携终端20的状态，在以下处理之间进行排他性的切换控制，即，通过脸识别处理部25和脸剪切处理部26进行的图像剪切处理，以及通过手抖动防止处理部27进行的手抖动防止处理。
即，在便携终端20为非手持状态的情况下，使手抖动防止处理部27的手抖动防止处理停止，通过脸识别处理部25和脸剪切处理部26开始进行图像剪切处理。然后，将实施了图像剪切处理的拍摄图像输出到编码器29中。
另外，在便携终端20为手持状态的情况下，停止通过脸识别处理部25和脸剪切处理部26进行的图像剪切处理，通过手抖动防止处理部27开始进行手抖动防止处理。然后，将实施了手抖动防止处理的拍摄图像输出到编码器29中。
在编码器29中，根据需要，将所输入的拍摄图像变换为符合MPEG-4(Moving Picture Experts Group phase 4)以及ITU-T(internationalTelecommunication Union Telecommunication Standardization Sector：国际电信联盟电信标准化部门)标准的数据。
电视电话控制部30，将编码后的数据经由数据通信部31发送给通信对象。另外，根据需要，将该编码后的数据向解码器33输出，并在未图示的便携终端的显示部上显示拍摄图像。
在以上所述的结构中，图1所示的图像剪切单元11，通过脸识别处理部25和脸剪切处理部26来实现；手持状态检测单元12和切换单元13，通过加速度传感器23、驱动器24和切换控制部28来实现。另外，手抖动防止单元14，通过加速度传感器23、驱动器24和手抖动防止处理部27来实现。
下面，参照图3和图4，对上述便携终端20的具体处理进行说明。图3是表示本发明实施例的便携终端20的处理的流程图。
在步骤S301中，切换控制部28根据加速度传感器23的加速度值，判断便携终端20的状态(是否为手持状态)。例如，预先将规定的加速度值设为阈值，当加速度传感器23检测出的加速度为阈值以下时，判断便携终端20为手持状态，而在加速度为阈值以上时，判断便携终端20为非手持状态。然后，切换控制部28将处理转入步骤S302。
在步骤S302中，切换控制部28，在步骤S301中的检测结果为手持状态的情况下，将处理转入步骤S303，在步骤S301中的检测结果为非手持状态 的情况下，将处理转入步骤S305。
另外，本实施例的切换控制部28具有：在判断便携终端20的状态时所使用的判断处理模式，以及在选择对拍摄图像进行的图像处理时所使用的图像处理模式。
判断处理模式包括以下3个模式：表示便携终端20为手持状态的手持模式；表示尽管检测出便携终端20略有抖动而仍为手持状态的准手持模式；表示便携终端20为固定状态的固定模式。
另外，图像处理模式包括以下2个模式：根据判断处理模式的各模式，表示判断便携终端20为手持状态的手持模式；根据判断处理模式的各模式，表示判断便携终端20为非手持状态(固定状态)的固定模式。
这些判断处理模式和图像处理模式，存储在便携终端20所具备的存储器等中。另外，CPU根据需要参照或者进行模式的写入。
在步骤S303中，切换控制部28将判断模式切换为手持模式。然后，将处理转入步骤S304。在步骤S304中，切换控制部28将图像处理模式切换为手持模式。
另一方面，在步骤S305中，在当前的判断处理模式为手持模式的情况下，切换控制部28将处理转入步骤S306，记录时刻，并且将判断处理模式转入准手持模式。
另外，在步骤S305中，在当前的判断处理模式为非手持模式的情况下，切换控制部28将处理转入步骤S307。另外，在当前的判断处理模式为固定模式的情况下，切换控制部28将处理转入步骤S308，保持当前的判断模式(不进行变更)。
在步骤S309中，切换控制部28检查准手持模式是否保持了一定时间。并且，在准手持模式的状态未经过一定时间的情况下，将处理转入步骤S310，保持当前的判断模式(不进行变更)。
另外，在步骤S309中，在准手持模式的状态经过了一定时间的情况下，切换控制部28将处理转入步骤S311，将判断模式变更为固定模式。然后，在步骤S312中，切换控制部28将图像模式切换为固定模式。
在通过以上的步骤S301～S312的处理确定图像处理模式后，切换控制部28将处理转入步骤S313。并且，对通过步骤S301～S312的处理确定的图 像处理模式进行检查。下面，进行与图像处理模式相对应的处理。
在步骤S313中，切换控制部28检查图像处理模式。然后，在图像处理模式为手持模式的情况下，将处理转入步骤S314。另外，在图像处理模式为固定模式的情况下，将处理转入步骤S316。
在步骤S314中，手抖动防止处理部27，从加速度传感器23取得传感器值(加速度值)。然后，根据该传感器值算出手抖动量。另外，本实施例中的手抖动量使用如下的值，即，根据传感器值计算出摄像元件(例如，摄像头21的CCD)上的纵向和横向上的移动距离，将这些移动距离转换为像素数而得到的值。
在结束手抖动量的计算后，手抖动防止处理部27将处理转入步骤S315。
在步骤S315中，手抖动防止处理部27，基于在步骤S314中计算出的手抖动量进行拍摄图像的修正。在本实施例中，例如，剪切以从拍摄图像的中心沿纵向或横向只偏移了相当于手抖动量的距离的位置为中心的规定范围，生成新的拍摄图像(手抖动修正后的拍摄图像)。另外，可以根据需要对新的拍摄图像进行放大/缩小。
另一方面，在步骤S316中，脸识别处理部25，对拍摄图像中所拍摄到的人物的脸进行识别，计算脸的位置和尺寸。本实施例的脸识别处理，例如，可以在抽出亮度较高的部分并确定人物的眼的位置(脸的位置)之后，根据眼的间隔确定脸的尺寸，也可以在对拍摄图像实施了轮廓强调的处理后，通过与预先准备的多个脸的形状(轮廓)分别进行比较，确定人物的脸。
在脸识别处理结束后，脸识别处理部25将处理转入步骤S317。
在步骤S317中，脸剪切处理部26，根据在步骤S316中所确定的脸的位置，计算出形成半身像的图像范围，剪切该图像而生成新的拍摄图像(剪切了人物脸部的拍摄图像)。另外，可以根据需要对新的拍摄图像进行放大/缩小。
实施了上述的手抖动修正处理或者图像剪切处理的拍摄图像，经由编码器29被发送到电视电话控制部30。然后，处理转入步骤S318。
在步骤S318中，电视电话控制部30，将通过步骤S314～S315实施了手抖动修正处理或者通过步骤S316～S317实施了图像剪切处理的拍摄图像作为自画像数据，经由数据通信部31发送给通信对象。
图4是说明本发明实施例的便携终端20的状态和各状态中的拍摄图像的图。
在图4中，(a)表示手持模式时的情况，(b)表示此时的拍摄图像，(c)表示手抖动修正处理后的拍摄图像；(d)表示固定模式时的情况，(e)表示此时的拍摄图像，(f)表示图像剪切处理后的拍摄图像。
手持模式时的情况(a)，表示了图3所示的图像处理模式为手持模式时的情况。即，表示如下情况：用户40(或者被摄体40，以下根据需要称为用户40或者被摄体40)手持便携终端20，将便携终端20与自己的脸保持一定距离，进行使用电视电话功能的通信。
拍摄图像(b)，表示了在图像处理模式为手持模式时所拍摄的拍摄图像(手抖动修正处理前的拍摄图像)的例子。该拍摄图像(b)由于是在用户手持便携终端20的状态(手持状态)下拍摄的，因此在拍摄图像中产生了手抖动42(显示在被摄体40的轮廓部上的粗线)。
通过手抖动防止处理部27对该拍摄图像(b)实施手抖动修正处理，从而能够得到拍摄图像(c)。该拍摄图像(c)为手抖动修正处理后的拍摄图像，表示经由编码器29、电视电话控制部30和数据通信部31被发送给通信对象的拍摄图像。该拍摄图像(c)消除了在被摄体40的轮廓部上产生的手抖动42。
固定模式时的情况(d)，表示了图3所示的图像处理模式为固定模式时的情况。即，表示了如下情况：将便携终端20固定在桌子之上等位置，使便携终端20与自己的脸保持一定距离，进行使用电视电话功能的通信。此时，便携终端20与被摄体40之间的距离，比图像处理模式为手持模式时大。
拍摄图像(e)，表示在图像处理模式为固定模式时所拍摄的拍摄图像(图像剪切处理前的拍摄图像)的例子。该拍摄图像(e)，与图像处理模式为手持模式时(手持状态)相比，由于便携终端20与被摄体40之间的距离大，因此被摄体40的脸相对于拍摄图像整体的比例小。
通过脸识别处理部25和脸剪切处理部26对该拍摄图像(e)实施图像剪切处理，从而能够获得拍摄图像(f)。该拍摄图像(f)为图像剪切处理后的拍摄图像，表示经由编码器29、电视电话控制部30和数据通信部31发送给通信对象的拍摄图像。该拍摄图像(f)为拍摄到拍摄图像(e)中的被摄 体40的半身像。
如上所述，本实施例的拍摄图像处理切换装置10，通过切换控制部28，根据加速度传感器23的传感器值，检测便携终端20的状态。
然后，在便携终端20为手持状态的情况下，对通过摄像头21所拍摄的拍摄图像，通过手抖动防止处理部27开始进行手抖动修正处理，并且停止通过脸识别处理部25和脸剪切处理部26进行的图像剪切处理。
另外，在便携终端20为非手持状态的情况下，对通过摄像头21所拍摄的拍摄图像，通过脸识别处理部25和脸剪切处理部26开始进行图像剪切处理，并且停止通过手抖动防止处理部27进行的手抖动修正处理。
这样，切换控制部28根据便携终端20的状态进行控制，以便仅执行必要的功能，从而具有降低消耗功率的效果。
另外，由于不必同时进行手抖动修正处理和图像剪切处理等对便携终端而言负荷较大的处理，因此与现有技术相比，即使在使用处理能力较低的CPU的情况下，也能够根据便携终端20的状况，提供最适合的电视电话功能。另外，通过使用处理能力较低的CPU，能够以较低的成本，根据便携终端20的状况，提供最佳的电视电话功能。
另外，将因只进行便携终端的各状态所需要的图像处理而产生的富余的处理能力，分配给手抖动修正处理，从而也能够改善手持状态时的拍摄图像的画质。
另外，对于本实施例的便携终端20，以具有电视电话功能的便携电话为例进行了说明，但是对于其他的具有电视电话功能的便携终端，当然也能够获得同样的效果。
在以上的说明中，在本实施例中将加速度传感器23用作手持状态检测单元12，但是不限于此。例如，也可以使用电容式传感器或者通电传感器等，检测便携终端20的手持状态。

Claims (10)

1.一种电视电话功能的拍摄图像处理切换装置，用于具有电视电话功能的便携终端中，其特征在于，具有：
图像剪切单元，其用于在上述便携终端具有的摄像头所得到的拍摄图像中对拍摄对象进行识别，剪切包含该识别出的拍摄对象的规定范围的图像；
手持状态检测单元，其在使用上述电视电话功能进行通信时，检测上述便携终端处于手持状态；
切换单元，其在上述便携终端处于手持状态时，使上述图像剪切单元停止图像剪切处理，并使数据通信部发送上述拍摄图像，在上述便携终端处于非手持状态时，使数据通信部发送上述图像剪切单元所剪切的上述规定范围的图像。
2.如权利要求1所述的电视电话功能的拍摄图像处理切换装置，其特征在于，
还具有手抖动防止单元，该手抖动防止单元检测上述便携终端的手抖动引起的手抖动量，根据该手抖动量来对上述拍摄图像进行手抖动修正，
上述切换单元在上述便携终端处于手持状态时，使上述手抖动防止单元执行手抖动修正，在该便携终端处于非手持状态时，使上述手抖动防止单元停止进行手抖动修正。
3.如权利要求1所述的电视电话功能的拍摄图像处理切换装置，其特征在于，
上述切换单元具有由3种模式构成的判断模式，该3种模式分别为使上述图像剪切单元停止图像剪切处理并使数据通信部发送上述拍摄图像的手持模式、准手持模式和使数据通信部发送上述图像剪切单元所剪切的上述规定范围的图像的固定模式，
在处于上述固定模式的情况下，当检测出上述便携终端处于手持状态时，转入到上述手持模式，
在处于上述手持模式的情况下，当检测出上述便携终端处于非手持状态时，转入到上述准手持模式，
在处于上述准手持模式的情况下，当检测出上述便携终端只在规定时间内处于非手持状态时，转入到上述固定模式。
4.如权利要求1所述的电视电话功能的拍摄图像处理切换装置，其特征在于，
还具有手抖动防止单元，该手抖动防止单元检测上述便携终端的手抖动引起的手抖动量，根据该手抖动量来对上述拍摄图像进行手抖动修正，
上述切换单元具有由3种模式构成的判断模式，该3种模式分别为手持模式、准手持模式和固定模式，
在处于固定模式的情况下，当检测出上述便携终端处于手持状态时，转入到手持模式，并使上述手抖动防止单元执行手抖动修正，
在处于手持模式的情况下，当检测出上述便携终端处于非手持状态时，转入到准手持模式，
在处于准手持模式的情况下，当检测出上述便携终端只在规定时间内处于保持手持状态时，转入到固定模式，并使上述手抖动防止单元停止进行手抖动修正。
5.如权利要求1所述的电视电话功能的拍摄图像处理切换装置，其特征在于，上述手持检测单元使用加速度传感器、电容式传感器和通电传感器中的任意一种。
6.一种电视电话功能的拍摄图像处理切换方法，用于具有电视电话功能的便携终端中，其特征在于，
在使用上述电视电话功能进行通信时，检测上述便携终端处于手持状态，
在上述便携终端处于手持状态时，停止图像剪切处理，并使数据通信部发送上述便携终端具有的摄像头所得到的拍摄图像，该图像剪切处理是指，在上述便携终端具有的摄像头所得到的拍摄图像中对拍摄对象进行识别，剪切包含该识别出的拍摄对象的规定范围的图像，
在上述便携终端处于非手持状态时，使数据通信部发送通过上述图像剪切处理来剪切的规定范围的图像。
7.如权利要求6所述的电视电话功能的拍摄图像处理切换方法，其特征在于，
在上述便携终端处于手持状态时，执行手抖动防止处理，该手抖动防止处理是指，检测上述便携终端的手抖动引起的手抖动量，根据该手抖动量对上述拍摄图像进行手抖动修正的处理，
在上述便携终端处于非手持状态时，停止通过上述手抖动防止处理进行的手抖动修正。
8.如权利要求6所述的电视电话功能的拍摄图像处理切换方法，其特征在于，
具有由3种模式构成的判断模式，该3种模式分别为停止上述图像剪切处理并使数据通信部发送上述拍摄图像的手持模式、准手持模式和使数据通信部发送通过上述图像剪切处理来剪切的上述规定范围的图像的固定模式，
在处于上述固定模式的情况下，当检测出上述便携终端处于手持状态时，转入到上述手持模式，
在处于上述手持模式的情况下，当检测出上述便携终端处于非手持状态时，转入到上述准手持模式，
在处于上述准手持模式的情况下，当检测出上述便携终端只在规定时间内处于非手持状态时，转入到上述固定模式。
9.如权利要求6所述的电视电话功能的拍摄图像处理切换方法，其特征在于，
具有由3种模式构成的判断模式，该3种模式分别为手持模式、准手持模式和固定模式，
在处于固定模式的情况下，当检测出上述便携终端处于手持状态时，转入到手持模式，并执行手抖动防止处理，该手抖动防止处理是指，检测上述便携终端的手抖动引起的手抖动量，根据该手抖动量对上述拍摄图像进行手抖动修正的处理，
在处于手持模式的情况下，当检测出上述便携终端处于非手持状态时，转入到准手持模式，
在处于准手持模式的情况下，当检测出上述便携终端只在规定时间内处于手持状态时，转入到固定模式，并停止通过上述手抖动防止处理进行的手抖动修正。
10.一种便携终端，是具有电视电话功能的便携终端，其特征在于，具有：
摄像头，用于拍摄该电视电话功能所需的图像；
图像剪切单元，其用于在该摄像头所得到的拍摄图像中对拍摄对象进行识别，剪切包含该识别出的拍摄对象的规定范围的图像；
手持状态检测单元，其在使用上述电视电话功能进行通信时，检测上述便携终端处于手持状态，
切换单元，其在上述便携终端处于手持状态时，使上述图像剪切单元停止图像剪切处理并使数据通信部发送上述拍摄图像，在上述便携终端处于非手持状态时，使数据通信部发送上述图像剪切单元所剪切的上述规定范围的图像。
CN2005800524379A 2005-12-28 2005-12-28 电视电话功能的拍摄图像处理切换装置 Expired - Fee Related CN101346990B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/024127 WO2007077614A1 (ja) 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置

Publications (2)

Publication Number Publication Date
CN101346990A CN101346990A (zh) 2009-01-14
CN101346990B true CN101346990B (zh) 2011-07-27

Family

ID=38227981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800524379A Expired - Fee Related CN101346990B (zh) 2005-12-28 2005-12-28 电视电话功能的拍摄图像处理切换装置

Country Status (5)

Country Link
US (1) US8063938B2 (zh)
JP (1) JP4448177B2 (zh)
KR (1) KR101006668B1 (zh)
CN (1) CN101346990B (zh)
WO (1) WO2007077614A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7986336B2 (en) * 2006-11-27 2011-07-26 Eastman Kodak Company Image capture apparatus with indicator
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2010024415A1 (ja) * 2008-08-28 2010-03-04 京セラ株式会社 通信機器
JP2010154070A (ja) * 2008-12-24 2010-07-08 Olympus Imaging Corp カメラ
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
JP2012068713A (ja) 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8683054B1 (en) * 2011-08-23 2014-03-25 Amazon Technologies, Inc. Collaboration of device resources
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
EP2909699A1 (en) * 2012-10-22 2015-08-26 VID SCALE, Inc. User presence detection in mobile devices
EP2739044B1 (en) 2012-11-29 2015-08-12 Alcatel Lucent A video conferencing server with camera shake detection
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) * 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
CN104580874B (zh) * 2013-10-22 2019-12-13 中兴通讯股份有限公司 一种摄像设备及其实现拍照的方法
CN105282481B (zh) * 2014-07-18 2018-08-03 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
US10917571B2 (en) 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
JP7335463B1 (ja) 2023-01-31 2023-08-29 セーフィー株式会社 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
CN1333632A (zh) * 2000-05-22 2002-01-30 松下电器产业株式会社 图像通信终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JPH10150597A (ja) 1996-11-18 1998-06-02 Sony Corp ビデオカメラ
JPH11266391A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2000156849A (ja) * 1998-06-29 2000-06-06 Toshiba Corp 携帯情報端末装置
JP2002051316A (ja) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd 画像通信端末
US6614994B2 (en) * 2000-08-02 2003-09-02 Nikon Corporation Shake detection device, optical device, camera system, and interchangeable lens
JP2004015367A (ja) * 2002-06-06 2004-01-15 Nikon Corp 電子カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
CN1333632A (zh) * 2000-05-22 2002-01-30 松下电器产业株式会社 图像通信终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2004-15367A 2004.01.15
JP特开平10-51755A 1998.02.20
JP特开平11-266391A 1999.09.28

Also Published As

Publication number Publication date
KR101006668B1 (ko) 2011-01-10
JP4448177B2 (ja) 2010-04-07
WO2007077614A1 (ja) 2007-07-12
US20090002478A1 (en) 2009-01-01
CN101346990A (zh) 2009-01-14
KR20080081037A (ko) 2008-09-05
JPWO2007077614A1 (ja) 2009-06-04
US8063938B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
CN101346990B (zh) 电视电话功能的拍摄图像处理切换装置
US11860511B2 (en) Image pickup device and method of tracking subject thereof
US20230224179A1 (en) Mobile information terminal
EP2395765A2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
CN107589846A (zh) 场景切换方法、装置及电子设备
CN100521695C (zh) 操作具有集成照相装置的移动通信终端的设备和方法
KR20170033805A (ko) 사람 얼굴 인식 방법, 장치 및 단말
CN102014198A (zh) 具有拍摄控制功能的移动终端和拍摄控制系统
US8803997B2 (en) Method and device for controlling remote capturing of an image based on detection of a predetermined change in the image
US6628320B2 (en) Communication device having an image transmission function
US20150281476A1 (en) Non-Transitory Computer-Readable Storage Medium Storing Program, Terminal Device and Method
CN104679250B (zh) 控制电子设备工作状态的方法及装置
CN105827943A (zh) 一种人眼的自拍方法及电子设备
JP2004220376A (ja) セキュリティ管理方法およびシステム、プログラム、記録媒体
JP2000156849A (ja) 携帯情報端末装置
KR100413267B1 (ko) 얼굴의 특정부위 인식을 이용한 카메라의 자동 추적장치를구비하는 이동통신 단말기
CN111768785A (zh) 一种智能手表的控制方法及智能手表
US6982748B2 (en) Automatically switched camera system with indicator for notifying the next subject of the camera system
KR101247780B1 (ko) 안구 감지 기능이 구비된 이동 통신 단말기 및 그 화면처리 방법
KR20070117104A (ko) 휴대용 단말기에서 이미지 합성 장치 및 방법
JP7286838B2 (ja) 携帯情報端末
JP6203007B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006238033A (ja) 電子機器
WO2021130986A1 (ja) 映像表示装置及び映像表示方法
KR101364832B1 (ko) 카메라의 프리뷰 화면 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110727

Termination date: 20191228

CF01 Termination of patent right due to non-payment of annual fee