CN112219393A - 便携信息终端 - Google Patents

便携信息终端 Download PDF

Info

Publication number
CN112219393A
CN112219393A CN201880094250.2A CN201880094250A CN112219393A CN 112219393 A CN112219393 A CN 112219393A CN 201880094250 A CN201880094250 A CN 201880094250A CN 112219393 A CN112219393 A CN 112219393A
Authority
CN
China
Prior art keywords
image
user
face
portable information
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880094250.2A
Other languages
English (en)
Inventor
清水宏
小野裕明
桥本康宣
吉泽和彦
高见泽尚久
益冈信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN112219393A publication Critical patent/CN112219393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种能够以更好的易用性实现免提状态的视频电话的技术。便携信息终端1具有视频电话功能，在平板形状的壳体的设置有显示屏幕DP的正面s1的规定位置(点PC1)，设置有包括广角镜头的第一摄像机(前置摄像头C1)。在第一用户(用户A)使用视频电话功能与对方的第二用户之间进行视频电话时，以壳体平放地配置在物体的第一面(水平面s0)上、且第一用户的脸部包含在前置摄像头C1的视角AV1的范围内的状态作为第一状态。在第一状态下，从前置摄像头C1拍摄的广角图像中，检测包括第一用户的脸部的第一区域，并裁剪出与第一区域对应的第一图像，基于第一图像，生成用于向对方终端发送的发送图像，将发送图像发送到对方终端。

Description

便携信息终端
技术领域
本发明涉及智能手机等便携信息终端的技术，尤其涉及视频电话(Video phone)功能。
背景技术
近年来，智能手机和平板终端等便携信息终端随着小型化——将器件高密度地安装在1个大致平板形状的壳体中——的进展，功能的多样化和先进化也得到了发展。作为这些功能，可以举出电视接收功能、数字摄像机功能、视频电话功能等。尤其是，例如通过Skype(注册商标)等应用程序和服务，便携信息终端的视频电话功能已能够方便地使用。
另外，作为便携信息终端的数字摄像机功能，有时包括在壳体主面的显示屏幕所处的一侧即正面设置的摄像机(也称为前置摄像头)，和在与正面相反的一侧即背面设置的摄像机(也称为后置摄像头)。
用户在使用便携信息终端进行视频电话(有时记作“通话”)时，使用能够拍摄到用户自身的一侧的正面的前置摄像头。便携信息终端在显示屏幕上显示从视频电话通话方的终端接收的对方的图像，并将前置摄像头拍摄到的用户自身的图像发送至对方的终端。因此，通常用户例如需要将一只手中握持的便携信息终端的正面保持在正对着自已的脸和视线的位置，例如接近于壳体铅垂竖立的状态的位置。该情况下，用户双手无法自由动作。
用户在使用便携信息终端进行视频电话时，存在想要使双手可自由动作(有时记作“免提(即，免手持)”)的情况。该情况下，例如在将便携信息终端的壳体放置于桌面等水平面上的状态下，用户通过采用在垂直方向上使脸部面对显示屏幕和前置摄像头的位置关系，能够免提(hands-free)地进行视频电话。
作为关于上述便携信息终端和视频电话功能的现有技术例，可以举出日本特开2005-175777号公报(专利文献1)、日本特开2007-17596号公报(专利文献2)。专利文献1针对便携式电话机，记载了将电话放置于桌上时提高用户对电话的可视性，以及能够通过改变电话机本体的形状来支持免提视频电话。专利文献2针对便携终端装置记载了，基于终端本体的摄像机拍摄到的图像来取得使用者的脸部信息，掌握脸部的朝向与本体的方向的相对位置关系，来决定显示屏幕上要显示的信息的方向。
现有技术文献
专利文献
专利文献1：日本特开2005-175777号公报
专利文献2：日本特开2007-17596号公报
发明内容
发明要解决的技术问题
用户在使用便携信息终端进行视频电话时，若处于双手并不自由的通常状态(有时记作“非免提”)，存在便利性不够的情况。例如，用户不能在用双手操作PC的同时进行通话，或者难以一边向通话方展示资料等某种物体一边进行通话。
在用户使用便携信息终端进行视频电话时，若要实现双手自由的免提状态，例如需要采用一种难以做到的姿势，构成使脸部与平放在桌面等水平面上的壳体面对的位置关系，不具有较好的易用性。或者，通过在桌面等水平面上使用固定器具将壳体倾斜配置，也能够实现免提状态，但由于需要固定器具，缺乏便利性。或者，如果使用折叠式或分离式等具有姿态可变形的结构的便携信息终端，能够实现同样的免提状态，但无法应用于由1个大致平板形状的壳体构成的便携信息终端的情况。
本发明的目的涉及具有视频电话功能的便携信息终端的技术，以该便携信息终端的壳体为大致平板形状、且不具有可变形的特殊结构为前提，提供一种能够以更好的易用性实现免提状态的视频电话的技术。
解决问题的技术手段
本发明的有代表性的实施方式提供一种便携信息终端，其特征在于具有下述结构。其中，一个实施方式的便携信息终端具有视频电话功能，在平板形状的壳体的设置有显示屏幕的正面的规定位置，设置有包括广角镜头的第一摄像机，在第一用户使用所述视频电话功能与对方的第二用户之间进行视频电话时，以所述壳体平放地配置在物体的第一面上、且所述第一用户的脸部包含在所述第一摄像机的第一视角的范围内的状态作为第一状态，在所述第一状态下，从所述第一摄像机拍摄的广角图像中，检测包括所述第一用户的脸部的第一区域，并裁剪出与所述第一区域对应的第一图像，基于所述第一图像，生成用于对所述第二用户的便携信息终端即对方终端发送的发送图像，将所述发送图像发送到所述对方终端。
发明效果
根据本发明的有代表性的实施方式，能够以更好的易用性实现免提状态的视频电话。
附图说明
图1是表示包括本发明的实施方式1的便携信息终端的、通信系统和视频电话系统的结构的图。
图2是在使用实施方式1的便携信息终端以免提状态进行视频电话时，用户与终端的位置关系和终端的配置状态的图。
图3是表示实施方式1的便携信息终端的结构的图。
图4是表示实施方式1的便携信息终端的软件结构的图。
图5是表示实施方式1的便携信息终端的摄像部的结构的图。
图6是表示实施方式1的便携信息终端的处理流程的图。
图7是表示实施方式1的便携信息终端的显示屏幕的例子的图。
图8是表示实施方式1的便携信息终端中，用普通摄像头从正面拍摄脸部得到的图像的例子的图。
图9是表示实施方式1的便携信息终端用前置摄像头得到的广角图像，和用前置摄像头进行脸部检测的例子的图。
图10是表示实施方式1的便携信息终端从广角图像进行裁剪的例子的图。
图11是表示实施方式1的便携信息终端的裁剪图像(矩形的情况)的例子的图。
图12是表示实施方式1的便携信息终端的裁剪图像的例子的图。
图13是表示实施方式1的便携信息终端中使用了广角镜头的模型和坐标系的例子的图。
图14是表示实施方式1的便携信息终端中的正像变换的图。
图15是表示实施方式1的便携信息终端中的梯形校正的图。
图16是表示实施方式1的便携信息终端的其他使用状态的第一例的图。
图17是表示实施方式1的便携信息终端的其他使用状态的第二例的图。
图18是表示实施方式1的便携信息终端的其他使用状态的第三例的图。
图19是表示与实施方式1对比的比较例的便携信息终端和实施方式1的其他视频电话模式下的、非免提状态时的位置关系等的图。
图20是表示本发明的实施方式2的便携信息终端的摄像部的结构的图。
图21是表示实施方式2的便携信息终端的用户与终端的位置关系等的图。
图22是表示实施方式的变形例的便携信息终端的拍摄处理和图像示例的图。
图23是表示实施方式的变形例的便携信息终端中，包含特定物体的图像的例子的图。
图24是表示实施方式的变形例的便携信息终端中，包含多个用户的脸部的图像的例子的图。
图25是表示实施方式的变形例的便携信息终端的对方图像修正功能的图像示例的图。
图26是表示使用与实施方式对比的比较例的便携信息终端，来实现以免提状态进行视频电话的情况下的状态的例子的图。
具体实施方式
下面基于附图详细说明本发明的实施方式。其中，在用于说明实施方式的全部图中，对同一部分原则上标注相同标记省略重复说明。作为说明上的方向，使用X方向、Y方向、Z方向。X方向、Y方向是构成水平面的2个正交的方向，Z方向是铅垂方向。X方向从尤其是用户看来为左右方向，Y方向从尤其是用户看来为前后方向。
[技术问题等]
对技术问题等进行补充说明。图26作为比较例，表示了使用现有的带视频电话功能的便携信息终端实现免提状态的情况下的使用状态的例子。(A)表示第一例，(B)表示第二例。在图26的(A)中，用户A使便携信息终端260的壳体处于平放在桌面等水平面s0上的状态。壳体的正面设置有显示屏幕和前置摄像头261。前置摄像头261的镜头配置在点p2的位置。前置摄像头261是具有普通视角(标准视角)的普通摄像头(标准摄像头)。用点p1代表用户A的脸和眼。从点p1出发的视线朝向铅垂下方。用户A以自身的脸和眼(点p1)位于与壳体正面的显示屏幕和前置摄像头261面对的位置的方式，采取弯曲颈部的姿势。在这样的状态下，用户A能够双手自由地进行视频电话。但是，因为姿势勉强，所以会对身体造成负担，不具有较好的易用性。
在图26的(B)中，用户A使用固定器具262，在桌面等水平面s0上将便携信息终端260的壳体固定、配置成正面倾斜的状态。从用户A的脸和眼(点p1)出发的视线的方向是斜下方。前置摄像头261(点p2)的光轴的方向是斜上方(例如45度左右的仰角)。在这样的状态下，用户A能够双手自由地进行视频电话。但是，不使用支架等固定器具262就不能实现这样的状态，因此用户A必须持有固定器具262等，导致缺乏通用性和便利性。
另外，如果不使用固定器具262，而是使用具有姿态可变形的结构的便携信息终端，能够实现同样的状态。例如，在专利文献1的技术中，通过使折叠式便携信息终端的形状变化，能够配置成使摄像头和显示屏幕面对用户的脸部。但是，在便携信息终端261由1个大致平板形状的壳体构成的情况下，因为完全不具有变形用的可动结构，所以无法应用这样的技术。
(实施方式1)
使用图1～图19，对本发明的实施方式1的便携信息终端进行说明。实施方式1的便携信息终端如后述图2所示，在用户使用该便携信息终端(有时简称终端)进行视频电话时，不需要用户手持保持壳体，可为免提状态。另外，在用户想要于免提状态下进行视频电话时，不需要考虑并花费工夫去配置以使便携信息终端的壳体(正面)的方向为面对用户脸部的方向。实施方式1的便携信息终端为了实现免提状态下的适宜的视频电话，如下所述具有摄像头等结构，并且规定了用户的脸部与终端的位置关系、终端的配置状态。
实施方式1的便携信息终端中，作为设置在壳体正面的前置摄像头(第一摄像机)，具有视角为广角的广角摄像头。该前置摄像头的光轴与壳体的正面垂直，在该正面与光轴所成的截面，具有例如180度左右(至少从30度到150度的角度范围)的规定的较广的视角(水平视角是360度)。
用户在免提状态下使用视频电话时，将大致平板状的壳体以正面的前置摄像头朝上的方式平放在桌面等大致水平面上。于是，形成这样的位置关系，即，从终端的前置摄像头的位置看来，用户的脸部位于斜上方的仰角的方向。而从用户的眼睛看来该位置关系是，壳体的显示屏幕和前置摄像头位于斜下方俯视的方向处。在该状态(第一状态)下，从前置摄像头拍摄人脸的拍摄方向和从用户的眼睛观看显示屏幕的方向，是大致相同或足够近似的方向。例如，这些方向相对于水平面的仰角为45度左右(例如是30度到60度的角度范围内的角度)。
在这样的位置关系、配置状态的情况下，在前置摄像头的图像(广角图像)内，用户的脸部出现在一部分区域(例如0度到90度的角度范围内的区域)中。便携信息终端能够使用该广角图像，捕捉包含用户的脸部的区域。便携信息终端从该广角图像中检测包含用户的脸部的区域，进行裁剪(截取)。
但是，在通过广角镜头得到的广角图像内，包含用户的脸部在内的整个广角图像会产生广角镜头特有的畸变(变形)。在将广角图像发送到对方的便携信息终端的情况下，对方用户可能难以根据该广角图像识别用户的脸孔等。因此，实施方式1的便携信息终端对该广角图像的包含脸部的区域进行畸变校正处理，由此得到消除或减小了畸变的平面化图像。从而，得到视觉上更易于观看的合适的发送图像。
便携信息终端1根据畸变校正后的包含用户A的脸部的图像，生成用于发送到视频电话通话方的终端的发送图像，将其发送至对方的终端。如上所述，使用实施方式1的便携信息终端，用户能够在免提状态下进行视频电话，具有良好的易用性。
[(1)通信系统和视频电话系统]
图1表示包括实施方式1的便携信息终端1的、通信系统和视频电话系统的整体结构。图1的通信系统和视频电话系统中，经由移动通信网101和互联网102，将第一用户(用户A)的便携信息终端1与第二用户(用户B)的便携信息终端2连接。在第一用户的便携信息终端1与第二用户的便携信息终端2之间进行视频电话的通信。基站103是构成移动通信网101的无线基站。便携信息终端1、2通过基站103与移动通信网101连接。接入点104是无线LAN等使用的用于无线通信的接入点装置。便携信息终端1、2通过接入点104与包括无线LAN等的互联网102连接。
便携信息终端1、2是智能手机等装置，都具备视频电话功能。第一用户的便携信息终端1是实施方式1的便携信息终端，具备涉及视频电话的特有的功能。用户A是进行视频电话的一方的通话者即第一用户，用户B是进行视频电话的另一方的通话者，即从用户A看来是通话对方的第二用户。下面以第一用户的便携信息终端1为主进行说明。用户B例如使用现有的带视频电话功能的便携信息终端2。第二用户的便携信息终端2也可以与第一用户的便携信息终端1同样地具有特有的视频电话功能。在视频电话通信时，在移动通信网101或互联网102上也可以经由提供关于视频电话功能的服务的服务器等。
[(2)视频电话的使用概要]
图2是表示在图1的用户A与用户B之间进行视频电话时，用户A使用便携信息终端1的概要、状况、方法的示意图。图2表示了在用户A进行免提状态的视频电话时，用户A的脸部与便携信息终端1的位置关系以及终端的配置状态。视频电话的使用概要如下所述。
(1)如图2所示，用户A在进行免提状态的视频电话时，将便携信息终端1的平板状的壳体，以正面s1的前置摄像头C1朝向铅垂上方的方式，平放在桌面等任意物体的水平面s0(X-Y面、第一面)上。壳体的背面s2与水平面s0接触因而被遮挡。便携信息终端1在纵长的壳体的正面s1上，主要设置有矩形的显示屏幕DP，在该显示屏幕DP的外周的边框区域，设置有摄像头、操作按钮、麦克风、扬声器等。该便携信息终端1在边框区域的顶边部的位置PC1，配置有前置摄像头C1(尤其是广角镜头部)。用户A在配置时将终端的壳体特别放置成，正面s1的前置摄像头C1(位置PC1)位于从用户A看来在Y方向上较远的远端方向Y1的位置。
用户A使自身的脸部和眼睛位于便携信息终端1的斜上方的位置。换言之，从用户A的眼睛(点P1)看来，便携信息终端1的显示屏幕DP(点PD)配置在斜下方的位置。将与用户A的头部、脸部或眼睛等对应的代表性的点称作点P1。在显示屏幕DP上，显示对方(用户B)的图像等(图7)。用户A观看显示屏幕DP内的对方的脸部图像等。方向J1表示从用户A的眼睛(点P1)观看终端的显示屏幕DP(点PD)的视线方向。角度θ1表示与方向J1对应的仰角(以水平面s0为基准0度)。角度θ1是30度到60度的范围内的角度，例如是45度左右。
在该状态下，从终端的前置摄像头C1当然能够在斜上方的仰角的方向上拍摄用户A的脸部和眼睛。前置摄像头C1的光轴是与正面s1垂直的方向(铅垂向上)，表示为方向J2。前置摄像头C1的视角AV1以光轴为中心具有较宽的角度范围，水平视角为360度，Y-Z截面上的视角为180度左右——尤其具有从第一角度ANG1到第二角度ANG2的角度范围。例如，第一角度ANG1为30度以下，第二角度ANG2为150度以上。
在该状态下，前置摄像头C1能够以广角的视角AV1拍摄用户A的脸部。即，该状态下，在前置摄像头C1的视角AV1内，尤其是在从第一角度ANG1到90度的角度范围内，包含与能够拍摄用户A的脸部的范围对应的视角AV2(脸部拍摄视角)。对应地，用户A的脸部会出现在前置摄像头C1的广角图像内的一部分区域。方向J3表示从前置摄像头C1(点PC1)捕捉用户A的脸部(点P1)的方向。角度θ3表示与方向J3对应的仰角。角度θ3例如是比45度略小的角度。
用户A的视线的方向J1与从前置摄像头C1拍摄脸部的方向J3处于足够接近的状态，角度θ1与角度θ3的角度差AD1足够小。因此，前置摄像头C1能够以可确认到用户A的视线的方向J3和视角AV2，来拍摄用户A的脸部。该方向差和角度差越小，则图像内的视线的状态越自然，所以更为理想。实施方式1的便携信息终端1因为使用前置摄像头C1的广角图像，所以在如图2所示的位置关系下，也能够如视角AV2那样捕捉到用户A的脸部。
(2)在图2的状态下，用户A能够观看便携信息终端1的显示屏幕DP上显示的对方的图像(图7)，同时进行视频电话(通话)。便携信息终端1经过扬声器输出从对方的便携信息终端2接收的声音。便携信息终端1将通过麦克风输入的用户A的声音发送至对方的便携信息终端2。
便携信息终端1从前置摄像头C1拍摄的广角图像中，检测包括用户A的脸部的区域，将其裁剪出来。便携信息终端1使用该裁剪后的图像，生成用于发送到对方的便携信息终端2的发送图像。不过，前置摄像头C1拍摄的广角图像虽然包含用户A的脸部，但存在由广角镜头带来的畸变。
于是，为了消除或减小畸变，便携信息终端1对裁剪后的图像进行畸变校正处理。便携信息终端1根据畸变校正后的图像，生成用于发送到对方的便携信息终端2的发送图像，和与发送图像对应的、用于确认用户A自身的脸部等的状态的监视图像。便携信息终端1将与发送图像对应的监视图像显示在显示屏幕DP内(图7)。在监视图像(和发送图像)内，用户A的视线的方向大致朝向正面。用户A能够在便携信息终端1的显示屏幕DP内观看并确认对方(用户B)的图像和用户A自身的监视图像。用户A也能够根据需要拒绝发送与监视图像对应的发送图像。
便携信息终端1向对方的便携信息终端2发送视频电话用的数据，该数据包括上述发送图像和通过麦克风输入的用户A的声音。在对方的便携信息终端2中，基于接收的数据，输出关于用户A的图像和声音，从而用户B能够与用户A进行视频电话。
[(3)便携信息终端]
图3表示实施方式1的便携信息终端1的结构。便携信息终端1包括控制器10、摄像部11、ROM14、RAM15、外部存储器16、麦克风17、扬声器18、总线19、显示部(触摸面板)21、LAN通信部22、移动网通信部23、以及加速度传感器31和陀螺仪传感器32等传感器类30等。
控制器10对便携信息终端1整体进行控制，对各部分发出指示等。控制器10基于视频电话应用来实现视频电话功能100。便携信息终端1的控制器10使用各部分和各功能，对视频电话功能100进行控制。控制器10由微处理器单元(MPU)等构成，按照ROM14中的程序对整个便携信息终端10进行控制。控制器10等各部分经由总线19(包括系统总线)与便携信息终端1内的各部分之间进行数据收发。
摄像部11包括前置摄像头C1、普通摄像头(后置摄像头)C2、拍摄处理部12、存储器13。如上述图2所示，在壳体的正面s1设置前置摄像头C1，在壳体的背面s2设置普通摄像头C2。前置摄像头C1由广角镜头、摄像传感器(摄像元件)、驱动电路等公知的要素构成。摄像传感器例如由CCD或CMOS传感器等构成。普通摄像头C2由普通镜头、摄像传感器、驱动电路等公知的要素构成。普通摄像头C2具有普通视角，该普通视角是比前置摄像头C1的广角镜头的视角AV1窄的视角。普通摄像头C2的光轴方向与前置摄像头C1的光轴相反。实施方式1的视频电话功能不使用普通摄像头C2。
拍摄处理部12是基于控制器10的控制，使用摄像头进行拍摄处理和图像处理的部分。实施方式1中，拍摄处理部12作为与控制器10不同的部件，例如由LSI等电路实现。但不限于此，拍摄处理部12也可以通过控制器10的程序处理等而一体地实现其部分或全部功能。脸部检测功能201等功能可以通过软件程序处理来实现全部或部分功能，也可以为了高速化等而用硬件电路等实现。存储器13是保存拍摄处理所涉及的图像数据等的存储器。
在拍摄处理部12中，作为公知的功能和处理部，具有自动对焦功能、放大缩小功能、编解码部、画质改善处理部、角度/旋转校正部等。自动对焦功能是使摄像机的焦点自动地对准到拍摄对象物上的功能。放大缩小功能是使图像的对象物放大或缩小的功能。编解码部是对拍摄得到的图像或动态图像进行压缩和解压缩的处理部。画质改善处理部是用于去噪等改善拍摄图像的画质的处理部。角度/旋转校正部是基于拍摄图像进行角度校正和旋转校正的处理部。
麦克风17采集包括用户A的声音在内的终端周围的声音，得到声音数据。扬声器18输出包括通话对方(用户B)的便携信息终端2的视频电话语音在内的声音。
显示部21具有图2的显示屏幕DP，尤其是液晶触摸面板等触摸面板，能够由用户进行触摸输入操作。在显示屏幕DP上显示拍摄图像和其他各种信息。
LAN通信部22进行与互联网102上的通信——包括与图1的接入点104的无线LAN通信——对应的通信处理。移动网通信部23进行与移动网101上的通信——包括与图1的基站103的无线通信——对应的通信处理。
传感器类30包括加速度传感器31、陀螺仪传感器32、未图示的GPS接收器、接近传感器、照度传感器、温度传感器等公知的传感器装置。控制器10使用传感器类30的检测信息，检测便携信息终端1的方向和运动等。控制器10使用传感器类30也能够掌握便携信息终端1是否被用户A手持，是否如图2所示处于平放在水平面s0上等状态。
在拍摄处理部12中，作为由程序或电路等实现的功能，具有脸部检测功能201、裁剪功能202、畸变校正功能203。拍摄处理部12的拍摄处理和功能的概要如下。拍摄处理部12在使用前置摄像头C1进行拍摄的摄像模式下，输入前置摄像头C1拍摄的图像即广角图像。实施方式1中，能够用前置摄像头C1拍摄动态图像(时序的多个图像帧)，拍摄处理部11对该动态图像进行处理。但不限于此，也可以将前置摄像头C1的图像视作按规定时序得到的静止图像。
拍摄处理部12利用脸部检测功能201从广角图像中检测包含用户A的脸部的区域。拍摄处理部12利用裁剪功能202从广角图像中裁剪包含用户A的脸部的区域。拍摄处理部12利用畸变校正功能203对裁剪图像进行畸变校正处理。拍摄处理部12将畸变校正后的图像保存在存储器13中。拍摄处理部12(或控制器10)根据校正后图像生成用于发送到对方的便携信息终端2的发送图像和供自己确认用的监视图像。
便携信息终端1的控制器10(视频电话功能100)生成将用户A的发送图像与从麦克风17输入的用户A的声音数据汇总得到的视频电话用的数据。控制器10使用LAN通信部22或移动网通信部23等将该数据发送至对方的便携信息终端2。对方的便携信息终端2接收该数据，将其中的发送图像显示在显示屏幕上，并输出声音。
控制器10(视频电话功能100)通过LAN通信部22或移动网通信部23从对方的便携信息终端2接收视频电话用的数据(包括对方图像和声音)。控制器10将接收的数据中的对方图像显示在显示屏幕DP内，并且显示用户A的监视图像。控制器10从扬声器18输出对方的声音。
[(4)软件结构]
图4表示便携信息终端1的软件结构。ROM14中保存有OS和中间软件等基本动作程序14a以及其他应用程序等。ROM14例如使用EEPROM或闪存ROM等可擦写的ROM。能够通过通信等适当地进行ROM14的程序更新，并且能够进行版本升级和功能扩展等。ROM14也可以与控制器10构成为一体。
RAM15被用作基本动作程序14a和视频电话应用程序16b等执行时的工作区域。RAM15也包括在各种程序执行时根据需要临时地保持数据和信息的临时存储区域15c。控制器10(MPU)将ROM14的基本动作程序14a加载到RAM15，执行遵循该程序的处理。由此，在RAM15中构成基本动作执行部15a。同样地，随着视频电话应用程序16b的处理，在RAM15中构成视频电话处理执行部15b。临时存储区域15c中存储关于视频电话功能100的处理用的数据，例如也存储便携信息终端1的位置和姿态的状态等信息。
外部存储器16中保存有拍摄程序16a和视频电话应用程序16b等程序，并且也具有数据存储区域16c，用于保存拍摄处理部12拍摄的图像和关于各种处理的数据和信息。外部存储器16由未供电状态下也能够保持数据的非易失性存储装置构成，例如使用闪存ROM或SSD等。数据存储区域16c中例如也保存便携信息终端1的功能和动作的设定值。各种程序也可以保存在ROM14或其他非易失性存储装置等中。便携信息终端1也可以从外部的服务器装置等取得程序和信息。
拍摄程序16a对摄像部11的拍摄处理部12进行拍摄控制处理。该拍摄控制处理包括不限于视频电话的一般性的摄像拍摄的控制处理、和视频电话用的拍摄控制处理。拍摄程序16a被加载到RAM15或拍摄处理部12内，构成执行部。
控制器10(MPU)对拍摄处理部12指示摄像模式、摄像头开始或结束拍摄动态图像、拍摄详细设定(例如对焦、曝光)等。摄像模式是表示使用多个摄像头中的任意个进行拍摄的模式。
基于视频电话应用程序16b而构成的视频电话处理执行部15b，进行与视频电话功能100对应的处理。控制器10(MPU)在实现视频电话功能100时，对拍摄处理部12的各功能进行控制，并且对相关各部分进行控制。
[(5)摄像部、拍摄处理部]
图5表示摄像部11、拍摄处理部12、存储器13的详细结构。拍摄处理部12的脸部检测功能201包括个人识别功能201B。畸变校正功能203进行的处理包括正像变换处理203A、梯形校正处理203B、像差校正处理203C等。存储器13中存储有登记图像D10、校正后图像D11、发送图像D12、监视图像D13等的数据。存储器13临时地保持拍摄图像数据，并且也被用作关于各功能的处理的工作区域。存储器13也可以位于拍摄处理部12内。拍摄处理部12的处理概要如下。
(1)首先，前置摄像头C1拍摄的广角图像(数据D1)被输入至拍摄处理部12的脸部检测功能201。脸部检测功能201根据广角图像的数据D1，基于图像处理检测包含用户A的脸部的区域。在脸部检测功能201中，例如从广角图像内提取特征点组，检测眼、耳、鼻、口等，并且基于像素的颜色和亮度的差来检测脸和头的轮廓。由此，如后述的图9所示，能够检测脸部区域B1等。从脸部检测功能201输出广角图像和检测结果的数据D2。
另外，个人识别功能201B根据脸部图像，识别是否是特定用户A个人的脸部。拍摄处理部12例如仅在检测出特定用户A个人的脸部的情况下，应用此后的处理。
(2)接着，裁剪功能202基于广角图像的数据D2进行处理，将与包含检测出的脸部的区域对应的裁剪区域裁剪出来，得到裁剪图像。从裁剪功能202输出该裁剪图像等的数据D3。裁剪的方法例如是，以检测出的脸部区域的中心点(点P1)为基准，裁剪规定形状和尺寸的区域。另外，裁剪区域可以仅是脸部区域，也可以是头部区域，也可以是包括头及其周边的区域。裁剪区域的种类和尺寸能够通过用户设定功能进行变更。
(3)接着，畸变校正功能203基于数据D3进行处理，对裁剪图像中因广角镜头引起的畸变进行校正，使其成为具有无畸变的正像(即，正面观察的正常图像)的平面。畸变校正功能203首先对裁剪图像进行正像变换处理203A(图14)。由此，得到平面化的变换为无畸变的正像的图像(平面化图像)，输出包括该平面化图像的数据D4。
畸变校正功能203接着对平面化图像的数据D4进行梯形校正处理203B(图15)。由此，得到将梯形形状的图像内容变换为直角四边形状的图像内容的图像，输出其数据D5。通过梯形变换，能够将图像内容变换为具有更好的视觉效果。
畸变校正功能203接着通过像差校正处理203C，对数据D5进行用于校正除广角畸变以外的、因镜头系统的特性引起的各种像差的公知的处理。由此，得到校正后图像D11。例如，在镜头系统固定的情况下，预先在产品出厂时，将镜头系统校正参数D14例如保存在存储器13中。镜头系统校正参数D14是像差校正用的设定信息和初始值等，其设定可以是可调的。像差校正处理203C能够参照该镜头系统校正参数D14。
通常，正像变换处理203A后的图像的状态，已经是用户A的脸部的状态看起来足够自然的状态(至少能够用于视频电话的状态)。因此，也可以省略梯形变换处理203B和像差校正处理203C。另外，畸变校正功能203进行的处理无需按该顺序进行，也可以按任意顺序进行处理。另外，也可以取决于条件的不同，控制成不进行特定处理。
(4)畸变校正功能203校正得到的校正后图像D11被保存在存储器13中。校正后图像D11中，广角图像引起的畸变和镜头的像差被消除或减小，成为用户能够较少感到不自然地识别出人脸等的程度的图像。拍摄处理部12或控制器10(视频电话功能100)使用校正后图像D11，生成用于发送到对方(用户B)的发送图像D12和供自己确认用的监视图像D13。控制器10使用发送图像D12和通过麦克风17输入的声音，生成视频电话用的数据。
发送图像D12例如是以符合对方的便携信息终端2要求的图像尺寸(显示屏幕尺寸等)的方式，适当地实施了剪切和放大/缩小等的图像。监视图像D13是以符合显示屏幕DP内的监视图像显示用区域(图7的区域R2)的尺寸等的方式，适当地实施了剪切和放大/缩小等的图像。
(5)控制器10将监视图像D13显示在显示屏幕DP内的区域内。控制器10在用户A对监视图像D13经过确认的结果是肯定(允许发送)的情况下，将包括发送图像D12的数据经由通信部发送至对方的便携信息终端2。
(6)另外，拍摄处理部12在未能通过脸部检测功能201检测出用户A的脸部的情况下，以及在用户A确认了监视图像D13后接收到拒绝发送的指示等的情况下，使用登记图像D10生成发送图像D12。登记图像D10包括用户A的脸部图像。
拍摄处理部12对每隔规定时间间隔的拍摄图像，同样地反复进行上述处理。此时，在某一时刻的图像中不能完全捕捉到用户A的脸部等情况下，可以使用过去最后能够检测出脸部的图像或者登记图像D10的脸部图像，来生成替代的发送图像D12。
[(6)处理流程]
图6表示便携信息终端1中的视频电话功能100的处理流程。图6的流程包括步骤S1～S13。以下按步骤顺序进行说明。
(S1)首先，在S1中，当用户A要进行视频电话时(由自己呼叫对方的情况，或者从对方收到来电的情况)，便携信息终端1的控制器10(视频电话功能100)使本机的控制状态转移至视频电话模式。具体而言，例如在用户A想要与对方(用户B)进行视频电话的情况下，呼叫对方的电话号码。并随之启动视频电话应用程序16b(视频电话处理执行部15b)。控制器10在视频电话模式下，同时并行地控制前置摄像头C1的拍摄、麦克风17的声音输入、扬声器18的声音输出、显示部21的显示以及各种通信等。
此外，便携信息终端1能够响应于用户A作出的是进行语音电话(非视频电话)还是视频电话的选择操作，来转移至视频电话模式。例如，便携信息终端1在显示屏幕DP上显示语音电话或视频电话的选择按钮，根据选择操作来转移至对应的模式。便携信息终端1在视频电话模式中要使用前置摄像头C1，所以使摄像部11的摄像模式成为使用前置摄像头C1的模式。
进而，在实施方式1中，作为视频电话模式的详细内容，设置了普通模式(非免提模式)和免提模式这2种。普通模式(非免提模式)是与图19所示的状态对应的第一模式。免提模式是与图2所示的状态对应的第二模式。便携信息终端1按照用户A发出的规定的指示操作，或者基于传感器类30而自动地了解的终端状态，从这些模式中进行选择。例如，便携信息终端1可以在显示屏幕DP上显示普通模式和免提模式的选择按钮，根据选择操作来转移至对应的模式。或者，便携信息终端1也可以根据加速度传感器31等的检测信息，掌握(即，取得)用户A是否正手持壳体还是壳体被平放在水平面s0上等状态，与该状态相应地自动地决定模式。
本例中，用户A采用图2所示的免提状态(对应的免提模式)进行视频电话。用户A使便携信息终端1的壳体成为图2所示的状态，便携信息终端1选择免提模式。另外，在其他实施方式中，也可以不区分上述2种模式。
(S2)便携信息终端1掌握终端状态，并且在视频电话模式下使摄像部11成为使用前置摄像头C1的模式(前置摄像头模式)，开始拍摄。拍摄处理部12输入来自前置摄像头C1的动态图像。
(S3)便携信息终端1的拍摄处理部12从前置摄像头C1的广角图像中，通过脸部检测功能201检测包括用户A的脸部的区域(例如图9的区域B1)。
(S4)拍摄处理部12对S3中检测出的区域，通过裁剪功能202将包括脸部的规定区域作为裁剪区域(例如图10的裁剪区域TRM1)进行裁剪，得到裁剪图像(例如图12的图像GT1)。
(S5)拍摄处理部12对S4中得到的裁剪图像，通过畸变校正功能203实施畸变校正处理(正像变换处理203A)。并且，在畸变校正功能203中进行上述梯形校正处理203B和/或像差校正处理203C。由此，得到校正后图像D11(例如图12的图像GP1)。
(S6)拍摄处理部12(或控制器10)使用S5得到的校正后图像D11，生成发送图像D12和监视图像D13(例如图12的图像GP11、GP12)。
(S7)控制器10将从对方(用户B)的便携信息终端2接收的图像显示在显示屏幕DP内的区域(图7的区域R1)中。并且，控制器10将用户A的监视图像D13显示在显示屏幕DP内的区域(图7的区域R2)中。
(S8)控制器10向用户A确认是否能够以监视图像D13的脸部的状态作为对应的发送图像D12(有时记作“发送确认”)。例如，可以在显示屏幕DP内显示发送确认信息(例如“是否可以发送图像？”)和操作按钮(例如允许发送按钮、拒绝发送按钮)。用户A观看监视图像D13等，判断是否能够以该图像内容发送图像。例如，用户A按下显示屏幕DP内的允许发送按钮或拒绝发送按钮。在S8中允许发送的情况(“是”)下前进至S10，拒绝发送的情况(“否”)下前进至S9。用户A观看监视图像D13，例如在眼睛等的状态不自然的情况下，能够选择拒绝发送。
(S9)控制器10使用登记图像D10生成替代的发送图像D12。此时，控制器10也可以通过显示屏幕DP向用户A确认是否可以使用登记图像D10作为替代的发送图像D12。例如，在图7的监视图像显示用的区域R2中显示登记图像D10的脸部图像，并显示确认信息和操作按钮。
(S10)控制器10将包括发送图像D12等的视频电话用格式的数据，经由通信部发送至对方的便携信息终端2。
(S11)控制器10对用户A与用户B的视频电话的通话(包括声音的输入和输出、图像显示等)进行处理。其中，对于通话者的声音数据，可以独立于图像，与通常的电话的情况同样地随时收发。
(S12)控制器10确认视频电话是否结束。例如，用户A在要结束视频电话的情况下，按下结束按钮。或者，便携信息终端1从对方的便携信息终端2接收表示结束的信息。在视频电话结束的情况(“是”)下前进至S13，继续的情况(“否”)下返回S2。自S2起，通过循环来同样地反复进行每个时刻的处理。另外，通过循环来自动地追踪用户A的脸部。循环中的各处理，以尽可能不重复执行相同处理的方式，提高处理效率。例如，在S3的脸部检测处理中，对于某一时刻已检测出的脸部区域，通过之后的时刻的运动检测等，能够自动地追踪脸部。
(S13)控制器10进行视频电话模式的结束处理，结束视频电话应用的启动(执行)。结束处理包括将关于视频电话的设定(例如重试次数)重置，以及清除图像数据等。
上述处理流程的补充说明和变形例如下。上述处理流程基本上对前置摄像头C1的动态图像的各图像通过循环来同样地进行处理。不过，关于S8的使用监视图像D13进行的发送确认，例如可以在视频电话开始时，使用动态图像的最初期间的图像进行1次该处理。在该发送确认的结果是允许发送的情况下，在之后的视频电话中，自动地发送各时刻生成的发送图像D12。但不限于此，发送确认也可以在视频电话中以定期的时机进行，也可以按照规定的用户操作而相应地进行，也可以完全不进行。在视频电话应用的用户设定功能中，能够进行关于上述发送确认的有无和时机等的设定。在采用了不进行发送确认的设定的情况下，能够省略S6的生成监视图像D13的处理、S7的显示监视图像D13的处理以及S8的发送确认的处理等，便携信息终端1会自动地视作允许发送，将发送图像D12发送出去。
另外也可以是，在视频电话最初的发送确认的结果是允许发送的情况下，之后直至视频电话结束，或者直至下次发送确认，都持续使用与最初生成的发送图像D12相同的图像。
在S3的脸部检测处理中，例如未能从某一时刻的广角图像检测出脸部区域的情况下，可以按照预先设定的重试次数，使用其他时刻的图像，重试脸部检测处理。另外，在未能检测出脸部区域的情况、未能追踪用户的脸部的情况下，也可以使用过去最后检测出的脸部图像或登记图像D10作为替代。另外，便携信息终端1也可以这样应对，即，在显示屏幕DP内显示未能检测出脸部的消息等，向用户A确认是否改为使用登记图像D10作为发送图像D12。
另外，在S8的发送确认的结果是，用户A进行了拒绝发送的指示操作的情况下，便携信息终端1可以立即进行S9来使用登记图像，但不限于此，例如也可以返回S5或S3等步骤，重试处理直到规定重试次数。重试次数等的设定可以是视频电话应用的缺省设定，也能够通过用户设定来变更。按照用户的需求和操作，能够使用视频电话应用的用户设定功能，针对各种功能设定是否启用以及动作详情，其中各种功能包括发送确认和使用登记图像生成发送图像等。也能够按照用户设定，从视频电话最初起直到最后，都使用实时的摄像图像，或者仅使用登记图像D10。
[(7)便携信息终端——显示屏幕]
图7表示视频电话时的便携信息终端1的正面s1在俯视观察下的X-Y面上的显示屏幕DP等的结构。便携信息终端1的平板状的壳体的主面(正面s1、背面s2)之中，在具有显示屏幕DP的正面s1一侧，设置有包括广角镜头部的前置摄像头C1。在正面s1的纵长的长方形区域，在主要的显示屏幕DP的区域外侧的边框区域的顶边部，例如在中央位置(点PC1)设置有前置摄像头C1。
基于视频电话应用的控制和从用户B的便携信息终端2接收的图像数据，在便携信息终端1的显示屏幕DP内的区域R1中，显示包括通话对方(用户B)的脸部的图像(对方图像)g1。
除了显示屏幕DP内的区域R1的图像g1的显示以外，还在一部分规定区域R2中，显示基于前置摄像头C1的图像生成的、包括用户A的脸部的监视图像g2。该监视图像g2是为了在视频电话时用户A能够确认发送到对方的自己的图像的状态而设置的。该显示监视图像g2的功能并非必需，但通过显示该监视图像能够进一步提高易用性。用户A通过观看该监视图像g2能够确认自己的脸部等的状态，也能够根据需要拒绝发送内容与该监视图像g2对应的发送图像D12。
图7的(A)的显示例中，在显示屏幕DP内，在几乎相当于整体的主要区域R1中显示对方的图像g1，在区域R1中的靠近前置摄像头C1的例如右上角的位置，设置叠加的区域R2，在该区域R2显示监视图像g2。
图7的(B)的其他显示例中，在显示屏幕DA内，显示对方图像g1的主要区域R1配置在靠近前置摄像头C1的偏向上侧的位置，在区域R1的下侧设置分离的区域R2，在该区域R2显示监视图像g2。不限于此，能够采用各种显示方式，并且能够通过用户设定功能来进行变更。
另外，图7的显示例中，区域R2的监视图像g2的尺寸比区域R1的对方图像g1小。但不限于此，针对区域R2的监视图像g2的尺寸也能够改变其设定。另外，也能够按照显示屏幕DP上的触摸操作，来仅将监视图像g2放大显示等。
[(8)图像示例，处理示例]
图8～图12表示基于便携信息终端1的前置摄像头C1的广角图像进行脸部检测、裁剪和畸变校正的图像示例和处理示例。
(1)首先，为了比较说明，图8表示了用普通摄像头C2从正面拍摄用户A的脸部的情况下的图像(普通图像)的例子。该普通图像表示了尺寸为正方形的情况。令用户A的脸部或头部的中心点或代表点为点P1。也可以将双眼的中间点等作为点P1。图中大致表示了脸部区域A1、头部区域A2以及区域A3。脸部区域A1是以包括脸部(包括眼、鼻、口、耳、皮肤等)的方式设定的区域。头部区域A2是比脸部区域A1大的以包括头部(包括头发等)的方式设定的区域。区域A3是比脸部区域A1和头部区域A2大，以一定程度的大小包括脸部或头部外侧的周边区域的区域。区域A3例如可以是从点P1的规定距离内的区域，也可以是按照与区域A3内的脸部区域A1等的比率而设定的区域。各区域的形状不限于矩形，也可以是椭圆等。另外，在如图2所示，采用从摄像头仰视斜上方的位置关系拍摄的图像的情况下，实际的图像内容如图15中(B)所示，是大致梯形形状的图像内容。
(2)图9示意性地表示前置摄像头C1拍摄的广角图像G1的概要和脸部区域检测。该广角图像G1具有圆形区域。点PG1表示广角图像G1的中心点，对应于光轴的方向J2。用(x，y)表示广角图像G1内的位置坐标。虚线框所示的区域(脸部区域)B1表示大致对应于脸部区域A1的矩形的区域。同样地，区域(头部区域)B2表示对应于头部区域A2的矩形的区域，区域B3表示对应于区域A3的矩形的区域。区域B4比区域B3更大，表示为了处理而设定足够大的矩形的区域的情况。各区域用矩形表示，但不限于此，也可以采用符合广角图像的坐标系的形状。
在图9的广角图像G1中，基于如图2所示的位置关系，在广角图像1内的一部分区域，尤其是中央的点PG1下侧的位置(点P1)附近的区域，拍摄到用户A的脸部等。这样，在通过前置摄像头C1的广角镜头拍摄得到的广角图像G1内的包括脸部在内的整个图像，产生由广角镜头引起的畸变。在广角图像G1内，存在与中央(点PG1)相比越靠外周的位置则畸变越大的情况。
脸部检测功能201从广角图像G1内检测包括脸部的区域。脸部检测功能201例如检测脸部区域B1或头部区域B2。
(3)图10在图9的广角图像G1上，叠加地表示了后述图13、图14的原图像的(x，y)平面的状态。裁剪功能202从广角图像G1中设定与脸部区域B1、区域B3等对应的裁剪区域，并得到裁剪图像。在图10的例子，从广角图像G1中，将对应于区域B3的、与原图像的(x，y)平面的坐标系对应的盾形状的区域设定为裁剪区域TRM1(虚线框)。该裁剪区域TRM1的盾形状，例如是随着在y方向上从中央去往外周，则x方向的宽度减小的形状。
(4)为了比较说明，图11表示从图9的广角图像G1中裁剪出矩形(直角四边形)的裁剪区域的情况下的裁剪图像的例子。区域111表示包括头部及其周边的矩形的区域。区域112表示为了处理而设定得比区域111大的情况下的矩形的区域的例子。区域111中，大致表示了脸部区域等的横向宽度H1和整体的横向宽度H2。区域111的尺寸是这样决定的，设定整体的宽度H2，使其与脸部区域等的横向宽度H1的比为规定的比率(H1/H2)。例如，H1/H2＝1/2或2/3等。该比率能够由用户设定。或者，也可以从脸部区域的中心的点P1起，在横向和纵向上取规定距离K1、K2，来决定区域111、112的尺寸。
(5)图12表示裁剪图像和畸变校正的例子。图12中(A)表示与图10的裁剪区域TRM1对应的裁剪图像GT1。另外，裁剪区域TRM2和裁剪图像GT2表示为了处理而设定得比裁剪区域TRM1和裁剪图像GT1大的情况的例子。在原图像的(x，y)平面上，裁剪区域TRM1的尺寸形成为将用户A的脸部的周边包括在内(例如包括上半身)。
图12的(B)表示对(A)的裁剪图像GT1实施畸变校正得到的图像即平面化图像GP1。在畸变校正功能203中，对裁剪图像GT1进行正像变换处理203A(图14)。得到几乎没有畸变的平面化图像GP1。平面化图像GP1具有矩形(直角四边形)的平面PL1。平面PL2表示由裁剪图像GP2同样得到的平面化图像的平面。另外，尤其是图像GP11和图像GP12表示提取平面化图像GP1中的一部分区域的情况的例子。图像GP11对应于脸部区域，图像GP12对应于包括头部区域及其周边的区域。
拍摄处理部12取得平面化图像GP1作为校正后图像D11。进而，拍摄处理部12也可以从该平面化图像GP1中提取一部分图像GP11等，适当进行加工，生成监视图像D13。
拍摄处理部12使用畸变校正功能203进行正像变化处理203A，以从广角图像G1(原图像)的状态变成没有畸变的状态。此处，若对原图像的整个圆形区域实施正像变换处理203A的计算，存在计算量增大的可能。因此，实施方式1如上所述，作为处理示例，拍摄处理部12限定性地针对由广角图像G1(原图像)中的一部分区域裁剪得到的图像，实施正像变换处理203A等的计算。
[(9)畸变校正]
使用图13和图14说明将前置摄像头C1拍摄的具有畸变的广角图像校正为没有畸变的平面化图像的畸变校正方法。
图13表示使用前置摄像头C1的广角镜头的情况下的正像变换的模型和坐标系。其中表示了与广角镜头对应的半球面500、摄像传感器的平面的摄像面501、平面化图像502等。摄像面501也表示为原图像的(x，y)平面。平面化图像502对应于对象物体的拍摄图像，表示为(u，v)平面。广角镜头中，具有近似于球面的形状——半径等会随视角等而不同，表示为半球面500。摄像面501配置在半球面500的拍摄范围的与Z方向的轴垂直的位置。表示了半球面500和摄像面501的原点O、半径R、三维坐标(X，Y，Z)。球面坐标系(半球面500)底面的平面相当于摄像传感器上的摄像面501，表示为原图像的(x，y)平面。
在通过前置摄像头C1的广角镜头拍摄的广角图像的视角AV1内，针对拍摄对象物即用户A的脸部被拍摄到的位置和视角AV2，便携信息终端1能够基于图13的模型，判断其自中心位置起的距离、角度、范围等。由此，拍摄处理部12通过基于图13的模型进行畸变校正处理(图14的正像变换)，能够将存在畸变的脸部图像变换为消除或减小了畸变的平面化图像。
如上述图2所示，前置摄像头C1的广角镜头的视角AV1较大，为180度左右。以与广角镜头对应的近似于球面的形状(半球面500)拍摄物体(例如脸)，并利用具有摄像面501所示的平面的摄像传感器接收通过镜头的光学像。这样，该摄像传感器上的图像(广角图像)如图14的左侧所示产生畸变。与中央相比越去往外周，摄像传感器正面角度(Z方向)与拍摄图像方向(n方向)的关系(用角度β表示)越苛刻(角度越大)。
在图14的左侧，概念性地表示了原图像的(x，y)平面的畸变。(x，y)平面中，坐标系的单位区域不是直角四边形(例如：畸变量δu，δv)。在图14的右侧，作为平面化图像502表示了(u，v)平面。该(u，v)平面是想要得到的没有畸变的图像。(u，v)平面中，坐标系的单位区域是直角四边形(例如：Δu，Δv)。
广角镜头的焦距和关于透镜形状的各参数是预先已知的。因此，能够容易地进行从上述球面的图像(原图像)向平面的图像(记作平面化图像)的坐标变换。该坐标变换能够应用图14所示的正像变换。该正像变换用于将具有畸变的图像变换为如人眼所见那样的不具有畸变的图像，例如在鱼眼镜头等的畸变校正中使用。使用该正像变换，将图14的左侧的原图像的(x，y)平面的各点位置的像素，变换为右侧的平面化图像的(u，v)平面的各点位置的像素。变换的细节如下。
如图13所示，针对对象物体的拍摄方向n，令方位角为α、天顶角为β、取得的平面(平面化图像502)的旋转角为φ。令镜头的放大倍率为m。这样，根据公知的正像变换公式，有以下式1、式2。该式中的A、B、C、D是式3～式6。
式1：x＝R(uA-vB+mRsinβsinα)/√(u2+v2+m2R2)
式2：y＝R(uC-vD+mRsinβcosα)/√(u2+v2+m2R2)
式3：A＝cosφcosα-sinφsinαcosβ
式4：B＝sinφcosα+cosφsinαcosβ
式5：C＝cosφsinα+sinφcosαcosβ
式6：D＝sinφsinα-cosφcosαcosβ
通过按上式进行计算，能够将原图像的各像素变换为平面化图像的各像素，消除畸变。原图像的(x，y)平面中的各像素位置上的畸变量δu、δv，如平面化图像的(u，v)平面上的正方形的单位区域这样，被变换为没有畸变的状态(Δu，Δv)。
[(10)梯形校正]
图15表示关于梯形校正处理203B的图像示例等。在如图15的(A)所示，将便携信息终端1平放在水平面s0上的状态的情况下，用户A的脸部是沿从前置摄像头C1看来斜上方的方向J3拍摄的。因此，在拍摄到脸部的图像的视角AV2中，脸部和头部的Z方向下方一侧的部分(下巴等)与Z方向上方一侧的部分相比，拍摄距离更近。距离DST1表示前置摄像头C1的位置PC1与头部的上方一侧的部分的距离，距离DST2表示前置摄像头C1的位置PC1与头部的下方一侧的部分的距离的例子。DST1>DST2。
因此，在拍摄图像(广角图像)内，如图15中(B)所示，用户A的脸部区域等的图像内容为梯形形状(记作梯形图像)。梯形图像151的Z方向的顶边比底边小。梯形图像151示意性地表示了正像变换后不存在广角图像的畸变的状态的形状。梯形图像151中，例如头顶一侧拍摄得相对较小，下巴一侧拍摄得相对较大。
若使用该梯形图像构成发送图像D12，对方(用户B)看到该发送图像D12可能会略微感到不自然。于是，为了生成更合适的发送图像D12，使用梯形校正处理203B。便携信息终端1能够使用前置摄像头C1的图像和传感器类，判断从前置摄像头C1的位置PC1观察用户A脸部的代表性位置的点P1时的仰角(角度θ1)的范围等状态。拍摄处理部12基于该判断得到的信息进行梯形校正处理203B。
图15中(C)表示根据(B)进行梯形校正得到的图像152。该图像152是直角四边形图像，顶边与底边长度相同。通过使用该图像152生成发送图像D12，从对方(用户B)看来能够得到从正面观看用户A的脸部的图像。
[(11)监视功能，图像修正功能]
如图7所示，实施方式1的便携信息终端1也具备用户A自身的图像的监视功能。便携信息终端1在显示屏幕DP内显示与发送图像D12对应的用户A的监视图像D13，向用户A确认是否能够以该监视图像D12的脸部的状态作为发送图像。该监视功能中，用户A观看监视图像D13，在感到畸变校正后的自己的脸部图像不自然或不喜欢的情况下，能够拒绝发送与该监视图像D13对应的发送图像D12。便携信息终端1在接收到该拒绝发送的指示的操作的情况下，不发送与该监视图像D13对应的发送图像D12。
该情况下，便携信息终端1可以代替该发送图像D12，基于登记图像D10生成新的发送图像D12，用其调换原本的发送图像D12并发送。便携信息终端1可以原样使用登记图像D10的脸部图像，也可以加工生成发送图像D12。登记图像D10可以是用户A用任意摄像机拍摄自己的脸部得到的静止图像或动态图像，也可以是脸部以外的其他任意图像(图标图像、动画图像等)。
另外，作为其他功能，便携信息终端1也可以具备图像修正功能。便携信息终端1在针对已生成的校正后图像D11(监视图像D13、发送图像D12)接收到拒绝发送的指示的情况下，使用该功能对脸部图像进行修正。便携信息终端1此时基于登记图像D10的脸部图像，对校正后图像D11实施修正处理，生成修正版的脸部图像。例如，便携信息终端1对脸部图像内的双眼的状态进行加工以使视线的方向变得直视正面，来生成修正版的脸部图像。另外，修正版的脸部图像也可以显示在显示屏幕DP内，以向用户A确认是否发送。
作为具体示例，在某一时刻拍摄的用户A的脸部图像中，有可能眼睛的部分未能较好拍摄，例如存在视线的方向与正面(方向J3)偏差较大的情况。该情况下，便携信息终端1使用登记图像D10的眼睛的部分，以合成或置换的方式对该脸部图像的眼睛的部分进行修正。由此，在修正后的脸部图像使眼睛为视线朝向正面的状态。
此外也可以是，便携信息终端1在用户A确认了监视图像D13并作出拒绝发送的指示的情况下，将该时刻的处理结果(校正后图像D11、发送图像D12)临时重置，并基于不同时刻的输入图像进行重试，重新生成发送图像D12。此时的重试次数也是可以设定的。便携信息终端1在重试规定次数，最终也没有得到满意的图像的情况下(用户A没有给出发送指示的情况下)，可以将登记图像D10的脸部图像作为发送图像D12。
另外，便携信息终端1也可以按照用户A在显示屏幕DP内的区域作出的触摸操作，来切换是以实时生成的图像还是以登记图像D12的脸部图像作为发送图像D12。
[(12)登记功能和登记图像]
通过使用登记功能和登记图像D10，能够提高脸部检测等的精度，并且还能够使用各种附属功能。登记图像D1的数据保存在存储器13或外部存储器16等中。将用户A的脸部图像登记为登记图像D10的方法如下。例如，用户A操作视频电话应用的用户设定功能中的登记功能，使用普通摄像头C2(或者后述实施方式2中的前置摄像头C3)，从正面拍摄自己的脸部，将没有畸变的脸部图像登记为登记图像D10。另外，也可以使用前置摄像头C1和畸变校正功能203生成登记图像D10，也可以通过从其他摄像机或外部装置读取数据而进行登记。
登记图像D10也可以不仅是从正面拍摄用户A的脸部得到的脸部图像，而是还包括从其他各个方向拍摄脸部得到的多个图像。此时，便携信息终端1的脸部检测功能201在用户A进行视频电话时改变或移动了脸部方向的情况下，也能够使用该登记图像D10检测此时的脸部的状态。便携信息终端1的图像修正功能能够按照该脸部的状态相应地进行修正处理。
另外，在用户A通过显示屏幕DP确认并拒绝发送监视图像D13，改为使用登记图像D10的情况下，也能够使用登记图像D10的多个脸部图像中由用户A选择的脸部图像作为发送图像D12。
另外，登记图像D10也可以不仅是某一用户A一个人的脸部图像，而是还包括有可能会使用该便携信息终端1进行视频电话的其他多个用户的多个脸部图像。
[(13)个人识别功能]
实施方式1中，拍摄处理部12的脸部检测功能201还特别具有识别特定用户个人的脸部的功能(个人识别功能201B)。便携信息终端1可以从广角图像中不仅检测不特定的脸部区域，还识别特定用户个人的脸部。该情况下，便携信息终端1可以仅检测特定用户的脸部，生成发送图像D12。
脸部检测功能201例如从广角图像中检测任意的脸部区域。之后，在个人识别功能201B中，对该脸部区域与预先登记在登记图像D10中的用户A的个人识别用的脸部图像进行比较对照。个人识别功能201B根据该比较的结果，基于类似性判断广角图像内的脸部区域是否对应于特定用户A的脸。个人识别功能201B输出个人识别结果信息。
便携信息终端1仅在检测到的脸部区域是特定用户A的脸部的情况下，应用免提状态的视频电话功能的控制，例如生成发送图像D12。在广角图像内拍摄到多个用户的脸的情况下，能够仅以特定用户A的脸为对象生成发送图像D12。例如，对于广角图像内位于用户A的背景处的行人的脸，可以不将其视作对象。另外，作为变形例也可以不具备个人识别功能201B。另外，拍摄处理部12可以对畸变校正前的图像进行特定个人的脸部的识别，也可以对畸变校正后的图像进行特定个人的脸部的识别。
[(14)脸部追踪功能]
实施方式1中，拍摄处理部12(特别是脸部检测功能201)还包括基于前置摄像头C1的动态图像(规定帧率的多个图像)来自动地追踪用户的脸部区域的运动的功能(脸部追踪功能)。便携信息终端1通过使用广角的前置摄像头C1，即使用户自身略微移动，只要还在广角图像内，就能够利用脸部检测进行追踪。便携信息终端1能够采用这样的发送图像D12，其中通过进行脸部追踪，使得用户的脸部始终位于图像中心。
在视频电话过程中，用户A不一定静止于同一位置而是可能会移动。拍摄处理部12从动态图像中，对于每个规定时刻的广角图像检测用户A的脸部区域。例如，在脸部检测功能201于某一时刻检测到脸部区域之后，在此后的时刻，在该已检测到的脸部区域附近搜索来判断脸部区域的运动。由此，能够抑制图像处理量，同时在用户移动的情况下，也能够在时间轴上持续地追踪用户A的脸部区域。
另外，在以图2的状态进行视频电话时，用户A(特别是脸部)可能从最初的位置移动。例如，用户A可能临时离开最初的位置，之后又返回最初的位置。该情况下，拍摄处理部12利用脸部追踪功能尽可能地追踪移动的脸部区域。拍摄处理部12在用户A的脸部不再出现在广角图像内的情况下，即不再能追踪的情况下，在之后的时间例如采用下述应用。拍摄处理部12使用过去最后检测到用户的脸部的图像和已生成的发送图像D12进行应对。或者，拍摄处理部12临时切换至登记图像D10的脸部图像进行应对。拍摄处理部12在用户A的脸部再次出现在广角图像内的情况下，检测该脸部区域，之后同样地进行追踪。另外，拍摄处理部11在用户A的脸部被任意物体临时遮挡的情况下，能够同样地利用脸部追踪功能加以应对。
[(15)其他使用状态、配置状态和向导功能]
图16～图18表示实施方式1的便携信息终端1的其他使用状态和配置状态的例子。用户A进行免提状态的视频电话时的终端的配置状态不限于图2的状态，也可以是下述状态。
图16表示状态的第一例。图16中存在支架等任意物体160，该物体具有相对于水平面s0倾斜一定程度的角度161的斜面s5。用户A将便携信息终端1的壳体沿着该支架等物体160的斜面s5平放。物体160和角度161并不特别限定，只要能形成使壳体静止的状态即可。在该状态下，用户A观看位于前方的壳体的显示屏幕DP。前置摄像头C1以与角度161对应的光轴的方向J2配置。前置摄像头C1以方向J3的视角AV2拍摄用户A的脸(点P1)。这样，即使壳体配置成倾斜一定程度，也能够与图2同样地实现免提状态下的视频电话。
图17表示第二例，其中壳体的正面s1的前置摄像头C1的位置PC1从用户A看来在Y方向上位于近端侧的方向Y2上。该情况下，前置摄像头C1拍摄用户的脸部的方向J3(角度θ3)与图2的状态不同。例如仰角变得更大。该情况下，在广角图像内，拍摄到的用户A的脸部区域是颠倒的。拍摄处理部12能够根据该广角图像识别该颠倒的状态。拍摄处理部12适当地进行图像倒转处理，在显示屏幕DP内显示将上下方向变换为合适方向的监视图像D13。
图18表示第三例，是使壳体的长度方向沿着X方向(从用户A看来是左右方向)配置的情况。该情况下，正面s1的前置摄像头C1的位置PC1从用户A看来在X方向上位于左右中的某一侧(例如方向X1)。拍摄处理部12适当地进行图像旋转处理，在显示屏幕DP内显示变换为合适方向的监视图像D13。
实施方式1中，对于用户特别推荐图2的配置状态，但上述各配置状态下也能够大致同样地实现视频电话功能。另外，在实施方式1中，水平面s0上的便携信息终端1的配置状态和与用户A的位置关系无论是图2、图17、图18等中的哪个状态，都能够用前置摄像头C1大致同样地应对。因此，用户A在视频电话时，也能够一定程度自由地改变终端的状态和自身的位置，便利性较高。
另外，便携信息终端1也可以具有向用户推荐和指导关于壳体的配置状态的功能(向导功能)。便携信息终端1使用摄像图像和传感器类30掌握壳体的配置状态。便携信息终端1例如可以在显示屏幕DP上显示、或者用声音输出指导信息(例如“推荐使摄像头位于远端。”)，来推荐用户采用图2的配置状态。
另外，便携信息终端1也可以在壳体的配置状态不合适的情况下，输出表示配置状态不合适的指导信息。例如，在某一配置状态下，从前置摄像头C1的位置PC1拍摄用户A的脸部(点P1)的方向J3的角度θ3不在规定角度范围内(仰角过小的情况或过大的情况)，便携信息终端1可以输出表示配置位置并不适当的指导信息。
另外，就用户A与便携信息终端1的相对的位置关系而言，例如可以预料，存在无法从前置摄像头C1识别人脸的位置关系。该情况下，便携信息终端1也可以为了使位置关系(终端位置和用户位置)变得适当，而对用户A输出指导信息。例如，可以输出表示需要改变便携信息终端1的位置和配置状态的信息，或表示需要改变用户A的脸部的位置的信息。此时，便携信息终端1在已掌握其与用户A的位置关系的情况下，也可以输出应当向哪个方向和位置改变的指示信息。
[(16)比较例——非免提状态]
图19表示比较例的便携信息终端中的普通的视频电话模式(普通模式)，和实施方式1中作为其他视频电话模式的非免提状态的非免提模式的情况。该状态、模式下，用户A手持便携信息终端的壳体，双手并不自由。图19的例子中，壳体为向铅垂上方立起的状态。壳体的正面的前置摄像头CX是普通摄像头，其镜头是普通视角(所谓窄角)的普通镜头。该普通视角比前置摄像头C1的视角AV1窄。图中表示了前置摄像头CX的光轴的方向JX2，本例中在Y方向上朝向近端侧的方向Y2。前置摄像头CX的视角AVX1例如是45度至135度的角度范围。表示了视角AVX1中与脸部拍摄范围对应的视角AVX2。
另外，表示了用户A的视线的方向JX1、前置摄像头CX的脸部拍摄的方向JX3和它们所成的角度差AD2。这样的角度差越大，图像内的用户A的视线的方向越向下。从对方(用户B)看来用户A的眼睛不处于直视正面的状态。
另一方面，在实施方式1的图2的免提模式的情况下，角度差AD1能够小于比较例的角度差AD2。因此，在实施方式1的免提模式的情况下，图像内的用户的视线的方向与普通模式相比更接近直视正面的方向。由此，从对方(用户B)看来，用户A的视线更为直视正面的状态，所以能够进行更自然的、较少感到不协调的视频电话。
另外，现有的便携信息终端的前置摄像头CX的镜头是普通镜头，可拍摄范围受限。因此，在将该前置摄像头CX用于视频电话功能，由用户A手持壳体以非免提状态进行视频电话的情况下，需要采取下述考虑或措施。用户A为了适当地拍摄自己的脸部以传递给对方，需要一边用手调整壳体的方向，一边持续保持脸部与壳体的位置关系。而实施方式1的便携信息终端1能够使用前置摄像头C1以免提状态进行视频电话，不需要上述考虑。
另外，实施方式1在使用普通模式的情况下，用户A的脸会出现在前置摄像头C1的广角图像内的中央附近处。该普通模式下，便携信息终端1可以省略畸变校正处理等，采用与免提模式不同的动作，得到不同的效果。
[(17)效果等]
如上所述，采用实施方式1的具有视频电话功能的便携信息终端1，能够以更好的易用性实现免提的视频电话。用户能够以双手自由的状态进行视频电话，便利性也较高。另外，便携信息终端1的正面s1的前置摄像头C1不限于视频电话专用，是也能够用于其他用途(自拍等)的通用的摄像机。实施方式1巧妙地使用该前置摄像头C1实现了免提的视频电话。实施方式1的便携信息终端1在进行免提视频电话时，不需要使壳体变形，并且也不需要使用其他固定器具等，具有较好的易用性和较高的通用性。
另外，实施方式1的便携信息终端1中，摄像机(前置摄像头C1)的光轴是通常的面垂直方向，与摄像机的光轴的方向倾斜(例如45度)的现有技术例、和能够通过机械驱动来改变摄像机的光轴方向的现有技术例等不同，较容易实现。
(实施方式2)
使用图20、图21说明本发明的实施方式2的便携信息终端。实施方式2的基本结构与实施方式1相同，以下对实施方式2中与实施方式1不同的构成部分进行说明。实施方式2的便携信息终端1在壳体的正面s1设置有多个前置摄像头，按用途区分使用。
图20表示实施方式2的便携信息终端1的摄像部11的结构。该摄像部11除上述前置摄像头C1、普通摄像头C2(特别地，也可以采用广角摄像头)之外，还设置有普通视角的前置摄像头C3。上述前置摄像头C1相当于第一前置摄像头，前置摄像头C3相当于第二前置摄像头。
拍摄处理部12包括对普通摄像头C2的普通图像进行处理的后置摄像头处理部12B、对前置摄像头C1的广角图像进行处理的第一前置摄像头处理部12A、对前置摄像头C3的普通图像进行处理的第二前置摄像头处理部12C、和模式控制部12D。拍摄处理部12用模式控制部12D切换模式等，决定要使用该多个摄像机中的哪个摄像机。便携信息终端1按照所掌握的终端与用户A的脸部的位置关系、终端的配置状态，来相应地切换摄像模式。
图21表示实施方式2的便携信息终端1的使用状态的例子、前置摄像头C3的视角等。图21的(A)中，便携信息终端1的壳体平放地配置在水平面s0上。例如，在壳体的正面s1，在前置摄像头C1的位置PC1附近的位置PC3，设置有前置摄像头C3(尤其是普通镜头部)。前置摄像头C3的光轴的方向J4与前置摄像头C1同样是铅垂上方。图中表示了前置摄像头C3的视角AV4(第一角度ANG3至第二角度ANG4的角度范围)。该视角AV4比前置摄像头C1的视角AV1窄，例如第一角度ANG3是60度左右，第二角度ANG3是135度左右。
状态211与图2的状态相同，表示能够以前置摄像头C1的视角AV1内的视角AV2拍摄用户A的脸部的情况。状态212表示所处的位置关系是能够用前置摄像头C3的视角AV4拍摄用户A的脸部的情况。例如，在前置摄像头C3的光轴的方向J4的前方存在用户A的脸部的代表性的点P4。
在如状态212所示，所处的位置关系是能够用前置摄像头C3拍摄脸部的情况下，便携信息终端1切换为使用多个摄像机中的前置摄像头C3的摄像模式。而在如状态211所示，所处的位置关系是能够用前置摄像头C1的视角AV1中的视角AV4以外的视角拍摄脸部的情况下，便携信息终端1切换为使用前置摄像头C1的摄像模式。
图21中(B)表示实施方式2的非免提状态的例子，其状态与图19的非免提状态相近。例如，在用户A的脸部的位置从状态211转移至图21中(B)的状态213的情况下，便携信息终端1进行控制使摄像模式从前置摄像头C1切换至前置摄像头C3，进行非免提模式(普通模式)的视频电话。同样地，在用户A的脸部的位置从状态213转移至状态211的情况下，便携信息终端1进行控制使摄像模式从前置摄像头C3切换至前置摄像头C1，进行免提模式的视频电话。与模式的切换相应地，切换使用由前置摄像头C1得到的广角图像和由前置摄像头C3得到的普通图像作为输入图像。
对于上述2种摄像模式，便携信息终端1可以基于状态的掌握来自动进行选择和切换，也可以基于用户的指示操作和设定进行选择和切换。在使用前置摄像头C3的普通图像的模式下，不需要畸变校正处理等，所以能够提高处理效率。
便携信息终端1也可以在前置摄像头C1或前置摄像头C3工作时，使用脸部检测功能201检测图像内的用户A的脸部区域，基于该脸部区域的位置、方向和视角，选择使用哪个摄像机，并切换模式。例如，便携信息终端1可以根据脸部是否位于(容纳在)前置摄像头C1的视角AV1中与前置摄像头C3的视角AV4对应的规定视角内，来选择是使用前置摄像头C3还是使用前置摄像头C1。
如上所述，采用实施方式2的便携信息终端1，除了与实施方式1同样的效果之外，还能够通过一并使用普通视角的前置摄像头C3来提高处理效率。另外，便携信息终端1的壳体的正面s1上的前置摄像头C1和前置摄像头C3的位置能够不限于上述结构，例如也可以位于进入到正面s1的显示屏幕DP的矩形内的部分。
(其他实施方式)
关于实施方式1、2可有下述其他实施方式(变形例)。
[变形例(1)——拍摄处理]
在实施方式1的拍摄处理部12中，如图5等所示，在从广角图像检测出脸部区域并进行裁剪之后，对该裁剪图像区域进行畸变校正处理。但拍摄处理的方式能够不限于此。
图22表示变形例的便携信息终端1的拍摄处理的图像示例。便携信息终端1的拍摄处理部12首先对整个广角图像G1进行畸变校正处理，之后，从畸变校正后图像检测脸部区域等，并进行裁剪。便携信息终端1对广角图像G1中的水平视角360度的区域(范围221)、或水平视角180度的区域(x轴的下侧的半圆范围222)，进行畸变校正处理，得到对应的平面化图像GP3。图22的例子中，作为平面化图像GP3即畸变校正后图像，示意性地表示了水平视角180度的范围222的情况下的全景图像。便携信息终端1从平面化图像GP3中检测包括用户A的脸部的区域(例如区域224)。然后，便携信息终端1对区域224设定裁剪区域225并进行裁剪，得到裁剪图像226，根据裁剪图像226生成发送图像D12等。
该变形例与上述实施方式1相比，作为畸变校正处理的对象的图像区域的面积更大。上述实施方式1的拍摄处理中，作为畸变校正处理的对象的图像区域的面积更小，所以在处理效率等方面有利。但计算性能高的终端也可以采用变形例。在变形例中，因为脸部检测的对象图像是平面化图像，所以优点是能够容易地进行脸部检测的图像处理。
另外，在其他变形例中，拍摄处理部12在从具有畸变的广角图像中检测脸部区域时，使用用户A的登记图像D10的脸部图像进行比较对照。此时的登记图像D10的脸部图像可以采用预先用前置摄像头C1拍摄的、具有畸变的脸部图像。
另外，在其他变形例中，便携信息终端1在进行脸部检测等处理时，可以在广角图像的视角中参照一部分范围，例如图22的x轴下侧的半圆范围222(图2中0度至90度的仰角的范围)的图像区域，将处理对象图像区域限制为该范围，忽略上半部分的图像区域。进而，也可以如区域223的例子所示，限制为水平视角更窄的范围。例如在便携信息终端1掌握了其处于图2所示的状态的情况下，可以如上所述地限制处理对象图像的范围。在图2的第一状态下，在广角图像中，用户A的脸部出现在下侧的半圆范围222内，几乎不存在出现在上侧的半圆范围内的可能。因此，上述处理是有效的。
作为其他拍摄处理的方式，便携信息终端1也可以利用畸变校正功能203首先对广角图像实施简易的第一畸变校正处理，之后进行脸部检测和裁剪，最后对裁剪图像实施精度更高的第二畸变校正处理。
作为变形例也可以是，针对畸变校正后的图像是否能够允许用作发送图像D12，不取决于用户A的确认和操作，而是由便携信息终端1自动地判断。例如，便携信息终端1对畸变校正后图像的脸部区域，与登记图像D10的脸部区域进行比较，评价脸部的重现程度，计算评价值。便携信息终端1在该评价值处于设定阈值以上的情况下，判断为允许发送。
[变形例(2)——物体识别功能]
在变形例的便携信息终端1中，拍摄处理部12(尤其是脸部检测功能201)也可以具有物体识别功能。该物体识别功能是基于图像处理，从广角图像中识别脸部以外的规定物体，并检测出该物体区域的功能。用户A在图2的免提状态下的视频电话时，因为能够自由地使手移动，所以能够使手持的物体被前置摄像头C1拍摄。由此，在发送图像D12内，不仅拍摄到用户A的脸部，也能够在其周边拍摄到手持的任意物体，能够展示给对方(用户B)。
规定物体指的是预先在信息处理上定义的物体。拍摄处理部12具有与该物体对应的检测算法。关于规定物体，例如可以举出用户的资料、照片、笔记、笔记本PC屏幕或者用户的物品、动物等。规定物体例如定义为具有矩形或圆形等规定形状或规定颜色等的区域。拍摄处理部12(物体识别功能)可以基于检测出的脸部区域，例如对该脸部区域的周围的规定距离范围内进行搜索，检测规定物体的区域。
图23中(A)表示使用物体识别功能的情况下的图像示例。该图像表示的是没有畸变的平面化图像的状态。用户A在免提状态进行视频电话时，向对方(用户B)展示物体230并同时进行通话。物体230例如是A4尺寸的资料等，在畸变校正后的图像内大致为矩形形状。便携信息终端1使用物体识别功能，从图像中不仅检测脸部区域231，还检测特定物体230的区域232。便携信息终端1对该物体230的区域232也实施畸变校正处理等。便携信息终端1例如可以从脸部区域231的点P1起，在周围的规定距离233的范围中搜索特定物体。便携信息终端1例如可以设定包含脸部区域231和物体230的区域232的矩形的区域234，生成发送图像D12。另外，不限于以脸部区域231(点P1)为中心的图像，也可以如区域235所示，采用包含脸和物体的最小矩形的图像。
或者，便携信息终端1也可以区分脸部区域231和物体230的区域232，生成各自的发送图像D12作为监视图像D13(图像236、237)显示，并进行发送确认。另外，便携信息终端1也可以生成对焦在检测出的物体230上的图像(以物体230为中心放大的图像)作为监视图像D13。另外，如果使用上述区域A3和区域B3，设定在脸部的周边确保较大距离的区域，则即使省略物体识别处理，也能够在该区域内自动地捕捉物体。
该物体识别功能中，因为使用广角图像，所以即使脸部在一定程度上远离物体，也能够得到双方的图像。例如，图23的(B)表示了基于广角图像的平面化后的全景图像GP4。该全景图像GP4中，在图2的方向Y2、方向J3和与图10的y轴的下侧对应的位置(令水平视角为0度)，存在拍摄到用户A的脸部的区域r1。然后，从该位置起，在水平方向上离开一定程度的位置，例如水平视角90度、与x轴的右侧对应的位置，存在拍摄到规定物体的区域r2。在1个广角图像内，能够捕捉双方，能够用作发送图像D12。
作为其他变形例，拍摄处理部12(物体识别功能)也可以从广角图像中检测用户A的手，设定包括用户A的脸部和手的区域，生成发送图像D12。另外，在广角图像内拍摄到双手的情况下，能够判断为用户并未手持壳体。因此，便携信息终端1也可以在从广角图像中检测出用户A的双手的情况下，切换为免提模式。
[变形例(3)——多个用户的脸部图像]
作为变形例，例如也能够实现这样的使用方法，即，在桌上放置了1个便携信息终端1的状态下，多个用户使用该同一便携信息终端1作为一方的发送方的通话者与对方(用户B)进行视频电话。该情况下，变形例的便携信息终端1对广角图像内包括的多个用户的多个脸，同时并行地进行脸部检测和畸变校正等处理。另外，此时，便携信息终端1可以按广角图像中拍摄到的每个用户的脸，分离地生成多个发送图像D12，也可以生成包括多个脸部的1个发送图像D12。
图24中(A)表示该变形例的包括多个用户的脸部的图像示例。表示了作为进行视频电话的一方的通话者，除主要的用户A之外还存在其他用户C的情况。便携信息终端1从前置摄像头C1的广角图像内，检测用户A的脸部的区域RU1和用户C的脸部的区域RU2。便携信息终端1例如设定包括这2个脸部区域的区域241(例如横长的矩形)，生成为发送图像D12。或者，便携信息终端1也可以将这2个脸部区域分别设定为各自的裁剪图像242、243，生成各自的发送图像D12并列地显示。在用户是3人以上的情况下也能够基本上同样地实现，但为了不使人数过多，限制为最多规定人数(例如4人)的脸。便携信息终端1可以在显示屏幕DP内显示多个用户各自脸部的监视图像D13。
另外，便携信息终端1可以通过广角图像的图像处理，特别是嘴巴状态的检测，掌握广角图像内的多个脸部中的哪个脸部的用户当前正在说话，并生成关于当前正在说话的用户的脸的发送图像D12等。进而，便携信息终端1也可以通过使图像处理与麦克风17的声音处理联动，来掌握广角图像内的多个脸部中的哪个脸部的用户当前正在说话。便携信息终端1可以将多个用户的监视图像D13并列地显示在显示屏幕DP内，也可以按时间轴切换地显示。
另外，在上述处理多个用户的脸部的情况下，也可以仅将便携信息终端1中预先登记了脸部图像作为登记图像D10的多个用户视作对象，进行上述处理。便携信息终端1对于没有预先登记的人(行人等)的脸部不进行处理。另外，便携信息终端1在一部分用户的脸部不能及时处理等情况下，可以使用登记图像D10代替，也可以使用其他图标或风景等图像代替。
上述(A)的图像示例中，从前置摄像头C1看来，在某一方向的视角内的区域(例如(B)的y轴的下侧的区域L1)拍摄到多个人(用户A、用户C)的脸部。但不限于此，相对于水平面s0上的便携信息终端1的位置，在各个人位于其周围的水平视角不同的各处情况下，通过使用前置摄像头C1的广角视角也能够加以应对。例如，在图24的(B)的广角图像G1的外周附近的区域，无论在y轴的上下、x轴的左右的哪个区域L1～L4中存在脸部，都能够应对。即，能够在1个广角图像内捕捉该多个人的多个脸部，能够用作发送图像D12。
[变形例(4)——对方图像修正功能]
图25表示变形例的便携信息终端1中具备的对方图像修正功能。变形例的便携信息终端1在如图7所示在显示屏幕DP内(区域R1)显示对方的图像时，使用该对方图像修正功能显示倒梯形校正后的图像。
图25中(A)表示从对方(用户B)的便携信息终端2接收的普通的对方图像的例子。在便携信息终端1的显示屏幕DP内的区域R1中，显示了对方的直角四边形的图像g1。
图25中(B)示意性地表示在如图2所示的状态下，从用户A的眼睛(点P1)观看位于斜下方的(A)的图像g1时的视觉效果。(B)的状态下，图像g1看起来是顶边比底边小的梯形形状。即，从用户A看来，用户B的头部一侧看起来相对略小。
便携信息终端1基于前置摄像头C1的广角图像的分析和传感器类30的检测信息，掌握用户A与终端的位置关系、终端的配置状态。例如，便携信息终端1根据图像内的用户A的眼睛的位置、视线的方向、脸的大小等，推测用户A的脸部的位置及其与终端的距离等状态。便携信息终端1按照掌握的状态，相应设定倒梯形校正时的比率(顶边与底边的比率)等。便携信息终端1对从对方的便携信息终端2接收的直角四边形的图像，按照该比率等进行倒梯形校正处理，得到倒梯形形状的图像。上述比率也可以为预先设定的值。
图25中(C)表示对(A)的图像g1进行倒梯形校正后的图像g1b。该图像g1b是倒梯形形状，是顶边大而底边小的梯形。便携信息终端1将该倒梯形形状的图像g1b显示在显示屏幕DP内的区域R1内。用户A在图2的状态下，从眼睛(点P1)观看斜下方的显示屏幕DP内的区域R1内的对方的图像g1b。这样，在该状态下，从用户A看来对方图像看起来是接近(A)所示的直角四边形的形状。由此，用户A更易于观看对方图像，易用性更好。
[变形例(5)——三维图像处理功能]
作为变形例，便携信息终端1可以使用不限于二维图像，还能够对三维图像进行处理的功能(三维图像处理功能)。例如，摄像部11(例如普通摄像头C2)也可以具备公知的红外线摄像功能和三维传感器模块。拍摄处理部12使用它将前置摄像头C1的广角图像视为三维图像进行处理。例如，便携信息终端1用该红外线摄像功能和三维传感器模块，例如对用户的脸部照射数万个以上的红外线点。便携信息终端1用红外线摄像头对该红外线点进行摄像，根据该图像读取脸部表面的微妙的凹凸，生成脸部三维映射图(对应的三维图像)。便携信息终端1可以对该三维图像进行畸变校正处理等。另外，便携信息终端1也可以将该三维图像与登记图像D10中的三维脸部图像信息对照，来进行三维的脸部校正处理。该情况下，能够进行更清晰、细微的校正。
另外，便携信息终端1在进行这样的三维的高级校正时，也可以不仅单纯地对照图像，而是使用深度学习等机器学习功能进行分析。例如，便携信息终端1可以内置具有深度学习功能的AI引擎(软件和硬件，能够进行基于卷积神经网络的深度学习)。便携信息终端1通过使用该AI引擎根据摄像图像对用户的脸部进行学习，提高脸部检测和脸部校正的性能。由此，例如具体而言，能够考虑人的发型和化妆引起的变化、眼镜或太阳镜的有无、胡须的生长程度等差异和影响，在此基础上进行用户A的脸部的检测、识别和校正。
另外，便携信息终端1在个人识别功能201B中，也可以对登记图像D10的三维图像与前置摄像头C1拍摄并经过畸变校正后的三维脸部图像进行比较对照。由此，能够更高精度地进行个人识别，判断是否是用户A本人。
[变形例(6)——指向性麦克风，指向性扬声器]
作为变形例，图3的便携信息终端1的麦克风17也可以采用指向性麦克风。指向性麦克风包括噪音消除功能等声音处理功能。控制器10使用麦克风17，优先采集来自用户A的脸部所处方向的声音。控制器10利用噪音消除功能消除输入声音中的噪音，得到清晰的用户A的声音。控制器10将该声音数据与发送图像D12一同发送至对方的便携信息终端2。其中，能够通过掌握便携信息终端1的状态以及使用图像内的脸部检测，来掌握从便携信息终端1看来用户A的脸部所处的方向。
麦克风17可以应用公知的MEMS麦克风等，利用公知的波束成形技术实现指向性和噪音消除功能。例如，在要实现噪音消除功能的情况下，通常需要多个麦克风。但是，在便携信息终端1是小型装置的情况下，可能无法安装多个麦克风。该情况下，便携信息终端1通过安装MEMS麦克风，能够利用波束成形技术从多个声源中分离并强调特定声源。由此，能够仅强调用户A的声音。
另外，便携信息终端1通过使用前置摄像头C1，能够以一定程度的精度识别用户A的位置和方向。于是，便携信息终端1使用前置摄像头C1大致识别用户A的位置和方向。便携信息终端1可以针对该识别出的位置和方向，使用上述麦克风17和波束成形技术，优先地强调并取得来自该方向的声音。
另外，作为变形例，便携信息终端1也可以基于麦克风17的声音分析，大致推测用户A的脸部的位置和方向。便携信息终端1可以按照该脸部的位置和方向，进行广角图像的脸部检测等处理。
同样地，作为扬声器18，也可以使用指向性扬声器。可以按照用户A的脸部相对于终端的位置，控制扬声器18的声音输出的指向性和音量等。
以上基于实施方式具体地说明了本发明，但本发明不限定于上述实施方式，能够在不脱离其主旨的范围内进行各种变更。
附图标记说明
1……便携信息终端，2……便携信息终端，s0……水平面，s1……正面，s2……背面，DP……显示屏幕，C1……前置摄像头，J1、J2、J3……方向，AV1、AV2……视角，θ1、θ2……角度，P1、PC1、PD……点，ANG1、ANG2……角度，AD1……角度差。

Claims (17)

1.一种具有视频电话功能的便携信息终端，其特征在于：
在平板形状的壳体的设置有显示屏幕的正面的规定位置，设置有包括广角镜头的第一摄像机，
在第一用户使用所述视频电话功能与对方的第二用户之间进行视频电话时，以所述壳体平放地配置在物体的第一面上、且所述第一用户的脸部包含在所述第一摄像机的第一视角的范围内的状态作为第一状态，
在所述第一状态下，从所述第一摄像机拍摄的广角图像中，检测包括所述第一用户的脸部的第一区域，并裁剪出与所述第一区域对应的第一图像，基于所述第一图像，生成用于对所述第二用户的便携信息终端即对方终端发送的发送图像，将所述发送图像发送到所述对方终端。
2.如权利要求1所述的便携信息终端，其特征在于：
对所述广角图像中的至少所述第一图像进行畸变校正处理以消除或减小所述广角镜头引起的畸变，基于校正后图像生成所述发送图像。
3.如权利要求2所述的便携信息终端，其特征在于：
在所述第一状态下，从所述广角图像中检测包括所述第一用户的脸部的所述第一区域，并裁剪出与所述第一区域对应的所述第一图像，对所述第一图像进行所述畸变校正处理。
4.如权利要求2所述的便携信息终端，其特征在于：
在所述第一状态下，对所述广角图像进行所述畸变校正处理，从畸变校正后图像中检测包括所述第一用户的脸部的所述第一区域，并裁剪出与所述第一区域对应的所述第一图像。
5.如权利要求1所述的便携信息终端，其特征在于：
以所述第一面为基准，所述第一摄像机的所述第一视角具有从30度以下的第一角度至150度以上的第二角度的角度范围，
在所述第一状态下，在所述第一视角中从所述第一角度至90度的角度范围内具有第二视角，其中所述第一用户的脸部包含在所述第二视角内。
6.如权利要求1所述的便携信息终端，其特征在于：
生成监视图像，其中所述监视图像的图像内容与所述发送图像对应，
将所述监视图像显示在所述显示屏幕内的区域中，
基于所述第一用户对所述监视图像的确认和规定操作，决定是允许还是拒绝发送所述发送图像。
7.如权利要求6所述的便携信息终端，其特征在于：
将包括所述第一用户的脸部的图像或能够代表所述第一用户的任意图像预先登记为登记图像，
在所述发送图像被拒绝发送的情况下，使用所述登记图像生成所述发送图像的替代图像。
8.如权利要求1所述的便携信息终端，其特征在于：
将包括所述第一用户的脸部的图像或能够代表所述第一用户的任意图像预先登记为登记图像，
在不能从所述广角图像中检测出包括所述第一用户的脸部的所述第一区域的情况下，使用所述登记图像生成所述发送图像的替代图像。
9.如权利要求2所述的便携信息终端，其特征在于：
对经过所述畸变校正处理后的图像进行梯形校正处理，所述梯形校正处理用于校正因所述第一状态的位置关系而产生的梯形形状的图像内容。
10.如权利要求1所述的便携信息终端，其特征在于：
所述第一摄像机设置在所述壳体的所述正面的第一位置，在第二位置设置有视角比所述第一摄像机窄的第二摄像机，
在处于第二状态的情况下，切换为使用所述第二摄像机进行视频电话的模式，其中在所述第二状态下，所述壳体的所述正面被配置在所述第一用户的脸部的对面的位置。
11.如权利要求1所述的便携信息终端，其特征在于：
使用包括加速度传感器和陀螺仪传感器的传感器取得所述壳体的状态，在得知处于所述第一状态的情况下，或者接收到所述第一用户进行的规定操作的情况下，从非免提的第一模式切换为免提的第二模式，然后进行所述发送图像的生成。
12.如权利要求1所述的便携信息终端，其特征在于：
按照所述广角图像内的包括所述第一用户的脸部的所述第一区域的位置，从非免提的第一模式切换为免提的第二模式，然后进行所述发送图像的生成。
13.如权利要求1所述的便携信息终端，其特征在于：
将包括所述第一用户的脸部的图像预先登记为登记图像，
基于从所述广角图像中检测出的所述第一区域与所述登记图像的比较，在识别出所述第一用户是特定个人的情况下，进行所述发送图像的生成，在没能识别出所述第一用户是特定个人的情况下，不进行所述发送图像的生成。
14.如权利要求1所述的便携信息终端，其特征在于：
从所述广角图像中检测包括特定物体的第二区域，并裁剪出与所述第二区域对应的第二图像，基于所述第二图像生成所述发送图像，其中所述特定物体位于所述第一用户的脸部周围的范围内。
15.如权利要求1所述的便携信息终端，其特征在于：
从所述广角图像中检测多个人的多个脸部作为所述第一用户，生成包含所述多个脸部的所述发送图像，或者生成所述多个脸部的各个脸部的所述发送图像。
16.如权利要求1所述的便携信息终端，其特征在于：
在将从所述对方终端接收的对方图像显示在所述显示屏幕内的区域中时，对所述对方图像进行倒梯形校正之后再进行显示。
17.如权利要求1所述的便携信息终端，其特征在于：
基于所述广角图像或传感器，推测包括所述第一用户的脸部相对于所述壳体的方向的位置关系，按照所推测的方向，控制麦克风的声音输入方向或扬声器的声音输出方向。
CN201880094250.2A 2018-06-07 2018-06-07 便携信息终端 Pending CN112219393A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021811 WO2019234877A1 (ja) 2018-06-07 2018-06-07 携帯情報端末

Publications (1)

Publication Number Publication Date
CN112219393A true CN112219393A (zh) 2021-01-12

Family

ID=68769834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094250.2A Pending CN112219393A (zh) 2018-06-07 2018-06-07 便携信息终端

Country Status (4)

Country Link
US (2) US11627007B2 (zh)
JP (1) JP7075995B2 (zh)
CN (1) CN112219393A (zh)
WO (1) WO2019234877A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129238A (zh) * 2021-04-29 2021-07-16 青岛海信移动通信技术股份有限公司 拍照终端及图像校正方法
WO2023010661A1 (zh) * 2021-08-04 2023-02-09 展讯通信（上海）有限公司 图像裁剪方法及相关产品

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
US20210226710A1 (en) * 2020-01-17 2021-07-22 Lisnr Audio transmitter/receiver array
CN113259549A (zh) * 2020-02-13 2021-08-13 宏碁股份有限公司 配置鱼眼镜头相机的方法和使用所述方法的电子装置
JP7472553B2 (ja) 2020-03-09 2024-04-23 株式会社リコー 画像処理システム、情報処理装置および方法
CN116158086A (zh) * 2020-07-22 2023-05-23 佳能株式会社 电子设备及其控制方法
CN114363500A (zh) * 2020-09-29 2022-04-15 宇龙计算机通信科技(深圳)有限公司 拍照方法、电子设备及计算机可读存储介质
US11219371B1 (en) 2020-11-09 2022-01-11 Micron Technology, Inc. Determining biometric data using an array of infrared illuminators
US11350059B1 (en) * 2021-01-26 2022-05-31 Dell Products, Lp System and method for intelligent appearance monitoring management system for videoconferencing applications
US11599190B2 (en) * 2021-06-23 2023-03-07 Hewlett-Packard Development Company, L.P. Pivotable acoustic devices
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251507B2 (en) * 2000-09-12 2007-07-31 Matsushita Electric Industrial Co., Ltd. On-vehicle handsfree system and mobile terminal thereof
JP2004118314A (ja) * 2002-09-24 2004-04-15 Advanced Telecommunication Research Institute International 発話者検出システムおよびそれを用いたテレビ会議システム
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
JP4466826B2 (ja) 2003-12-10 2010-05-26 株式会社アマチ 携帯型電話機
JP2006067436A (ja) * 2004-08-30 2006-03-09 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
US20060148517A1 (en) * 2004-12-30 2006-07-06 Lg Electronics Inc. Video conference feature for a mobile communication terminal
JP2007017596A (ja) 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2008219744A (ja) * 2007-03-07 2008-09-18 Ntt Docomo Inc テレビ電話機能付き端末装置及びテレビ電話方法
JP5327468B2 (ja) * 2009-08-04 2013-10-30 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
EP2478464B1 (en) * 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
JP2013083755A (ja) * 2011-10-07 2013-05-09 Canon Inc 表示装置、表示装置の制御方法、プログラム
JP6058978B2 (ja) * 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
WO2015182440A1 (ja) * 2014-05-29 2015-12-03 シャープ株式会社 テレビ会議システム
KR20170020069A (ko) * 2015-08-13 2017-02-22 엘지전자 주식회사 이동 단말기 및 그의 영상촬영 방법
JP6551155B2 (ja) * 2015-10-28 2019-07-31 株式会社リコー 通信システム、通信装置、通信方法およびプログラム
US11681748B2 (en) * 2016-04-06 2023-06-20 Worldwide Live Holding, Llc Video streaming with feedback using mobile device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129238A (zh) * 2021-04-29 2021-07-16 青岛海信移动通信技术股份有限公司 拍照终端及图像校正方法
CN113129238B (zh) * 2021-04-29 2023-01-06 青岛海信移动通信技术股份有限公司 拍照终端及图像校正方法
WO2023010661A1 (zh) * 2021-08-04 2023-02-09 展讯通信（上海）有限公司 图像裁剪方法及相关产品

Also Published As

Publication number Publication date
JPWO2019234877A1 (ja) 2021-06-03
WO2019234877A1 (ja) 2019-12-12
JP7075995B2 (ja) 2022-05-26
US20230224179A1 (en) 2023-07-13
US20210218589A1 (en) 2021-07-15
US11627007B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
CN112219393A (zh) 便携信息终端
JP4575443B2 (ja) 顔画像の補正
JP4448177B2 (ja) Ｔｖ電話機能の撮影画像処理切り替え装置
WO2016038976A1 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP5720068B1 (ja) 自己撮影機能付スマートグラス
WO2022057723A1 (zh) 一种视频的防抖处理方法及电子设备
WO2015198692A1 (ja) 画像表示装置及び画像表示方法
JP5294889B2 (ja) 撮像装置及び撮像方法
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
JP7286838B2 (ja) 携帯情報端末
JP6450604B2 (ja) 画像取得装置及び画像取得方法
JP2023099729A (ja) 携帯情報端末
JP6885133B2 (ja) 画像処理装置、撮像システム、画像処理方法及びプログラム
CN112653830B (zh) 合影拍摄实现方法、可穿戴设备、计算机设备和存储介质
JP2006238033A (ja) 電子機器
JP2022140417A (ja) 撮像装置、キャリブレーションシステム、及び撮像装置の制御方法並びにプログラム
JP2005117106A (ja) 撮像機能付携帯電話機とその制御方法及び制御プログラム
JP7054437B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101879813B1 (ko) 눈 맞춤 가능한 영상 촬영 핸드폰
JP6700770B2 (ja) 表示装置、その制御方法、および制御プログラム
JP2023067530A (ja) 撮像装置及びその制御方法並びにプログラム
JP2016019092A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
KR20160149945A (ko) 이동 단말기
JP2022140418A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220308

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.