CN102783174B - 图像处理设备、内容传递系统、图像处理方法和程序 - Google Patents

图像处理设备、内容传递系统、图像处理方法和程序 Download PDF

Info

Publication number
CN102783174B
CN102783174B CN201180011876.0A CN201180011876A CN102783174B CN 102783174 B CN102783174 B CN 102783174B CN 201180011876 A CN201180011876 A CN 201180011876A CN 102783174 B CN102783174 B CN 102783174B
Authority
CN
China
Prior art keywords
data
upper body
face
view data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180011876.0A
Other languages
English (en)
Other versions
CN102783174A (zh
Inventor
小平孝之
今泉聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corporation
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN102783174A publication Critical patent/CN102783174A/zh
Application granted granted Critical
Publication of CN102783174B publication Critical patent/CN102783174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文公开了一种图像处理设备，包括：上身特征数据存储单元(110)，针对多个方向中的每个方向结合方向数据存储上身方向特征数据，所述上身方向特征数据指示人的上身，并且指示该上身面对特定方向，所述方向数据指示所述上身方向特征数据的方向；以及上身检测单元(140)，通过读取上身特征数据存储单元(110)中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。

Description

图像处理设备、内容传递系统、图像处理方法和程序
技术领域
本发明涉及一种图像处理设备、一种内容传递系统、一种图像处理方法以及一种程序，用于从图像中提取人像。
背景技术
一种图像显示设备安装在有任意行人经过的位置处并且使用该图像显示装置向行人提供信息的服务(在下文中被称作“数字标牌”)已经普及。作为与这种服务有关的技术之一，专利文献1中公开了一种技术。该技术使得能够获得与行人的脸部、上半身或整个身体有关的图像信息，并且基于该图像信息通过对脸部配置进行参数化来提取脸部配置作为特征值，从而基于提取的特征值来确定要提供给行人的信息。
现有技术文献
专利文献
[专利文献1]日本待审专利申请公开No.2003-271084
发明内容
本发明要解决的技术问题
在数字标牌中，重要的是检测在图像显示设备前面经过的人的个数以及行人身体的方向，以便测量信息供应的效果。在现有技术中，由于从图像数据中直接提取脸部图像，因此很难检测脸部没有被充分拍摄在图像数据中的人，例如，面向后的人。因此期望开发一种技术，使得能够与人的方向无关地精确检测人像并且使得能够检测人身体的方向。
本发明的目的是提供一种图像处理设备，一种内容传递系统、一种图像处理方法以及一种程序，使得能够与人的方向无关地精确检测人像并且使得能够检测人身体的方向。
解决问题的技术手段
根据本发明，提供了一种图像处理设备，包括：上身特征数据存储单元，针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示人的上身，并且指示该上身面对特定方向，方向数据指示上身方向特征数据的方向；以及上身检测单元，通过读取上身特征数据存储单元中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。
根据本发明，提供了一种内容传递系统，包括：内容存储单元，存储图像内容；图像显示设备，通过通信网络接收内容存储单元中存储的图像内容，并且显示接收到的图像内容；成像设备，对图像显示设备前面的区域进行成像，并且产生图像数据；以及图像处理设备，通过通信网络接收图像数据，并且对接收到的图像数据进行处理。图像处理设备包括：上身特征数据存储单元，针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示人的上身，并且指示上身面对特定方向，方向数据指示上身方向特征数据的方向；以及上身检测单元，通过读取上身特征数据存储单元中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。
根据本发明发明，提供了一种图像处理设备，包括：图像获取单元，获得图像数据；以及图像处理单元，从获得自图像获取单元的图像数据中提取对人的上身加以指示的上身图像数据，并且指定上身图像数据所指示的身体的方向。
根据本发明，提供了一种图像处理方法，包括：允许计算机针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示人的上身，并且指示该上身面对特定方向，方向数据指示上身方向特征数据的方向；并且允许计算机通过使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。
根据本发明，提供了一种使计算机起到图像处理设备作用的程序，该程序使计算机实现以下功能：针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示人的上身，并且指示该上身面对特定方向，方向数据指示上身方向特征数据的方向；并且通过使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。
本发明的效果
根据本发明，能够与人的方向无关地精确检测人像并且能够检测人身体的方向。
附图说明
在以下描述的优选实施例和附图中上述目的和其他目的、特征以及优点将进一步变得显而易见。
图1是示出了根据第一实施例的图像处理设备的配置的框图。
图2是示出了上身特征数据存储单元中以表格形式存储的数据的配置的视图。
图3是示出了脸部特征数据存储单元中以表格形式存储的数据的配置的视图。
图4是示出了脸部图像存储单元中以表格形式存储的数据的配置的视图。
图5是示出了图1中示出的图像处理设备的操作的流程图。
图6是示出了脸部图像存储单元中存储的数据的配置的修改的视图。
图7是示出了根据第二实施例的图像处理设备的功能配置的框图。
图8是示出了上身图像存储单元中以表格形式存储的数据的配置的视图。
图9是示出了图7中示出的图像处理设备的操作的流程图。
图10是示出了根据第三实施例的图像处理设备的功能配置的框图。
图11是示出了属性数据存储单元中以表格形式存储的数据的视图。
图12是示出了脸部图像存储单元中以表格形式存储的数据的视图。
图13是示出了根据第四实施例的图像处理设备的功能配置的框图。
图14是示出了收视率存储单元中以表格形式存储的数据的视图。
图15是示出了收视率计算单元的操作的流程图。
图16是示出了根据第五实施例的内容传递系统的配置的视图。
图17是示出了图像处理设备的功能配置的框图。
图18是示出了显示控制单元所执行的过程的示例的流程图。
具体实施方式
在下文中，参照附图描述本发明的实施例。此外，现在应当参照附图，贯穿附图相同的附图标记用于表示相同组件，并且不再重复其描述。此外，在以下每个实施例中，“存储”包括两种情况：将数据临时存储在存储器中，以及将数据存储和保持在硬盘等上。因此，在硬件配置中，存储单元可以是存储器、硬盘、存储装置等。
此外，在以下每个实施例中，上身方向特征数据指示从图像数据中提取人的上身时使用的数据。具体地，上身方向特征数据是指示人的上身并且指示该上身面对特定方向的数据。此外，方向数据是指示人的上身或脸部所面对的方向的数据。脸部特征数据指示从图像数据中提取人的脸部时使用的数据。视频识别信息指示用于相互识别图像处理设备100所处理的视频数据的数据。
第一实施例
图1是示出了根据第一实施例的图像处理设备100的配置的框图。图像处理设备100包括上身特征数据存储单元110和上身检测单元140。上身特征数据存储单元110针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示人的上身，并且指示该上身面对特定方向，方向数据指示上身方向特征数据的方向。这里上身指示人体部位，包括：例如头部和肩膀。上身检测单元140通过读取上身特征数据存储单元110中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据。
此外，图像处理设备100包括脸部特征数据存储单元120、图像数据获取单元130、脸部图像检测单元150、以及脸部图像存储单元160。
脸部特征数据存储单元120结合方向数据存储脸部方向特征数据，脸部方向特征数据指示人的脸部，并且指示该脸部面对特定方向。
图像数据获取单元130获得图像处理设备100处理的图像数据和用于将图像数据与其他图像数据相区分的图像识别信息。图像数据可以是指示静止图像的图像数据，或者可以是指示视频的每个帧的多个图像数据。
脸部图像检测单元150结合方向数据获得上身图像数据，方向数据对应于提取上身图像数据时使用的上身方向特征数据，并且从脸部特征数据存储单元120中读取与获得方向数据相对应的脸部特征数据。之后，脸部图像检测单元150使用读取的脸部特征数据从上身图像数据中提取对人的脸部加以指示的脸部图像数据。然而，脸部图像检测单元150可以使用与获得的方向数据不相对应的脸部特征数据来提取脸部图像数据。
脸部图像存储单元160存储脸部图像检测单元150检测到的脸部图像数据。脸部图像存储单元160可以结合脸部图像数据存储与提取脸部图像数据时使用的脸部方向特征数据相对应的方向数据。
同时，图1中示出的图像处理设备100的每个组件不指示硬件单元的配置，而是指示功能单元的模块。图像处理设备100的每个组件可以基于随机计算机中央处理单元(CPU)、存储器、实现图1中示出的组件的程序，使用硬件和软件的随机组合来实现，并且加载到存储程序的存储器、存储装置(例如，硬盘)以及用于连接网络的接口中。
图2是示出了上身特征数据存储单元110中以表格形式存储的数据的配置的视图。上身特征数据存储单元110针对多个方向中每个方向(角度)存储面对相关方向的人的上身图像特征数据(上身方向特征数据)。上身方向特征数据的数据配置可以根据与上身方向特征数据相对应的方向而不同。例如，基于对两只手成像的方向、身体形状、脸部形状、眼睛的个数等来确定上身方向特征数据。
图3是示出了脸部特征数据存储单元120中以表格形式存储的数据的配置的视图。脸部特征数据存储单元120针对多个方向中每个方向(角度)存储提取面对相关方向的人的脸部图像时使用的特征数据(脸部特征数据)。例如，基于脸部的形状、眼睛的个数等来确定脸部特征数据。
图4是示出了脸部图像存储单元160中以表格形式存储的数据的配置的视图。对于每个图像识别信息，脸部图像存储单元160存储从与相关图像识别信息相对应的图像数据中提取的脸部图像数据。在图4中示出的示例中，图像数据与视频数据中包括的每个帧相对应。因此，图像识别信息包括用于识别视频数据的视频识别信息，以及用于指定帧的信息(例如，时间信息)。此外，脸部图像存储单元160结合与脸部图像数据相对应的方向数据来存储脸部图像数据。例如，脸部图像存储单元160包括图4中示出了针对每个图像识别信息和每个方向数据的表格。
图5是示出了图1中示出的图像处理设备100的操作的流程图。包括图5中以下描述的过程在内的过程中的每个可以立即执行，或者可以基于批处理以适当的时序来执行。
首先，在步骤S10中，图像处理设备100的图像数据获取单元130结合图像识别信息获得图像数据。上身检测单元140获得通过图像数据获取单元130获得的图像数据和图像识别信息。随后，在步骤S20中，上身检测单元140结合方向数据从上身特征数据存储单元110中读取任一上身方向特征数据。其后，在步骤S30中，上身检测单元140使用读取的上身方向特征数据，通过处理图像数据来提取上身图像数据。其后，上身检测单元140向脸部图像检测单元150输出提取的上身图像数据。此时，上身检测单元140结合上身图像数据将图像识别信息和方向数据提供给脸部图像检测单元150，方向数据对应于步骤S20中读取的上身方向特征数据。
随后，在步骤S40中，脸部图像检测单元150从脸部特征数据存储单元120中读取与从上身检测单元140获得的方向数据相对应的脸部方向特征数据。随后在步骤S50中，脸部图像检测单元150使用读取的脸部方向特征数据，从获得自上身检测单元140的上身图像数据中提取脸部图像数据。其后，在S60中，脸部图像检测单元150结合从上身检测单元140获得图像识别信息和方向数据将提取的脸部图像数据存储在脸部图像存储单元160中。然而，如上所述，脸部图像检测单元150可以使用与获得的方向数据不相对应的脸部特征数据来提取脸部图像数据。
在步骤S62中，图像处理设备100对所有上身方向特征数据执行步骤S20至S60中示出的过程。
随后，描述本实施例的操作和效果。在本实施例中，图像处理设备100的上身特征数据存储单元110存储与每个方向数据的方向相对应的上身方向特征数据。此外，上身检测单元140使用上身方向特征数据存储单元110中存储的上身方向特征数据从图像数据中提取上身图像数据。因此，不管人的方向如何，都能够精确检测人像并且能够检测人身体的方向。
此外，脸部图像检测单元150从通过上身检测单元140检测到的上身图像数据中检测脸部图像数据。因此，与从图像数据中直接检测脸部图像相比，能够精确检测脸部图像数据。
同时，如图16所示，除了与提取脸部图像数据时使用的脸部特征数据相对应的方向数据(脸部的方向)以外，脸部图像存储单元160还可以结合与从中提取处脸部图像数据的上身图像数据相对应的方向数据(上身方向)来存储脸部图像数据。
第二实施例
图7是示出了根据第二实施例的图像处理设备100的功能配置的框图。除了包括上身图像存储单元145以外，根据第二实施例的图像处理设备100的功能配置与根据第一实施例的图像处理设备100的功能配置相同。上身图像存储单元145结合方向数据存储上身检测单元140检测到的上身图像数据，方向数据对应于当提取上身图像数据时使用的上身方向特征数据。
图8是示出了上身图像存储单元145中以表格形式存储的数据的配置的视图。上身图像存储单元145针对每个图像识别信息存储从与图像识别信息相对应的图像数据中提取的上身图像数据。该图像识别信息的配置与参照图4描述的根据第一实施例的配置相同。此外，上身图像存储单元145结合与上身图像数据相对应的方向数据存储上身图像数据。例如，上身图像存储单元145包括图8中示出的针对每个图像识别上身和每个方向数据的表格。
图9是示出了图7中示出的图像处理设备100的操作的流程图。由于步骤S10至S30中提取上身图像数据的过程与第一实施例中参照图5描述的过程相同，因此不再重复其描述。
当提取上身图像数据时，在步骤S32中，上身检测单元140结合图像识别信息存储上身图像存储单元145中提取的上身图像数据。之后，在步骤S34中，上身检测单元140对所有上身方向特征数据执行步骤S20至S32中示出的过程。
其后，脸部图像检测单元150仅读取与特定方向数据相对应的上身图像数据。即，在步骤S36中，脸部图像检测单元150不读取与至少一个预定方向数据(例如，面向后(180°)或者面向侧方(90°和270°))相结合的上身图像数据，而是读取与剩余方向数据(例如，面向前(0°))相结合的上身图像数据。
由于步骤S40至S60中的后续过程与第一实施例中的过程相同，因此不再重复其描述。
根据第二实施例，能够获得根据第一实施例的相同效果。此外，由于包括上身图像存储单元145，因此能够使用提取的上身图像数据和指示上身图像数据的方向的方向数据来处理上身图像数据。例如，在图9中示出的示例中，脸部图像检测单元150不对所有上身图像数据执行脸部图像提取过程，而是仅对指示上身面向特定方向(例如，前向)的上身图像数据执行脸部图像提取过程。因此，能够减小图像处理设备100的工作量。
第三实施例
图10是示出了根据第三实施例的图像处理设备100的功能配置的框图。除了包括属性检测单元170和属性数据存储单元175以外，根据第三实施例的图像处理设备100具有与根据第一和第二实施例的图像处理设备100相同的配置。同时，图10示出了与第二实施例相同的情况。
属性数据存储单元175例如基于每个方向数据，针对每个属性(例如针对每个年龄和性别)，存储对脸部特征加以指示的属性特征数据。属性检测单元170通过读取并且使用属性数据存储单元175中存储的属性特征数据，针对每个年龄和性别对脸部图像存储单元160中存储的脸部图像数据执行分类。
具体地，属性检测单元170结合方向数据从脸部图像存储单元160中读取脸部图像数据。其后，属性检测单元170从属性数据存储单元175中读取与从脸部图像存储单元160中读取的方向数据相对应的属性特征数据。其后，属性检测单元170使用从属性数据存储单元175中读取的特征数据，设置对从脸部图像存储单元160中读取的脸部图像数据的属性加以指示的数据。其后，属性检测单元170结合脸部图像数据存储对脸部图像存储单元160中的属性加以指示的数据。
同时，可以仅对与预定方向数据(例如，指示人面向前的方向数据)相对应的脸部图像数据执行属性检测单元170所执行的过程。
图11是示出了属性数据存储单元175中以表格形式存储的数据的视图。如图11所示，属性数据存储单元175针对每个年龄和性别，结合方向数据存储对脸部特征加以指示的属性特征数据。同时，尽管在图11所示的示例中年龄组以10年为单位相区分，但是用于限定年龄的单位不限于此。此外，在图11所示的示例中，属性数据存储单元175存储方向数据为0°时(即，人面向前时)使用的特征数据，属性数据存储单元175还可以存储人面向其他方向时使用的特征数据。
图12是示出了根据第三实施例的脸部图像存储单元160中以表格形式存储的数据的视图。除了图4中示出的数据以外，根据第三实施例的脸部图像存储单元160还结合脸部图像数据存储指示属性的数据。
根据第三实施例，能够获得根据第一和第二实施例的相同效果。此外，由于脸部图像数据与指示属性的属性相结合，能够分析与特定属性相对应的人所面对的方向。此外，由于属性数据存储单元175针对每个方向数据存储属性数据，因此，属性检测单元170可以高精度地设置针对每个脸部图像数据的属性。
第四实施例
图13是示出了根据第四实施例的图像处理设备100的功能配置的框图。除了以下几点以外，根据第四实施例的图像处理设备100的配置与第二或第三实施例相同。同时，图13示出了与第三实施例相同的情况。
在第四实施例中，通过对图像处理设备前面的区域成像来产生图像数据。此外，将多个方向数据分为可视方向数据和非可视方向数据。可视方向数据指示所述图像数据所指示的上身面对图像显示设备，非可视方向数据指示上身图像数据所指示的上身不面对图像显示设备。
此外，图像处理设备100包括上座率计算单元180和上座率存储单元185。上座率计算单元180使用上身图像存储单元145中存储的上身图像数据来计算图像显示设备的上座率。例如，计算上座率，作为与可视方向数据相对应的上身图像数据的个数与上身图像数据的总数的比值。当存在多个图像处理设备100时，上座率存储单元185计算图像处理设备100的各个识别信息的上座率。上座率存储单元185结合指示日期和时间的信息存储上座率计算单元180所计算的上座率。
图14是示出了上座率存储单元185中以表格形式存储的数据的视图。上座率存储单元185针对每个日期和每个时间间隙存储上座率。当存在多个图像处理设备100时，上座率存储单元185可以针对每个日期和每个时间间隙存储图像处理设备100的每个识别信息的上座率。然而，上座率单元不限于此，并且取而代之可以针对图像处理设备100的每个识别信息存储总上座率。
图15是示出了上座率计算单元180的操作的流程图。上座率计算单元180以预定时序执行图15中示出的过程。
首先，上座率计算单元180针对每个预定时间时隙求出上身图像存储单元145中存储的上身图像数据的个数。因此，在步骤S110中计算该时间间隙期间上身图像数据的个数(即，在图像处理设备前面经过的人的个数)。
随后，上座率计算单元180针对每个预定时隙求出与上身图像存储单元145中存储的上身图像数据的可视方向数据相对应的上身图像数据的总数。因此，在步骤S120中计算该时间间隙期间估计已经观看到图像处理设备的人的个数。
随后，在步骤S130中，上座率计算单元180通过用步骤S120中计算的个数除以步骤S110中计算的个数来针对每个预定时间间隙计算上座率。其后，在步骤S140中，上座率计算单元180将针对每个时间间隙的上座率存储在上座率存储单元185中。
在第四实施例中，能够执行与第二或第三实施例的相同过程并且获得相同效果。此外，尽管上座率计算单元180计算上座率，但是上座率是基于上身图像数据的个数来计算的。即，第四实施例中作为上座率的人数参数的数据包括仅使用脸部检测难以检测到的人(例如，面向侧面或面向后的人)。因此，能够以高精度计算上座率。
此外，存在以下情况：能够通过分析与非可视方向数据相对应的上身图像数据的个数来估计为什么经过图像处理设备前面区域的人不能观看到图像处理设备的原因。
同时，在第四实施例中，可以通过对展示空间成像来产生图像处理设备100处理的图像数据。在这种情况下，通过使用图像处理设备100，能够计算展示空间的上座率，即，观看到展示空间的人的个数与经过展示空间前面区域的人的总数的比值。
此外，当脸部图像存储单元160具有图6中示出的数据配置时，上座率计算单元180可以使用脸部图像存储单元160中存储的数据来计算上座率。在这种情况下，上座率计算单元180可以基于上身方向和脸部方向单独计算上座率。在这种情况下，脸部特征数据存储单元120针对每个脸部方向而不管上身图像数据所指示的上身方向来存储脸部特征数据。此外，脸部图像检测单元150可以将与检测脸部图像数据时使用的脸部特征数据相对应的脸部方向存储在脸部图像存储单元160中。
例如，上座率计算单元180可以针对每个预定时间间隙计算对上身和脸部均面对图像显示设备的前面加以指示的脸部图像数据的个数，并且可以使用计算的个数作为计算第一上座率时使用的分子。此外，上座率计算单元180可以针对每个预定时间间隙计算对仅脸部面对图像显示设备前面加以指示的脸部图像数据的个数，并且可以使用该计算的个数作为计算第二上座率时使用的分子。同时当计算第一和第二上座率中的任一个时，通过针对每个预定时间间隙计算脸部图像存储单元160中存储的脸部图像数据的总数来确定上座率的分母。在这种情况下，例如，图像处理设备100的配置可以与第一实施例中相同。
第五实施例
图16是示出了根据第五实施例的内容传递系统的配置的视图。内容传递系统包括图像处理设备100、内容传递设备200、图像显示设备300和成像设备400。
内容传递设备200存储图像内容并将图像内容通过通信网络10(例如，互联网网络)传输至图像显示设备300。图像显示设备300显示从内容传递设备200接收到的图像内容。成像设备400产生图像数据(例如，通过对图像显示设备300前面区域成像而获得的视频数据)，并且立即将图像数据通过通信网络10传输至图像处理设备100。图像处理设备100对从成像设备400接收到的图像数据执行第四实施例中描述的过程。
图17是示出了根据第五实施例的图像处理设备100的功能配置的框图。除了以下几点以外，根据第五实施例的图像处理设备100与根据第四实施例的图像处理设备100相同。
首先，图像数据获取单元130接收来自成像设备400的图像数据。其后，上身检测单元140立即处理接收到的图像数据，并且提取上身图像数据。
此外，图像处理设备100包括显示控制单元190。显示控制单元190基于上身图像数据的个数和方向数据来控制图像显示设备300，上身图像数据的个数对应于可视方向数据，方向数据对应于从上身检测单元140检测到的上身图像数据中提取的上身图像数据。
图18是示出了显示控制单元190执行的过程的示例的流程图。在步骤S110中如果图像处理设备100的图像数据获取单元130获得图像数据，则在步骤S120中上身检测单元140立即读取与可视方向数据相对应的上身方向特征数据。随后，在步骤S130中上身检测单元140使用在步骤S120中读取的上身方向特征数据，来执行从在步骤S110中获得图像数据中提取上身图像数据的过程。在步骤S140中，当提取了上身图像数据时(是)，显示控制单元190不执行过程。在步骤S140中没有提取上身图像数据时(否)，则在步骤S150中显示控制单元190控制图像显示设备300。例如，这里执行的控制包括增加图像显示设备300的声音的过程，或者停止图像显示设备300的显示的过程。
此外，当显示控制单元190基于与提取的上身图像数据相对应的方向数据来控制图像显示设备300时，上身检测单元140使用所有上身方向特征数据立即执行从步骤S110中获得的图像数据中提取上身图像数据的过程。其后，基于与提取的上身图像数据相对应的方向数据的总计结果来控制图像显示设备300。例如，控制的细节包括：增加图像显示设备300的声音的过程和停止图像显示设备300的显示的过程。
根据第五实施例，能够获得与根据第四实施例的相同效果。此外，显示控制单元190基于与可视方向数据相对应的上身图像数据的个数来控制图像显示设备300。因此，能够基于观看到图像显示设备300的人的个数来控制图像显示设备300。
同时，当图像内容与指示属性(性别和年龄)的数据相结合时，图像处理设备100可以控制内容传递设备200。例如，图像处理设备100从步骤S130中提取的上身图像数据中提取脸部图像数据，并且识别对与脸部图像数据相对应的属性加以指示的数据。其后，图像处理设备100使内容传递设备200向图像显示设备300传递与识别出的属性相对应的图像内容。因此，能够将图像内容和观看图像显示设备300的人的属性一起显示在图像显示设备300上。
在上文中，尽管已经参照附图描述了本发明的实施例，但是这些实施例对应于本发明的示例，并且除此以外可以使用其他各种类型的配置。
本申请要求2010年3月2日递交的日本专利申请No.2010-045744的优先权，并且其公开内容公开于此。

Claims (13)

1.一种图像处理设备，包括：
上身特征数据存储单元，针对多个方向中的每个方向结合方向数据存储上身方向特征数据，所述上身方向特征数据指示包括头部和肩部在内的人的上身，并且指示所述上身面对特定方向，所述方向数据指示所述上身方向特征数据的方向；
上身检测单元，通过读取上身特征数据存储单元中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据；
脸部特征数据存储单元，结合所述方向数据存储对人的脸部加以指示的脸部方向特征数据；
脸部图像检测单元，结合与提取上身图像数据时使用的上身方向特征数据相对应的方向数据来获得上身图像数据，从脸部特征数据存储单元中读取与获得的方向数据相对应的脸部方向特征数据，并且使用读取的脸部方向特征数据来从上身图像数据中提取对人的脸部加以指示的脸部图像数据；以及
脸部图像存储单元，存储脸部图像检测单元检测到的脸部图像数据。
2.根据权利要求1所述的图像处理设备，还包括：
上身图像存储单元，结合与提取上身图像数据时使用的上身方向特征数据相对应的方向数据，存储上身检测单元检测到的上身图像数据。
3.根据权利要求1所述的图像处理设备，
其中，脸部图像检测单元不读取与至少一个预定方向数据相结合的上身图像数据，而是读取与其余方向数据相结合的上身图像数据。
4.根据权利要求1所述的图像处理设备，还包括：
属性数据存储单元，针对每个属性存储对脸部特征加以指示的属性特征数据；以及
属性检测单元，通过读取和使用属性数据存储单元中存储的属性特征数据，针对每个年龄和性别对脸部图像数据执行分类。
5.根据权利要求4所述的图像处理设备，
其中，属性检测单元仅针对每个年龄和性别对与预定方向数据相对应的脸部图像数据执行分类。
6.根据权利要求1所述的图像处理设备，其中，图像数据是通过对图像显示设备的前面成像来产生的。
7.根据权利要求6所述的图像处理设备，
其中，方向数据被分为可视方向数据和非可视方向数据，可视方向数据指示上身图像数据所指示的上身面对图像显示设备，非可视方向数据指示上身没有面对图像显示设备；并且
其中，图像处理设备还包括：
上身图像存储单元，结合与提取上身图像数据时使用的上身方向特征数据相对应的方向数据，存储上身检测单元检测到的上身图像数据；以及
上座率计算单元，使用上身图像存储单元中存储的上身图像数据，来计算对应于可视方向数据的上身图像数据的个数与上身图像数据的总数之比作为上座率。
8.根据权利要求1所述的图像处理设备，
其中，图像数据是通过对图像显示设备前面成像产生的，
其中，脸部特征数据存储单元针对脸部的每个方向存储脸部特征数据，
其中，脸部图像存储单元结合与提取脸部图像数据时使用的脸部特征数据相对应的方向和与提取上身图像数据时使用的上身方向特征数据相对应的方向数据，来存储脸部图像数据，所述脸部图像数据是从上身图像数据中提取的，并且
其中，图像处理设备还包括：上座率计算单元，使用脸部图像存储单元中存储的脸部方向和方向数据的组合，来计算被估计观看到图像显示设备的脸部图像数据的个数，并且对计算出的脸部图像数据个数与脸部图像数据的总数之比进行计算。
9.根据权利要求6所述的图像处理设备，
其中，方向数据被分为可视方向数据和非可视方向数据，可视方向数据指示上身图像数据所指示的上身面对图像显示设备，非可视方向数据指示上身没有面对图像显示设备，
其中，上身检测单元从产生图像数据的成像设备中立即获得图像数据，并且从立即获得的图像数据中提取上身图像数据，并且
其中，图像处理设备还包括：显示控制单元，基于从立即获得的图像数据中提取的并且与可视方向数据相对应的上身图像数据的个数来控制图像显示设备。
10.根据权利要求6所述的图像处理设备，
其中，上身检测单元从产生图像数据的成像设备中获得图像数据，并且从立即获得的图像数据中提取上身图像数据，并且
其中，图像显示设备是基于与从立即获得的图像数据中提取的上身图像数据相对应的方向数据来被控制的。
11.一种图像处理设备，包括：
图像获取单元，获得图像数据；以及
第一图像处理单元，从获得自图像获取单元的图像数据中提取对包括头部和肩部在内的人的上身加以指示的上身图像数据，并且指定上身图像数据所指示的身体的方向；
第二图像处理单元，从脸部特征数据存储单元中读取对人的脸部加以指示的脸部方向特征数据，并且使用读取的脸部方向特征数据来从上身图像数据中提取对人的脸部加以指示的脸部图像数据，其中所述脸部特征数据存储单元使用所述第一图像处理单元指定的身体的方向，结合所述身体的方向存储脸部方向特征数据。
12.一种内容传递系统，包括：
内容存储单元，存储图像内容；
图像显示设备，通过通信网络接收内容存储单元中存储的图像内容，并且显示接收到的图像内容；
成像设备，对图像显示设备前面的区域进行成像，并且产生图像数据；以及
图像处理设备，通过通信网络接收图像数据，并且对接收到的图像数据进行处理，
其中，图像处理设备包括：
上身特征数据存储单元，针对多个方向中的每个方向结合方向数据存储上身方向特征数据，上身方向特征数据指示包括头部和肩部在内的人的上身，并且指示所述上身面对特定方向，方向数据指示上身方向特征数据的方向；
上身检测单元，通过读取上身特征数据存储单元中结合方向数据存储的多个上身方向特征数据并且使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据；
脸部特征数据存储单元，结合所述方向数据存储对人的脸部加以指示的脸部方向特征数据；
脸部图像检测单元，结合与提取上身图像数据时使用的上身方向特征数据相对应的方向数据来获得上身图像数据，从脸部特征数据存储单元中读取与获得的方向数据相对应的脸部方向特征数据，并且使用读取的脸部方向特征数据来从上身图像数据中提取对人的脸部加以指示的脸部图像数据；以及
脸部图像存储单元，存储脸部图像检测单元检测到的脸部图像数据。
13.一种图像处理方法，包括：
允许计算机针对多个方向中的每个方向结合方向数据存储上身方向特征数据，所述上身方向特征数据指示包括头部和肩部在内的人的上身，并且指示上身面对特定方向，方向数据指示上身方向特征数据的方向；并且
允许计算机通过使用多个上身方向特征数据中的每一个，来从图像数据中提取对人的上身加以指示的上身图像数据；
结合与提取上身图像数据时使用的上身方向特征数据相对应的方向数据来获得上身图像数据，读取与获得的方向数据相对应的脸部方向特征数据，并且使用读取的脸部方向特征数据来从上身图像数据中提取对人的脸部加以指示的脸部图像数据。
CN201180011876.0A 2010-03-02 2011-01-20 图像处理设备、内容传递系统、图像处理方法和程序 Active CN102783174B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010045744A JP5115763B2 (ja) 2010-03-02 2010-03-02 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
JP2010-045744 2010-03-02
PCT/JP2011/000296 WO2011108183A1 (ja) 2010-03-02 2011-01-20 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN102783174A CN102783174A (zh) 2012-11-14
CN102783174B true CN102783174B (zh) 2015-12-02

Family

ID=44541854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180011876.0A Active CN102783174B (zh) 2010-03-02 2011-01-20 图像处理设备、内容传递系统、图像处理方法和程序

Country Status (5)

Country Link
US (1) US8971635B2 (zh)
JP (1) JP5115763B2 (zh)
CN (1) CN102783174B (zh)
HK (1) HK1178354A1 (zh)
WO (1) WO2011108183A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120057B1 (en) 2015-10-13 2018-11-06 Google Llc System and method for determining the direction of an actor
US9691153B1 (en) 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
CN106385624A (zh) * 2016-09-29 2017-02-08 乐视控股（北京）有限公司 视频播放方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1557083A (zh) * 2001-09-20 2004-12-22 �ʼҷ����ֵ��ӹɷ����޹�˾ 基于用户注意力的实时多媒体内容递送的质量适配

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165095B2 (ja) * 2002-03-15 2008-10-15 オムロン株式会社 情報提供装置および情報提供方法
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP2006254274A (ja) * 2005-03-14 2006-09-21 Mitsubishi Precision Co Ltd 視聴層分析装置、販売戦略支援システム、広告支援システム及びｔｖ装置
JP4450799B2 (ja) * 2006-03-10 2010-04-14 富士フイルム株式会社 対象画像検出装置の制御方法
JP4710778B2 (ja) * 2006-09-28 2011-06-29 株式会社日立製作所 小型カメラ搭載型の列車内情報表示システム
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1557083A (zh) * 2001-09-20 2004-12-22 �ʼҷ����ֵ��ӹɷ����޹�˾ 基于用户注意力的实时多媒体内容递送的质量适配

Also Published As

Publication number Publication date
CN102783174A (zh) 2012-11-14
US8971635B2 (en) 2015-03-03
WO2011108183A1 (ja) 2011-09-09
JP2011180917A (ja) 2011-09-15
JP5115763B2 (ja) 2013-01-09
HK1178354A1 (zh) 2013-09-06
US20120321197A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
EP3674852B1 (en) Method and apparatus with gaze estimation
CN106503671B (zh) 确定人脸姿态的方法和装置
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN104050449B (zh) 一种人脸识别方法及装置
WO2019245768A1 (en) System for predicting articulated object feature location
CN112101123B (zh) 一种注意力检测方法及装置
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN105005777A (zh) 一种基于人脸的音视频推荐方法及系统
JP2014533867A5 (zh)
CN105447823B (zh) 一种图像处理方法及一种电子设备
US20150269759A1 (en) Image processing apparatus, image processing system, and image processing method
CN102783174B (zh) 图像处理设备、内容传递系统、图像处理方法和程序
CN110476141A (zh) 视线跟踪方法及用于执行该方法的用户终端
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
JP5225870B2 (ja) 情動分析装置
CN110059624B (zh) 用于检测活体的方法和装置
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
CN108229375B (zh) 用于检测人脸图像的方法和装置
JP2015219892A (ja) 視線分析システムおよび視線分析装置
CN111898538A (zh) 证件鉴伪方法、装置、电子设备及存储介质
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111738199B (zh) 图像信息验证方法、装置、计算装置和介质
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
CN106406507B (zh) 图像处理方法以及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1178354

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: JAPAN ELECTRICAL SCHEME INNOVATION CORPORATION

Free format text: FORMER OWNER: NEC SOFT, LTD.

Effective date: 20140821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140821

Address after: Tokyo, Japan, Japan

Applicant after: Japan Electrical Scheme Innovation Corporation

Address before: Tokyo, Japan

Applicant before: NEC Soft, Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1178354

Country of ref document: HK