CN105898186B - 用于视频会议的显示方法及视频会议系统 - Google Patents

用于视频会议的显示方法及视频会议系统 Download PDF

Info

Publication number
CN105898186B
CN105898186B CN201610071614.8A CN201610071614A CN105898186B CN 105898186 B CN105898186 B CN 105898186B CN 201610071614 A CN201610071614 A CN 201610071614A CN 105898186 B CN105898186 B CN 105898186B
Authority
CN
China
Prior art keywords
display
image
foreground object
interactive data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610071614.8A
Other languages
English (en)
Other versions
CN105898186A (zh
Inventor
张智凯
刘子明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105898186A publication Critical patent/CN105898186A/zh
Application granted granted Critical
Publication of CN105898186B publication Critical patent/CN105898186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53—Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0638—Refractive parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Telephone Function (AREA)
  • Push-Button Switches (AREA)

Abstract

本发明是提供一种用于视频会议的显示方法，用于视频会议系统，其中视频会议系统包括显示器、影像撷取单元、及网络接口单元。该方法包括：利用影像撷取单元的影像传感器以撷取在视频会议中的本地用户的撷取影像；对撷取影像进行前景分离以取得前景对象；将前景对象水平翻转；由翻转后的前景对象辨识出一人脸，并校正在翻转后的前景对象中的人脸的面向角度；决定来自本地使用者在显示器上的互动数据；将互动数据及具有校正后的人脸的翻转后的前景对象分别编码为互动数据流及视频流；将互动数据流及视频流包装为输出数据流；以及透过该网络接口单元传输该输出数据流至远程使用者。本发明提供的视频会议的显示方法与相关视频会议系统能够提升使用者体验。

Description

用于视频会议的显示方法及视频会议系统
优先权声明
本申请主张在2015年2月16日提出申请的美国临时专利申请第62/116，710号的权利，且上述美国专利申请以引用方式并入本文中。
技术领域
本发明是有关于视频会议，特别是有关于用于视频会议的显示方法及其视频会议系统。
背景技术
近年来，视频会议已成为两个远程用户通讯的重要方式，这要归功于网络技术及视频压缩技术的发展。一般而言，使用者必需拥有专用的视频会议系统以方便与其他用户进行视频会议。在市面上的视频会议系统通常会配备相机、麦克风、及控制器。然而，传统的视频会议系统仅能用来进行视频会议，且在视频会议中的使用者无法通过在其显示器上书写或是画图以与彼此进行互动，这会导致较差的使用者体验且沉浸感不足。
因此，需要一种用于视频会议的显示方法及视频会议系统以解决上述问题。
发明内容
为了解决上述技术问题，提出以下的视频会议系统与相关的显示方法。
本发明一实施例提供一种视频会议系统，包括：显示器；影像撷取单元，包括影像传感器以撷取在视频会议中的本地用户的撷取影像；网络接口单元，用以交换在该视频会议中的该本地使用者及远程用户的输出视频流；以及处理器，用以对该撷取影像进行前景分离以取得前景对象，并将该前景对象水平翻转，其中该处理器更由翻转后的该前景对象辨识人脸，并校正在该前景对象中的该人脸的面向角度以朝向该影像撷取单元，其中该处理器更决定来自该本地使用者在该显示器上的互动数据，并将该互动数据及具有校正后的该人脸的翻转后的前景对象分别编码为互动数据流及视频流，其中该处理器更将该互动数据流及该视频流包装为该输出数据流，并透过该网络接口单元传输该输出数据流至该远程使用者。
本发明另一实施例更提供一种用于视频会议的显示方法，用于视频会议系统，其中视频会议系统包括显示器、影像撷取单元、及网络接口单元。该方法包括：利用影像撷取单元的影像传感器以撷取在视频会议中的本地用户的撷取影像；对撷取影像进行前景分离以取得前景对象；将前景对象水平翻转；由翻转后的前景对象辨识出人脸，并校正在翻转后的前景对象中的人脸的面向角度以朝向影像撷取单元；决定来自本地使用者在显示器上的互动数据；将互动数据及具有校正后的人脸的翻转后的前景对象分别编码为互动数据流及视频流；将互动数据流及视频流包装为输出数据流；以及透过该网络接口单元传输该输出数据流至远程使用者。
本发明提供的视频会议的显示方法与相关视频会议系统能够提升使用者体验。
附图说明
图1是显示本发明一实施例中的视频会议系统100的方框图。
图2是显示依据本发明一实施例中的用于视频会议的显示方法的流程图。
图3是显示本发明图2中的显示方法的步骤S220的流程图。
图4是显示本发明图2中的显示方法的步骤S250的流程图。
图5A是显示本发明图2中的显示方法的步骤S260的流程图。
图5B是显示依据本发明一实施例中的撷取影像的操作空间的示意图。
图6是显示本发明图2中的显示方法的步骤S260的另一流程图。
图7A是显示本发明图2中的显示方法的步骤S280的流程图。
图7B是显示依据本发明一实施例中的具有前景对象及互动数据的封装视频流的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。
图1是显示本发明一实施例中的视频会议系统100的方块图。如图1所示，视频会议系统100包括影像撷取单元110、处理器120、存储器单元130、显示器140、及网络接口单元150。影像撷取单元110是用以撷取用户的影像。举例来说，影像撷取单元110包括一或多个影像传感器111及深度传感器112，其中影像传感器111可为互补式金属氧化物半导体(CMOS)传感器或感光耦合组件(CCD)传感器。在一些实施例中，影像传感器111是用以撷取立体影像，其包括左眼影像及右眼影像。在一些实施例中，影像撷取单元110更包括深度传感器112，其可为包括红外线发射器及红外线接收器的红外线传感器(未绘示)。
存储器单元130是包括挥发性存储器131及非挥发性存储器132。举例来说，挥发性存储器131可为静态随机存取存储器(SRAM)、或动态随机存取存储器(DRAM)，但本发明并不限于此。非挥发性存储器132可为硬盘、闪存等等。非挥发性存储器是存储用以处理在视频会议中的参加者的撷取影像的视频会议程序，其可处理在视频会议中的参加者的互动动作。处理器120是读取存储于非挥发性存储器132中的视频会议程序的程序代码至挥发性存储器，并对由影像撷取单元110所撷取的影像进行相关的图像处理。
在一些实施例中，显示器140可为液晶显示器(LCD)、发光二极管(LED)显示器、或是有机发光二极管(OLED)显示器，但本发明并不限于此。在一些实施例中，显示器140可为由LCD或OLED技术所实现的透明显示器(transparent display)。在一些实施例中，视频会议系统100更包括触控模块160，其是整合于显示器140中，即具有触控功能的显示器140，其可称为触控屏幕。需注意的是显示器140可利用本发明领域中所熟习的前述技术而实现为透明触控屏幕，故其细节于此不再赘述。网络接口单元150是利用网络封包以交换在视频会议中的本地使用者及远程使用者的输出串流。
图2是显示依据本发明实施例中的用于视频会议的显示方法的流程图。在步骤S210，影像撷取单元110是用以撷取在视频会议中的本地用户的撷取影像。在步骤S220，依据深度图对所撷取的该撷取影像进行前景分离(foreground segmentation)。举例来说，在影像中的前景对象的像素通常具有类似的深度值，其中深度值可由影像撷取单元110中的深度传感器112所取得、或是利用该撷取影像(例如可为立体影像)进行深度计算而得。
在步骤S230，将背景由撷取的该撷取影像中移除。因此，处理器120可对前景对象(例如：使用者)进行后续的图像处理。在步骤S240，将前景对象水平翻转(即左右翻转)。需注意的是，在一些实施例中可省略步骤S240。在步骤S250，由翻转后的前景对象辨识一人脸，并校正该人脸的一面向角度仿如该人脸是注视朝向影像撷取单元110。举例来说，影像撷取单元110是可安置于显示器140的角落、上侧、或下侧。然而，在视频会议中，使用者通常是面向显示器140，意即使用者并不是真正地面向影像撷取单元110，这会导致有些微的面向角度差异。因此，执行步骤S250以校正使用者的人脸的面向角度。
在步骤S260，侦测在该视频会议中的参加者所进行的互动动作。举例来说，参加者(例如：发话者及收话者、或是本地使用者及远程使用者)可在显示器140上作画或是书写文字，且处理器120可决定在显示器140上的互动动作。在步骤S270，依据影像传感器111的视角(field of view)及显示器140的屏幕尺寸以调整该前景对象。举例来说，在视频会议的过程中，影像传感器111的视角可能无法调整至最佳的视角，意即前景对象可能会过大或是过小。处理器120可依据影像传感器111的视角及显示器140的屏幕尺寸以调整(例如：改变大小或是裁切)该前景对象，使得调整后的前景对象最符合该显示器140。
在步骤S280，前景对象(例如调整后的该前景对象)及在该视频会议中与互动动作有关的互动数据分别编码为视频流及互动数据流。视频流及互动数据流是与时序信息一同包装至输出数据流。在步骤S290，交换来自在该视频会议中的参加者的网络封包，且在处理器120解包装该输出数据流并译码该视频流及互动数据流的后可将来自其他用户的互动数据及影像显示于显示器140上。
图3是显示本发明图2中的显示方法的步骤S220的流程图。在此更进一步说明图2的显示方法的步骤S220的细节。在步骤S221，建立与撷取影像有关的深度图。举例来说，该深度图可为灰阶影像，且在该深度图中的各像素可具有8位或16位的数值，但本发明并不限于此。深度图的取得是可通过来自深度传感器112的深度信息或是利用撷取影像(例如：立体影像)以进行深度计算。在步骤S222，将该深度图的各像素与预定阈值T进行比较。若该像素值是大于该预定阈值T(即：背景)，在参考影像中的同位置的相关像素是填入透明值(例如：α＝0)(步骤S223)；且若该像素值是小于或等于该预定阈值T(即：前景)，在参考影像中的同位置的相关像素是填入不透明值(例如：α＝1)(步骤S224)。因此，在处理完步骤S222中的深度图的各像素的后，可得到参考图(reference map)，其中在参考图中的各像素是表示在撷取影像中的同位置的相关像素的透明值(transparent value)。举例来说，在参考图中的各像素可为0或1以表示其透明程度。在步骤S225，判断在该深度图中的所有像素已经与该预定阈值进行比较。若是，则该流程前进至步骤S226。否则，该流程则回到步骤S222。
步骤S226，对该参考图套用时间低通滤波器(temporal low pass filter)。举例来说，数张先前影像的参考图是存储于存储器单元130中，因此处理器120可对目前影像及先前影像的参考图套用时间低通滤波器以取得时间滤波参考图(temporal-filteredreference map)。需注意的是，时间滤波参考图中的像素值可为介于0与1的间的浮点数。在步骤S227，套用高斯空间滤波器(Gaussian spatial filter)至该时间滤波参考图以取得目前参考图。举例来说，可对时间滤波参考图的各像素套用二维高斯矩阵。亦需注意的是，在目前参考图中的像素值可为介于0与1的间的浮点数。
在步骤S228，对该撷取影像及该目前参考图执行影像混合处理(image blendingprocess)。举例来说，处理器120可将撷取影像中的各像素乘以在目前参考图中的同位置的相关像素以取得包括混合前景对象(blended foreground object)的结果影像。像素的相乘结果可为介于0与255的间的浮点数(例如当深度图的像素为8位)，其中相乘结果愈大表示该相关像素愈亮。在一些实施例中，当显示器140为第一类型的透明显示器，在屏幕上的黑暗内容是透明的，且明亮内容是不透明的。选择性地，在一些实施例中，当显示器140为第二类型的透明显示器，在屏幕上的黑暗内容是不透明的，且明亮内容是透明的。需注意的是，影像混合处理的目的在于当使用透明显示器时，让背景倾向透明，且前景倾向不透明。上述影像混合处理可用下列公式表示：
pixel_result＝pixel_CRM*pixel_image+(1-pixel_CRM)*D
其中pixel_result表示在结果影像中的输出像素；pixel_CRM表示在目前参考图中的特定像素的数值；pixel_image表示在撷取影像中与在该目前参考图中的该特定像素有关的相同位置的像素的数值；D表示显示器类型因子，其中当显示器140为第二类型时，D＝255；且当显示器140为第一类型时，D＝0。
因此，不管透明显示器140是否为第一类型或第二类型，处理器120均可决定前景为不透明，使得前景可显示于显示器140上，且使用者可透过显示器140看到其本地空间的背景。
图4是显示本发明图2中的显示方法的步骤S250的流程图。在步骤S251，对该撷取影像的该深度图套用平滑滤波器(smoothing filter)。需注意的是，上述深度图可由图3中的步骤S221所取得。在步骤S252，对辨识出的人脸进行三维转换。举例来说，三维转换是利用投射对映(projective mapping)的变形转换(shape-distorting transformation)。在步骤S253，校正该人脸的面向角度(例如：朝向影像撷取单元110)并依据该人脸的影像特征重画该人脸。举例来说，上述影像特征可为该人脸的眼睛、鼻子、及嘴巴。在步骤S254，将该撷取影像中的该人脸由校正后的该人脸所取代。在步骤S255，对在该撷取影像中的校正后的该人脸的边界进行影像混合处理，藉以减少在校正后的该人脸的边界及边缘的影像瑕疵。因此，在执行图4的步骤的后，在视频会议中的其他参加者(例如：远程使用者)会感觉到发话者(本地使用者)正对着他看。
图5A是显示本发明图2中的显示方法的步骤S260的流程图。图5B是显示依据本发明一实施例中的撷取影像的操作空间的示意图。请同时参考图5A及5B，在步骤S261，由该撷取影像中侦测目标对象501。举例来说，目标对象501可为触控笔或是使用者的指尖。需注意的是，侦测在影像中的触控笔或指尖的技术已为本发明领域的技术人员所熟知，故其细节于此不再赘述。在步骤S262，决定第一预定深度及第二预定深度以分割该撷取影像的操作空间。举例来说，撷取影像的操作空间500可被分割为有效区域520及无效区域，如图5B所示。有效区域520包括了在具有第一预定深度的虚拟平面515及具有第二预定深度的虚拟平面525的间的空间，其中第二预定深度是大于第一预定深度。无效区域530包括了在有效区域520的外的空间，例如深度大于第二预定深度或是小于第一预定深度的空间。一般而言，用户会位于无效区域530中。当目标对象(例如用户的手、触控笔、或一特定对象)进入有效区域520，用户可利用该目标对象在有效区域520中于显示器140上进行互动动作。
在步骤S263，当目标对象501进入有效区域520，处理器120决定该目标对象的轨迹，并将该轨迹显示于显示器140。在步骤S264，当该目标对象进入有效区域520，该目标对象的先前轨迹仍会持续显示于显示器140。举例来说，视频会议中的本地参加者会想要在显示器140上书写备忘录，并将该备忘录与远程使用者分享。更进一步而言，使用者可使用其指尖或一触控笔在有效区域520中或在显示器140的平面上书写东西，处理器120是记录指尖或触控笔的轨迹，就算指尖或触控笔已离开有效区域520，仍会在显示器140上保持显示先前所记录的轨迹，使得远程使用者可在其显示器上看到本地参加者所书写的东西。需注意的是，在图5A及图5B的实施例中决定该目标对象的轨迹是为影像基础式，且显示器140可与或是可不与触控模块160整合。
图6是显示本发明图2中的显示方法的步骤S260的另一流程图。在图6的实施例中，显示器140是与触控模块160整合，故显示器140为触控屏幕。在步骤S610，启动显示器140的触控功能。在步骤S620，当目标对象(例如指尖或触控笔)接触显示器140的表面，处理器120记录各时间点(例如每1/30秒一次)的触控点。在步骤S630，处理器120将所记录的触控点连接为线条以做为该目标对象的轨迹，并将该轨迹显示于显示器140。在步骤S640，尽管该目标对象已离开显示器140的表面，处理器120仍保持显示先前所记录的该目标对象的轨迹。需注意的是，在图6的实施例中，决定该目标对象的轨迹是为接触基础式(touch-based)。
图7A是显示本发明图2中的显示方法的步骤S280的流程图。图7B是显示依据本发明一实施例中的具有前景对象及互动数据的封装视频流的示意图。请同时参考图7A及7B，在步骤S271，使用者在视频会议的过程中启动视频会议系统100的互动模式。在步骤S272，决定进来的数据为互动数据或是前景对象的影像。若进来的数据为互动数据，则执行步骤S273。若进来的数据为前景对象的影像，则执行步骤S275。
在步骤S273，对该互动数据进行行程长度编码(run length encoding)以产生复数个行程长度计数值(run length count)。在步骤S274，利用霍夫曼码(Huffman codes)将该复数个行程长度计数值编码。举例来说，互动数据是记录用户在显示器140上或是在有效区域520(如图5B所示)中的触控动作的轨迹。轨迹的特性是静态且没有移动，因此该轨迹可由二元影像(binary image)所表示，其中1表示该像素被接触，0表示该像素未被接触。因此，简单的画面间编码(intra-frame encoding)技术，例如是利用霍夫曼码的行程长度编号，可用于编码记录该互动动作的轨迹的该二元影像，且当该互动数据被编码为互动数据流710时，可大幅减少该互动数据的数据量。
因为移除了背景，前景对象可称为视频对象平面(video object plane)，因此前景对象可利用MPEG4中的画面间视频对象平面基础式的编码技术(inter-frame video-object-plane-based coding)进行编码。举例来说，在步骤S275，对该前景对象进行形状编码(shape coding)，并对该前景对象进行纹理编码(texture coding)(步骤S276)以产生视频流720。
在步骤S277，将互动数据流及视频流720包装至输出数据流730，如图7B所示。因此，输出数据流730可经由网络接口单元150而传送至视频会议中的远程参加者。同时，本地参加者亦会接收到来自远程使用者的输出数据流，因此双方参加者可在各自的显示器上看到彼此并分享相同的互动数据。
请再参考图5B，在一些实施例中，可由撷取影像中辨识特定对象。当该特定对象进入有效区域520，处理器120会辨识出该特定对象，且处理器120会过滤掉该特定对象的外的部份，并在显示器140上保持显示该特定对象。举例来说，该特定对象可为用户的双唇。当使用者的头部以亲吻的姿势靠近有效区域520，用户的双唇会先进入有效区域520。因此，可决定使用者的双唇为该特定对象，且处理器120可在显示器140上保持显示用户的唇印。
在另一实施例中，使用者可用其手部握持特定对象(例如：玩偶)并接近有效区域520。当该特定对象进入有效区域520，处理器120是利用皮肤色彩侦测技术以决定在使用者手部所握持的特定对象，因此用户的手部可由撷取影像过滤掉，且该特定对象会留在撷取影像中。接着，处理器120可在显示器140上保持显示该特定对象。
在一实施例中，如步骤S240所描述，处理器是将前景对象水平翻转(即左右翻转)。需注意的是，来自视频会议中的参加者的互动数据的轨迹会显示于双方参加者的显示器上。当本地参加者由左而右书写文字时，远程用户会看到这些文字是逐渐由左至右显示在屏幕上。远程用户亦会书写额外的文字在其显示器上，因此双方的互动数据会被修改。若本地参加者的前景对象没有左右翻转，远程参加者会看到本地用户书写文字的位置与互动数据显示于显示器140的位置不符，这会导致较差的使用者经验。因此，处理器120可在进行后续图像处理的前将前景对象进行水平翻转，使得本地参加者及远程参加者双方可看到本地用户书写文字的位置与互动数据显示于显示器140的位置相符，进而有较佳的使用者体验。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视申请专利范围所界定者为准。

Claims (20)

1.一种视频会议系统，包括：
显示器；
影像撷取单元，包括影像传感器以撷取在视频会议中的本地用户的撷取影像；
网络接口单元，用以交换在该视频会议中的该本地使用者及远程使用者的输出串流；以及
处理器，用以对该撷取影像进行前景分离以取得前景对象；
其中该处理器更决定来自该本地使用者在该显示器上的互动数据，并将该互动数据及该前景对象分别编码为互动数据流及视频流，
其中该处理器更将该互动数据流及该视频流包装为该输出数据流，并透过该网络接口单元传输该输出数据流至该远程使用者；
其中该处理器将该前景对象水平翻转，
其中该处理器更由翻转后的该前景对象辨识人脸，并校正在该前景对象中的该人脸的一个面向角度以朝向该影像撷取单元，并将该互动数据及具有校正的该人脸的翻转的该前景对象分别编码为该互动数据流及该视频流。
2.根据权利要求1所述的视频会议系统，其特征在于，该处理器是由该撷取影像计算深度图，并依据该深度图进行该前景分离。
3.根据权利要求1所述的视频会议系统，其特征在于，该影像撷取单元更包括深度传感器，用以侦测该本地用户的深度信息，且该处理器更依据该深度信息建立深度图，并依据该深度图执行该前景分离。
4.根据权利要求1所述的视频会议系统，其特征在于，该处理器更计算翻转后的前景对象的该人脸的复数个影像特征，并依据所计算的该复数个影像特征校正该人脸的该面向角度。
5.根据权利要求1所述的视频会议系统，其特征在于，该处理器更定义在该撷取影像的一个操作空间中的一个有效区域，且当目标对象进入该有效区域，该处理器是记录该目标对象的轨迹。
6.根据权利要求5所述的视频会议系统，其特征在于，当该前景对象进入该有效区域时，该处理器是决定全部或是部分的该前景对象做为特定对象，并在该显示器上保持显示该特定对象。
7.根据权利要求1所述的视频会议系统，其特征在于，该显示器整合触控模块，且当该本地用户的目标对象接触该显示器的表面，该处理器是记录该目标对象的复数个触控点，并将该复数个触控点连接成为线条以做为该目标对象的轨迹。
8.根据权利要求1所述的视频会议系统，其特征在于，该互动数据是记录为二元影像，且该处理器是以霍夫曼码对该二元影像执行行程长度编码以得到该互动数据流。
9.根据权利要求1所述的视频会议系统，其特征在于，该处理器是定义该前景对象为视频对象平面，并对该前景对象执行形状编码及纹理编码以产生该视频流。
10.根据权利要求1所述的视频会议系统，其特征在于，该显示器为透明显示器，且该本地使用者是在该显示器上看到该远程用户的影像，并穿过该显示器看到本地空间的背景。
11.一种用于视频会议的显示方法，用于视频会议系统，其中该视频会议系统包括显示器、影像撷取单元、及网络接口单元，该方法包括：
利用该影像撷取单元的影像传感器以撷取在视频会议中的本地用户的撷取影像；
对该撷取影像进行前景分离以取得前景对象；
将该前景对象水平翻转；
由翻转后的该前景对象辨识出人脸，并校正在翻转后的该前景对象中的该人脸的面向角度以朝向该影像撷取单元；
决定来自该本地使用者在该显示器上的互动数据；
将该互动数据及该前景对象分别编码为互动数据流及视频流；
将该互动数据流及该视频流包装为输出数据流；以及
透过该网络接口单元传输该输出数据流至远程使用者；
以及将该互动数据及该前景对象分别编码为互动数据流及视频流的步骤包含：
将该互动数据及具有校正后的该人脸的翻转后的该前景对象分别编码为该互动数据流及该视频流。
12.根据权利要求11所述的显示方法，其特征在于，更包括：
由该撷取影像计算深度图，并依据该深度图进行该前景分离。
13.根据权利要求11所述的显示方法，其特征在于，该影像撷取单元更包括深度传感器用以侦测该本地用户的深度信息，且该方法更包括：
依据该深度信息建立深度图，并依据该深度图执行该前景分离。
14.根据权利要求11所述的显示方法，其特征在于，更包括：
计算翻转后的前景对象的该人脸的复数个影像特征；以及
依据所计算的该复数个影像特征校正该人脸的该面向角度。
15.根据权利要求11所述的显示方法，其特征在于，更包括：
定义在该撷取影像的操作空间中的有效区域；以及
当目标对象进入该有效区域，记录该目标对象的轨迹。
16.根据权利要求15所述的显示方法，其特征在于，更包括：
当该前景对象进入该有效区域时，决定全部或是部分的该前景对象做为特定对象，并在该显示器上保持显示该特定对象。
17.根据权利要求11所述的显示方法，其特征在于，该显示器是整合触控模块，且该方法更包括：
当该本地用户的目标对象接触该显示器的表面，记录该目标对象的复数个触控点，并将该复数个触控点连接成为线条以做为轨迹。
18.根据权利要求11所述的显示方法，其特征在于，更包括：
将该互动数据记录为二元影像；以及
以霍夫曼码对该二元影像执行行程长度编码以得到该互动数据流。
19.根据权利要求11所述的显示方法，其特征在于，更包括：
定义该前景对象为视频对象平面；以及
对该前景对象执行形状编码及纹理编码以产生该视频流。
20.根据权利要求11所述的显示方法，其特征在于，该显示器为透明显示器，且该本地使用者是在该显示器上看到该远程用户的影像，并穿过该显示器看到本地空间的背景。
CN201610071614.8A 2015-02-16 2016-02-02 用于视频会议的显示方法及视频会议系统 Active CN105898186B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562116710P 2015-02-16 2015-02-16
US62/116,710 2015-02-16
US15/002,448 2016-01-21
US15/002,448 US9692950B2 (en) 2015-02-16 2016-01-21 Display method for video conferencing

Publications (2)

Publication Number Publication Date
CN105898186A CN105898186A (zh) 2016-08-24
CN105898186B true CN105898186B (zh) 2019-02-05

Family

ID=56621537

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610071614.8A Active CN105898186B (zh) 2015-02-16 2016-02-02 用于视频会议的显示方法及视频会议系统
CN201610076374.0A Active CN105897963B (zh) 2015-02-16 2016-02-03 电子装置
CN201610075823.XA Pending CN105891071A (zh) 2015-02-16 2016-02-03 感测空气质量的方法及电子装置
CN201610085507.0A Withdrawn CN105892645A (zh) 2015-02-16 2016-02-15 触觉系统及用于触觉系统的控制方法
CN201610085916.0A Pending CN105892742A (zh) 2015-02-16 2016-02-15 感测接触力的方法及电子装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201610076374.0A Active CN105897963B (zh) 2015-02-16 2016-02-03 电子装置
CN201610075823.XA Pending CN105891071A (zh) 2015-02-16 2016-02-03 感测空气质量的方法及电子装置
CN201610085507.0A Withdrawn CN105892645A (zh) 2015-02-16 2016-02-15 触觉系统及用于触觉系统的控制方法
CN201610085916.0A Pending CN105892742A (zh) 2015-02-16 2016-02-15 感测接触力的方法及电子装置

Country Status (2)

Country Link
US (5) US10225442B2 (zh)
CN (5) CN105898186B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204650423U (zh) * 2015-05-12 2015-09-16 瑞声声学科技(深圳)有限公司 按压传感器装置
KR102413074B1 (ko) * 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
JP6786245B2 (ja) * 2016-04-07 2020-11-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10845878B1 (en) * 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US20180046250A1 (en) * 2016-08-09 2018-02-15 Wipro Limited System and method for providing and modulating haptic feedback
KR102255878B1 (ko) * 2016-08-31 2021-05-24 후아웨이 테크놀러지 컴퍼니 리미티드 포스 터치 기반 통신 강화 방법 및 단말
KR102564305B1 (ko) * 2016-09-09 2023-08-08 삼성디스플레이 주식회사 표시 장치
CN106790787B (zh) * 2016-11-30 2019-11-29 上海斐讯数据通信技术有限公司 一种数码产品以及空气质量检测的方法
CN106680971A (zh) * 2016-12-06 2017-05-17 上海斐讯数据通信技术有限公司 一种用于提高摄像模组超大视角的方法以及摄像模组装置
CN106708262A (zh) * 2016-12-08 2017-05-24 苏州欧菲光科技有限公司 电子设备及其触觉反馈装置
CN106843475A (zh) * 2017-01-03 2017-06-13 京东方科技集团股份有限公司 一种实现虚拟现实交互的方法及系统
US11120672B2 (en) * 2017-01-23 2021-09-14 Sanko Tekstil Isletmeleri San. Vetic A.S. Garment, system and method for transmitting audio and/or messaging information to a user
CN108956395B (zh) * 2017-05-18 2021-01-08 中兴通讯股份有限公司 一种空气微粒浓度检测的方法及终端
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
WO2019094313A1 (en) 2017-11-07 2019-05-16 Dotbliss Llc Electronic garment with haptic feedback
US10760804B2 (en) 2017-11-21 2020-09-01 Emerson Climate Technologies, Inc. Humidifier control systems and methods
CN107941668A (zh) * 2017-11-28 2018-04-20 苏州佑克骨传导科技有限公司 一种头戴式pm2.5检测播报装置
US11226128B2 (en) 2018-04-20 2022-01-18 Emerson Climate Technologies, Inc. Indoor air quality and occupant monitoring systems and methods
WO2019204790A1 (en) 2018-04-20 2019-10-24 Emerson Climate Technologies, Inc. Systems and methods with variable mitigation thresholds
US11421901B2 (en) 2018-04-20 2022-08-23 Emerson Climate Technologies, Inc. Coordinated control of standalone and building indoor air quality devices and systems
US11994313B2 (en) 2018-04-20 2024-05-28 Copeland Lp Indoor air quality sensor calibration systems and methods
US11486593B2 (en) 2018-04-20 2022-11-01 Emerson Climate Technologies, Inc. Systems and methods with variable mitigation thresholds
US11371726B2 (en) 2018-04-20 2022-06-28 Emerson Climate Technologies, Inc. Particulate-matter-size-based fan control system
CN108982309A (zh) * 2018-05-02 2018-12-11 Oppo广东移动通信有限公司 检测方法、检测模组、电子装置、计算机设备和存储介质
CN108562463A (zh) * 2018-06-28 2018-09-21 清远市元信智能科技有限公司 一种智能采样系统
CN109034252B (zh) * 2018-08-01 2020-10-30 中国科学院大气物理研究所 空气质量站点监测数据异常的自动化识别方法
CN111225125B (zh) * 2018-11-23 2021-07-06 北京小米移动软件有限公司 摄像头模组和电子设备
CN109447038A (zh) * 2018-11-27 2019-03-08 南京恩诺网络科技有限公司 触觉信息估算方法及装置、系统
JP7219066B2 (ja) * 2018-11-30 2023-02-07 日本電産コパル株式会社 撮像装置及び電子機器
JP7320939B2 (ja) * 2018-11-30 2023-08-04 ニデックプレシジョン株式会社 羽根操作装置及び羽根操作方法
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
CN209823800U (zh) * 2019-03-26 2019-12-20 Oppo广东移动通信有限公司 移动终端及其壳组件
CN111835995A (zh) * 2019-04-16 2020-10-27 泰州市朗嘉尚网络科技有限公司 自适应清晰度调节方法
US11847311B2 (en) * 2019-05-22 2023-12-19 Apple Inc. Characterization of a venting state or other system parameter that affects the characterization of a force applied to a device
WO2020251566A1 (en) * 2019-06-12 2020-12-17 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
JP7321023B2 (ja) * 2019-07-30 2023-08-04 ニデックプレシジョン株式会社 電子機器
CN110636236B (zh) * 2019-09-17 2021-08-13 惠州市华星通讯实业有限公司 一种具有摄像头保护功能的警用执法仪
TWI696913B (zh) * 2019-09-26 2020-06-21 群光電子股份有限公司 電子裝置及其移動模組
CN110830639B (zh) * 2019-10-28 2021-10-01 维沃移动通信有限公司 一种电子设备
CN111008000B (zh) * 2019-12-12 2022-01-18 联想(北京)有限公司 信息处理方法及电子设备
US11360294B2 (en) 2020-05-15 2022-06-14 Samsung Electronics Co., Ltd. Optical sensor
CN112672093A (zh) * 2020-12-23 2021-04-16 北京市商汤科技开发有限公司 视频显示方法、装置、电子设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633608B1 (en) * 1999-05-27 2003-10-14 Sarnoff Corporation Method and apparatus for adapting memory resource utilization in an information stream decoder
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
CN104184984A (zh) * 2013-05-22 2014-12-03 索尼公司 具有用于电信会议的真人大小图像的便携式透明显示器

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5428964A (en) * 1994-01-10 1995-07-04 Tec-Way Air Quality Products Inc. Control for air quality machine
US5531801A (en) * 1994-02-08 1996-07-02 Sewell; Frederic D. Liquid spray air purification and controlled humidification apparatus with air quality monitor and controller
US6674024B2 (en) * 1996-12-19 2004-01-06 Automotive Systems Laboratory, Inc Seat weight sensor
US6033130A (en) * 1997-10-27 2000-03-07 Olympus Optical Co., Ltd. Lens cover and a lens cover support assembly mounted external to a lens barrel
US6650338B1 (en) * 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
KR20030097437A (ko) 2002-06-21 2003-12-31 주식회사 팬택앤큐리텔 공기 오염 감지 센서를 내장한 휴대폰
JP4302548B2 (ja) * 2004-02-18 2009-07-29 オリンパス株式会社 カメラ及び電子機器
JP2006030360A (ja) * 2004-07-13 2006-02-02 Konica Minolta Photo Imaging Inc レンズユニット及び該レンズユニットを備えたカメラ
CN2872406Y (zh) * 2005-11-15 2007-02-21 华晶科技股份有限公司 镜头保护装置
KR100901382B1 (ko) * 2006-07-19 2009-06-05 엘지전자 주식회사 카메라 렌즈 덮개장치 및 카메라 렌즈 덮개장치를 구비한이동 통신 단말기
CN200982953Y (zh) 2006-11-27 2007-11-28 康佳集团股份有限公司 一种基于手机的粉尘监测装置
US20070193901A1 (en) * 2007-03-09 2007-08-23 Daniel Cohen Camera cover
KR20100035682A (ko) * 2007-04-27 2010-04-06 세라마테크, 인코오포레이티드 입자상 물질 센서
CN101686273B (zh) * 2008-09-26 2014-11-26 深圳富泰宏精密工业有限公司 便携式通讯装置
US20100194574A1 (en) * 2009-01-30 2010-08-05 David James Monk Particle detection system and method of detecting particles
US20150189140A1 (en) * 2009-02-23 2015-07-02 Gary Edwin Sutton Curved sensor array camera
CN101615072B (zh) * 2009-06-18 2010-12-29 东南大学 基于从图像灰度恢复形状技术的纹理力触觉再现方法
JP5385029B2 (ja) * 2009-07-06 2014-01-08 パナソニック株式会社 カム枠、レンズ鏡筒、振れ補正装置および撮像素子ユニット
CN101995732A (zh) * 2009-08-21 2011-03-30 深圳富泰宏精密工业有限公司 镜头盖定位组件及具有该镜头盖定位组件的镜头盖机构
US8085484B2 (en) * 2009-12-29 2011-12-27 Sensor Technology Systems, Inc. Flip optic adaptor
CN101819462B (zh) * 2010-03-12 2011-07-20 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
JP6071873B2 (ja) * 2010-04-02 2017-02-01 スリーエム イノベイティブ プロパティズ カンパニー 検体センサ光学式読み取り装置のためのアライメント位置合わせ機構
US8908008B2 (en) * 2010-07-16 2014-12-09 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
US9716858B2 (en) * 2011-03-07 2017-07-25 Ricoh Company, Ltd. Automated selection and switching of displayed information
EP2713294A4 (en) * 2011-06-01 2014-07-02 Huawei Device Co Ltd METHOD FOR AUTHENTICATING A FINAL DEVICE AND DEVICE THEREFOR
CN103037050A (zh) 2011-10-10 2013-04-10 张跃 一种检测可吸入颗粒物的手机
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
EP2820842A1 (en) * 2012-02-27 2015-01-07 ETH Zürich Method and system for image processing in video conferencing for gaze correction
KR101886287B1 (ko) * 2012-03-23 2018-09-11 엘지이노텍 주식회사 터치 패널
US11474645B2 (en) * 2012-03-27 2022-10-18 Nokia Technologies Oy Method and apparatus for force sensing
CN102636621B (zh) 2012-03-31 2016-09-21 北京安赛博技术有限公司 一种便携式pm2.5的监测设备及监测方法
US9250754B2 (en) * 2012-09-27 2016-02-02 Google Inc. Pressure-sensitive trackpad
JP6128821B2 (ja) * 2012-12-04 2017-05-17 オリンパス株式会社 ブレ補正装置
US10817096B2 (en) * 2014-02-06 2020-10-27 Apple Inc. Force sensor incorporated into display
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9109981B2 (en) 2013-03-15 2015-08-18 Aircuity, Inc. Methods and apparatus for indoor air contaminant monitoring
CN104104750A (zh) * 2013-04-02 2014-10-15 昆山新力精密五金有限公司 手机摄像头固定及保护装置
CN103353434A (zh) 2013-06-18 2013-10-16 成都佳锂科技有限公司 一种带净化功能的便携式蓝牙细颗粒物检测仪
CN103454194B (zh) 2013-09-05 2015-09-23 江苏物联网研究发展中心 Pm2.5检测装置及其制造方法
US9883138B2 (en) * 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
US20160062500A1 (en) * 2014-08-28 2016-03-03 Apple Inc. Force Sensor with Capacitive Gap Sensing
CN104198349B (zh) 2014-09-17 2015-08-12 深圳市信诚佳业电子有限公司 粉尘检测装置及粉尘检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633608B1 (en) * 1999-05-27 2003-10-14 Sarnoff Corporation Method and apparatus for adapting memory resource utilization in an information stream decoder
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
CN104184984A (zh) * 2013-05-22 2014-12-03 索尼公司 具有用于电信会议的真人大小图像的便携式透明显示器

Also Published As

Publication number Publication date
CN105891071A (zh) 2016-08-24
US20160239087A1 (en) 2016-08-18
US20160241811A1 (en) 2016-08-18
US9692950B2 (en) 2017-06-27
US20160239134A1 (en) 2016-08-18
US10225442B2 (en) 2019-03-05
US10122898B2 (en) 2018-11-06
CN105898186A (zh) 2016-08-24
CN105897963B (zh) 2019-04-12
CN105892645A (zh) 2016-08-24
CN105897963A (zh) 2016-08-24
CN105892742A (zh) 2016-08-24
US20160238527A1 (en) 2016-08-18
US20160241748A1 (en) 2016-08-18
US10148857B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
CN105898186B (zh) 用于视频会议的显示方法及视频会议系统
CN106796718B (zh) 用于高效深度图像变换的方法和设备
US9995578B2 (en) Image depth perception device
US9288388B2 (en) Method and portable terminal for correcting gaze direction of user in image
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
CN105190685B (zh) 用于提供用于计算机视觉应用程序的自适应数据路径的方法和设备
CN104574306A (zh) 一种即时视频中的人脸美化方法和电子设备
US20150156475A1 (en) Method and Device for Implementing Stereo Imaging
CN109660783A (zh) 虚拟现实视差校正
CN109214999A (zh) 一种视频字幕的消除方法及装置
EP3912338B1 (en) Sharing physical writing surfaces in videoconferencing
US20170213396A1 (en) Virtual changes to a real object
CN105847850A (zh) 全景视频的实时播放方法及装置
US11880983B2 (en) Image enhancement system
CN103369205A (zh) 移动终端和视频图像处理方法
US11659134B2 (en) Image processing apparatus and image processing method
WO2021184303A1 (zh) 一种视频处理的方法及设备
US20120050302A1 (en) Method and apparatus for enhancing a white-board
CN105049778A (zh) 一种实现视频通信的方法及装置
CN112115831B (zh) 活体检测图像预处理方法
WO2024007819A1 (zh) 黑板板书获取方法、装置、设备、系统及存储介质
TWI481262B (zh) 影像編碼系統及影像編碼方法
Potetsianakis et al. Using Depth to Enhance Video-centric Applications
CN116311520A (zh) 一种基于单目摄像头的空中手写人机交互技术
Moriya et al. Video Tablet Based on Stereo Camera-Human-friendly handwritten capturing system for educational use

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220210

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.