CN105843374B - 互动系统、遥控器及其运作方法 - Google Patents

互动系统、遥控器及其运作方法 Download PDF

Info

Publication number
CN105843374B
CN105843374B CN201510620811.6A CN201510620811A CN105843374B CN 105843374 B CN105843374 B CN 105843374B CN 201510620811 A CN201510620811 A CN 201510620811A CN 105843374 B CN105843374 B CN 105843374B
Authority
CN
China
Prior art keywords
image
remote controler
human body
video camera
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510620811.6A
Other languages
English (en)
Other versions
CN105843374A (zh
Inventor
杨恕先
程瀚平
熊崎大助
下畠康幸
鹈饲幸弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Pixart Imaging Inc
Original Assignee
Nintendo Co Ltd
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd, Pixart Imaging Inc filed Critical Nintendo Co Ltd
Publication of CN105843374A publication Critical patent/CN105843374A/zh
Application granted granted Critical
Publication of CN105843374B publication Critical patent/CN105843374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种互动系统，所述互动系统包含遥控器。所述遥控器具有用来获取包含人体图像以及背景图像的工作图像的摄影机；分析所述工作图像用来取得所述工作图像中属于所述人体图像的人体图像区域以及属于所述背景图像的背景图像区域的处理单元；其中所述处理单元根据所述人体图像区域与所述背景图像区域的亮度分布产生所述遥控器的移动信息。

Description

互动系统、遥控器及其运作方法
技术领域
本发明有关一种互动系统，更特别有关一种可藉由遥控器与人体相对位置关系产生互动信息的互动系统、遥控器及其运作方法。
背景技术
传统互动系统中的指向装置藉由检测特定对象在图像中的位置来实现，由于特定对象本身相对环境以及显示器皆是不动的，因此特定对象与显示器之间具有固定的空间位置关系，因此根据特定位置在图像中的位置即可计算出摄影机所指向的方向。
上述方法广泛应用于电视、游戏机等指向应用，然而，此方法无法计算出摄影机本身所在位置，以游戏机为例，使用者可利用游戏机的遥控器的摄影机瞄准屏幕上的对象，但游戏机仅能计算出用户所瞄准屏幕的坐标位置，而无法藉由摄影机所获取图像得知用户与手部运动轨迹间的关系，使游戏类型受限。
发明内容
有鉴于此，本发明提供一种藉由检测遥控器与用户之间相互位置的变化来计算用户的手部运动轨迹。
本发明提供一种互动系统、遥控器及其运作方法，其可搭配人脸识别以区别工作图像中的人体图像区域及背景图像区域，用在计算遥控器坐标时仅根据工作图像的部分图像区域计算并忽略其他图像区域。
本发明提供一种互动系统，所述互动系统包含遥控器。所述遥控器包含摄影机以及处理单元。所述摄影机用来获取包含人体图像及背景图像的工作图像。所述处理单元用来接收所述工作图像，分析所述工作图像以取得所述工作图像中属于所述人体图像的人体图像区域以及属于所述背景图像的背景图像区域，并根据所述人体图像区域及所述背景图像区域的亮度分布产生所述遥控器的移动信息。
本发明还提供一种遥控器，包含摄影机、储存单元以及处理单元。所述摄影机用来获取包含人体图像及背景图像的初始工作图像及目前工作图像。所述储存单元用来储存所述初始工作图像、相对所述初始工作图像的预设深度图及预设位置信息。所述处理单元用来改变所述预设位置信息及所述预设深度图以根据所述初始工作图像产生多个估测图像，比较所述多个估测图像与所述目前工作图像以求得最大相似度，并将所述最大相似度所对应的最佳估测图像的位置信息作为所述遥控器的目前位置信息。
本发明还提供一种遥控器的运作方法，所述遥控器包含摄影机。所述运作方法包含下列步骤：以所述摄影机获取包含人体图像及背景图像的初始工作图像及目前工作图像；改变相对所述初始工作图像的预设位置信息及预设深度图以产生多个估测图像；比较所述多个估测图像与所述目前工作图像以求得最佳估测图像；以及输出所述最佳估测图像相对应的位置信息以作为所述遥控器的目前位置信息。
本发明还提供一种遥控器，所述互动系统包含遥控器。所述遥控器包含摄影机以及处理单元。所述摄影机用来获取包含至少一人体图像的工作图像。所述处理单元用来接收所述工作图像，从所述工作图像中抽取出脸部图像，对比所述脸部图像与脸部特征数据库以产生脸部特征信息，对比所述脸部特征信息与脸部几何数据库以求出所述摄影机的摄影机姿势。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，在本发明的说明中，相同的构件以相同的符号表示，在此先述明。
附图说明
图1为本发明一实施例的系统架构图；
图2为本发明一实施例中一遥控器的示意图；
图3为本发明一实施例中所获取图像的示意图；
图4为本发明一实施例中所获取图像的示意图；
图5为本发明一实施例中摄影机所建立三维坐标空间的示意图；
图6为本发明一实施例中计算并更新摄影机坐标及对象距离的流程图；
图7为本发明一实施例中计算并更新摄影机坐标的示意图；
图8为本发明一实施例中根据脸部分析建立三维位置信息的流程图；以及
图9为本发明一实施例中计算并更新摄影机对象距离的示意图。
附图标记说明
1000 遥控器
3000 显示器
具体实施方式
本发明采用全新架构，将摄影机置于手持装置，摄影机的安装位置利于观察用户的头部及/或肩膀等身体其他部位(以下简称人体)等部位，当使用者进行游戏时，随着使用者手部运动，摄影机可观测到使用者人体以及其后的背景区域的变化，藉此计算使用者手部运动轨迹，提高游戏经验。由于本发明的摄影机并非获取显示器方向的图像，显示器上或其附近无须另行设置参考光源。
请参照图1所示为本发明互动系统的系统示意图，所述互动系统包含用来检测用户的图像的遥控器1000，并从不同角度观察所述人体以及背景区域的图像，进而计算所述遥控器1000与人体及/或背景区域的相对位置变化来产生运动信息，再根据所述运动信息控制显示器3000的操作(例如控制所述显示器3000的光标的移动)。
参考图2，所述遥控器1000具有本体1100、摄影机1200以及光源1300，其中所述本体1100较佳是具有用来提供所述使用者持握的长轴，所述本体1100可设置多个按钮(图未显示)作为控制信号的输入单元，所述摄影机1200设置在所述本体1100的第一侧，当使用者持握所述遥控器1000进行操作时，所述第一侧较佳是面对着所述使用者，用来让所述摄影机1200得以获取人体及/或背景区域的部份图像。所述光源1300设置于与所述第一侧相对的第二侧，用来提供所述用户作为指向输入的视觉标示(可视系统需求设置或不设置)以作为指示灯，提供明显的视觉标示，所述光源1300较佳为一个雷射投影光源，用来投射光束至所述显示器3000以提示目前操作坐标。
例如，所述遥控器1000包含处理单元，例如微控制器(MCU)或中央处理单元(CPU)等，用来接收所述摄影机1200获取的工作图像，分析所述工作图像以取得所述工作图像中属于人体图像的人体图像区域以及属于背景图像的背景图像区域，并根据所述人体图像区域及所述背景图像区域产生所述遥控器1000的移动信息。所述遥控器1000还包含传输接口，利用有线或无线传输方式输出所述移动信息以相对控制所述显示器3000的光标动作。某些实施例中，计算所述遥控器1000的坐标时，可仅使用人体图像区域或背景图像区域其中的一者进行计算。
如图3所示，所述摄影机1200在获取一个工作图像1500时会同时获取到包含所述用户的人体图像1510以及背景区域的一个或多个背景图像1521/1522。可以了解的是，图3虽显示两背景图像1521、1522，其仅用于说明而并非用来限定本发明。当使用者操作所述摄影机1200时，由于手部会持续的移动，因此所述摄影机1200可以从相对所述人体及背景区域的不同视角取得多张工作图像，利用前后时间获取的不同视角的两张工作图像可仿真出与用户人体及/或背景区域有关的立体视觉，藉此建立起所述摄影机1200、所述使用者人体以及所述背景区域之间的3D位置关系。
由于所述工作图像1500同时包含了人体图像1510以及背景图像1521/1522，当使用者移动手部时，人体图像1510以及背景图像1521/1522在所述工作图像1500的成像位置都会改变，因此所述遥控器1000即可根据人体图像1510以及背景图像1521/1522的成像位置变化来计算所述遥控器1000本身的移动信息。更详而言之，所述工作图像1500中的成像位置变化会显示在亮度分布中。若使用者持握所述遥控器1000的手部未移动，但使用者上半身进行旋转动作，例如在射击游戏中的游戏角色持枪左右旋转视察，虽然所述人体图像1510在所述工作图像1500中的成像位置不变，可是所述背景图像1521/1522在所述工作图像1500中还是会产生变化，因此所述遥控器1000仍然可以仅通过所述背景图像1521/1522计算出用户旋转的运动信息。某些实施例中，当背景区域所包含的对象发生变动时，分辨出人体图像区域及背景图像区域后，所述遥控器1000仍然可以仅通过所述人体图像1510计算出用户的运动信息。换句话说，本发明中，所述遥控器1000(例如其处理单元)可分辨所获取的工作图像1500中的人体图像区域及背景图像区域，并在不同条件下选择至少其中的一者来计算所述遥控器1000的目前位置信息。
在一实施例中，所述遥控器1000在分析所述工作图像1500时，可直接判断整张图像，不需另外识别出所述人体图像1510及/或所述背景图像1521/1522，而是直接判断所述工作图像1500的所有像素的亮度分布变化，并进而判断各像素与所述摄影机1200之间的距离及相对位置变化。
在另一实施例中，所述遥控器1000在分析所述工作图像1500时，可先根据所述工作图像1500的亮度分布或其他像素信息识别出人体图像1510(例如通过人脸识别判断出脸部并将与脸部具有相同深度的图像区域识别为所述人体图像1510)及/或所述背景图像1521/1522(例如将所述人体图像1510以外的图像区域判断为所述背景图像1521/1522)，藉由人体图像1510及/或背景图像1521/1522的成像位置变化来判断人体及/或背景区域与所述摄影机1200之间的距离、倾角及相对位置变化。
参考图4显示所述摄影机1200、所述人体及/或背景区域之间的3D位置关系的示意图，在一实施例中，可将开机(或开始进行操作)后的时间t0所获取第一张图像(例如称为初始工作图像)时所述摄影机1200的位置P40设为3D坐标空间的原点O，而在下一时间t1所述摄影机1200在位置P41获取第二张图像(例如称为目前工作图像)时的坐标位置即以所述位置P40为原点O的3D坐标空间表示。所述遥控器1000则根据两张图像间的亮度分布来计算所述位置P41的三维坐标。当所述两张图像为两连续图像时，时间t0与t1的时间差则为取样周期，所述两张图像也可能为不连续的两张图像。
在计算所述3D位置关系时，由于所述人体及/或背景区域以及所述遥控器1000之间的相对关系及距离皆为未知，因此可先假设一组基本的参数(例如包含预设深度图及预设位置信息)，再经由多次获取工作图像来反复计算，藉此取得更精确的3D位置关系。例如参考图5，其说明用于反复计算并更新所述摄影机1200在3D坐标空间的位置以及各像素所对应的用户人体及背景区域与摄影机之间的距离(以下简称对象距离)。
在步骤5100，由所述摄影机1200获取初始的第一张工作图像(称为初始工作图像)，并假定所述摄影机1200的位置P40为3D坐标空间的原点O，且将所获取所述第一张工作图像中每个像素的对象距离皆给定一个预设值(例如全部设为1)，其中每个像素所给定的对象距离的预设值可以是预存于所述遥控器1000或所述摄影机1200的储存单元(例如内存、缓冲器等)中。
换句话说，获取所述初始工作图像时，所述储存单元至少储存有所述初始工作图像的预设深度图、亮度图(即所述初始工作图像)、所述摄影机1200的预设位置信息(例如，但不限于，三维坐标及三维倾角)以及取像焦距等；其中，所述预设深度图包含相对每个像素的对象距离(例如皆设为1，但并不以此为限)，所述亮度图包含每个像素的灰阶值，所述三维坐标例如设为(0,0,0)，而所述三维倾角例如包含第一轴向倾角、第二轴向倾角及第三轴向倾角，其均设为0，但本发明中的预设值设定并不以此为限。
在步骤5300，由所述摄影机1200依据工作频率获取目前工作图像(例如第二张工作图像)；其中，所述工作频率有时称为帧率(frame rate)。也即，步骤5100及5300中，所述摄影机1200分别获取包含人体图像及背景图像的初始工作图像及目前工作图像。
在步骤5500，根据目前各像素所对应的对象距离以及所述摄影机1200所获取前一张工作图像与目前工作图像的间的图像变化来计算并更新所述摄影机1200的目前坐标。参考图4，例如在第一时间t0所述摄影机1200的预设坐标P40为原点O(0,0,0)，其根据步骤5100所获取的初始工作图像所决定；更详言之，所述原点坐标O可视为所述遥控器1000或所述摄影机1200相对人体的初始三维空间关系。在第二时间t1获取第二张图像时，计算并更新所述摄影机1200的坐标为P1’(x1’,y1’,z1’)，其根据步骤5200所获取的目前工作图像所决定；更详言之，所述目前坐标P1’可视为所述遥控器1000或所述摄影机1200相对人体的目前三维空间关系。例如一种实施例中，所述遥控器1000包含处理单元，用来利用图像处理的方式改变所述预设位置信息及所述预设深度图以根据所述初始工作图像产生多个估测图像(例如一组三维坐标、三维倾角及深度可产生一张估测图像)，比较所述多个估测图像与所述目前工作图像以求得最大相似度，并将所述最大相似度所对应的最佳估测图像的位置信息作为所述遥控器的目前位置信息，例如包含三维坐标及三维倾角等。
更详而言之，所述遥控器1000根据所述目前工作图像求出所述遥控器1000或所述摄影机1200相对所述原点O的目前坐标的方式为，所述处理单元依序产生不同坐标(即改变位置信息及深度信息)下所述目前工作图像可能的亮度分布情形以作为估测图像，当某一估测图像与所述摄影机1200实际所获取的目前工作图像相似度最高时，则将所述估测图像视作为最佳估测图像。可以了解的是，由于所述遥控器1000用图像比较的方式来确认所述最佳估测图像，所述最佳估测图像的亮度分布可能并非完全相同于所述目前工作图像，或以阈值来确认是否中止比较程序并将相似度大于所述阈值的估测图像作为所述最佳估测图像。
在步骤5700，根据所述摄影机1200所更新的坐标(例如P1’)重新计算并更新人体或背景区域与摄影机1200之间的对象距离(例如更新所述预设深度图)，再回到步骤5300。
可以理解的是由于在步骤5500中，所述摄影机1200的各像素的对象距离是直接读取所储存的对象距离的数值(例如在获取第二张工作图像时所获取是预存所给定各像素的对象距离的预设值，在获取第三张工作图像或后续的工作图像则是读取更新过的对象距离)，并非实际上各像素所对应的用户人体或背景区域与所述摄影机1200之间的距离，因此所计算新的所述摄影机1200的坐标P1’(x1’,y1’,z1’)与实际上所述摄影机1200的坐标P1(x1,y1,z1)之间可能会存在一定差距。而在多次的进行步骤5300/5500/5700之后可藉由多次的更新将所计算所述摄影机1200的坐标Pn’与实际上所述摄影机1200的坐标Pn之间的差距逐步减少。所述遥控器1000例如输出坐标P1’(x1’,y1’,z1’)至主机以进行相对应控制。
当然在一实施例中所述遥控器1000可进一步包含距离量测单元(图中未显示)，如此所述遥控器1000可取得所述摄影机1200所有像素的实际对象距离，则步骤5700即可忽略。
当所述摄影机1200再次获取工作图像(例如第三张工作图像)，则可以从步骤5500以及步骤5700中获得并更新所述摄影机1200的坐标以及各像素的对象距离。因此所述摄影机1200藉由多次的获取工作图像以及反复的进行步骤5500以及5700即可使所述摄影机1200所计算的坐标与实际的坐标更为接近，也可使得所计算各像素的对象距离(例如预设深度图)与实际的对象距离更为接近。因此，某些实施例中，所述摄影机1200可具有校正阶段，其可为开机时、结束休眠时或使用者自行选择时执行，藉以增加正式操作时精确度。
可以理解的是，为了增加操作的稳定性，也可以设定在遥控器1000进行操作之后每隔预定时间重新回到步骤5100，或者超过一定比例的像素在所计算出所述多个对象距离或与前一张图像(或初始图像帧)所取得对象距离的变化超过阈值或无法计算出有效对象距离时，重设所述摄影机1200的操作状态而重新回到步骤5100。
参考图6为步骤5500更新所述摄影机1200的坐标的示意图，在所述步骤5500之中，当读取所述摄影机1200各像素的对象距离(例如预设深度图)之后，所述多个对象距离可视为所述摄影机1200在获取前一张工作图像(或初始图像帧)时各像素的对象距离，再根据所述多个对象距离来计算所述摄影机1200新的坐标。
在一实施例中，当所述摄影机1200在前后时间(例如t0、t1)在C61以及C62这两个位置分别获取两张工作图像I61/I62时，所获取工作图像I61/I62都包含了人体6510及背景区域6521/6522(利用处理单元识别人体图像区域及背景图像区域已说明于前)，其中所述用户人体6510的特征点P60在所述两张工作图像I61/I62的成像位置分别为P61/P62。所述处理单元例如通过算法改变相对所述初始工作图像(例如I61)的预设位置信息及预设深度信息(其储存于储存单元中)以产生多个估测工作图像，以仿真所述工作图像I62在不同位置时的亮度分布。所述处理单元并比较所述多个估测工作图像与所述工作图像I62的相似度，例如计算相关性(correlation)，并将具有最高相似度的最佳估测工作图像所对应的位置信息视为所述工作图像I62的目前位置信息。如前所述，所述处理单元可比较所述目前工作图像中所述人体图像区域及所述背景图像区域至少其中的一者与所述多个估测图像中相对应区域(即人体图像区域及背景图像区域)的相似度，例如计算相对应区域间的相关性。
可以理解的是，用于判断成像位置变化的特征点P60通常是在所获取工作图像中容易分辨的点，例如是具有超过阈值的亮度值的像素所对应的特征点；或者是一群特征点的组合，例如是具有相同或类似亮度值的像素的集合所对应特征点的集合。
当所用来判断的特征点越多，所计算出来所述摄影机1200的位置变化就可以越准确，而若可以用于判断的特征点所对应的像素数量少于一个阈值，所述遥控器1000即需要回到步骤5100重新获取初始工作图像，当然此张初始工作图像的各像素的对象距离可使用预存的预设值(例如1)或者是前一次有效用于计算摄影机1200位置变化的工作图像所对应的最后一次更新的对象距离的值。
在另一实施例中，可先从前后张工作图像I61/I62识别出一个或多个特征点P60或特征点集合，再从这些特征点P60或其特征点集合的相似度来计算所述摄影机1200在获取所述两张工作图像I61/I62时的位置C61/C62的坐标变化。
参考图7为步骤5700更新所述摄影机1200各像素的对象距离(即更新所储存的深度信息)的示意图，在所述步骤5700之中，由于已从前一个步骤5500取得所述摄影机1200获取目前工作图像的坐标，因此可根据所述摄影机1200在获取前后张工作图像时的坐标变化来计算并更新已储存的所述摄影机1200每个像素的对象距离。
当摄影机1200在坐标C71(例如对应图6的位置C61)获取前一张工作图像I71时，特征点P70在所述工作图像I71的成像位置是P71，当所述摄影机1200获取目前工作图像I72(例如对应图6的位置C62)时的坐标已经移至C72，根据前一次的步骤5500可以取得C71/C72的坐标及其位置变化。
由于所述遥控器1000具有已储存上一次更新的对象距离，故可根据所述特征点P70在所述工作图像I71所对应像素目前所更新对象距离设定搜寻距离S71(例如是目前所更新对象距离往前及往后预定距离)，且因所述摄影机1200的目前坐标C72为已知，因此可从所述搜寻距离S71以及所述坐标C72利用三角运算定义出所述工作图像I72中对应所述搜寻距离S71的一个搜寻范围S72，并从所述搜寻范围S72之中找出对应所述特征点P70的成像的像素P72。因此可根据C71/C72的前后坐标变化，前一张工作图像I71中所述特征点P70所对应对象距离以及目前工作图像I72中所述特征点P70所对应的像素位置P72计算出所述特征点P70与所述摄影机1200在所述坐标C72之间的对象距离，藉此让所述遥控器1000可更新已储存的所述特征点P70所对应的对象距离。所述遥控器1000持续根据新的目前工作图像更新所述储存单元内所储存的对象距离(即深度图)。
在一实施例中，可先从前后两张工作图像I71/I72识别出一个或多个特征点P70或特征点集合，再从这些特征点P70或其特征点集合的成像位置变化来计算所述摄影机1200在获取目前工作图像I72时对应所述特征点P70或其特征点集合与摄影机1200之间的对象距离。
由上可知，当使用者持握所述遥控器1000的本体1100并进行连续移动时，即可藉由所述摄影机1200所获取连续的工作图像来计算所述摄影机1200的相对移动，也即可计算出所述遥控器1000的相对移动。
在一实施例中，可进行校正程序，也即由用户将所述遥控器1000的雷射光源1300投射光束瞄准显示器3000的一个特定目标点，藉此建立所述摄影机1200的3D坐标空间跟所述使用者人体与所述显示器3000之间一个坐标空间的连结，提供使用者进行直接指向控制。
在一实施例中，可进一步将所获取工作图像中的用户人体与背景区域进行分离，例如使用工作图像中各像素点的亮度值来进行区隔，如此即可区分出前景(使用者人体)以及背景(背景区域)，并进而将用户人体从所获取工作图像中独立出来，进而提供后端应用程序进行判断，例如用户脸部分析，或者仅利用摄影机1200与人体之间的相对关系计算所述摄影机1200的位置。
参考图8，其为本发明中根据脸部分析建立三维位置信息的流程图，包含下列步骤：图像获取(步骤S81)；脸部检测(步骤S82)；脸部特征检测(步骤S83)；摄影机姿势估测(步骤S84)；以及应用控制(步骤S85)；其中，所述多个步骤例如由所述摄影机1200内的处理单元1210所执行。如前所述，所述三维位置信息(即摄影机姿势)例如包含三维坐标及三维倾角等。本实施例中，所述处理单元1210可根据一张工作图像求出三维位置信息。所述处理单元1210包含脸部数据库、脸部特征数据库以及脸部几何数据库，预先储存于所述处理单元1210中，例如内存或缓冲器。如前所述，所述处理单元1210例如为微控制器或中央处理器。
步骤S81：所述遥控器100的摄影机1200获取包含至少一个人体图像的工作图像(如图3所示)，并将所述工作图像传送至处理单元1210进行后处理。可以了解的是，所述工作图像可包含人体图像以外的对象图像。
步骤S82：所述处理单元1210首先对比所述工作图像与所述脸部数据库，以从所述工作图像中抽取出脸部图像，并将所述脸部图像范围以外的图像数据(即画素数据)忽略，例如从缓存器中移除或计算时不予计算。所述处理单元1210例如包含脸部检测引擎(其可由软件及/或硬件实现)利用人脸检测算法与所述脸部数据库进行对比以产生所述脸部图像；其中，所使用的人脸检测算法并无特定限制，例如参照2013年11月1日公告的TWI414179B、2014年11月21日公告的TW I462029B以及2013年7月11日公告的TW I401963B1。另一实施例中，所述处理单元1210可不使用人脸检测算法，而采用面积及/或形状等参数从所述工作图像中抽取出所述脸部图像；例如，图像区域的面积大于预设面积阈值及/或图像区域的形状符合预设形状；其中，所述图像区域例如为介于预设灰阶范围的画素区域。
步骤S83：所述处理单元1210接着对比所述脸部图像与所述脸部特征数据库以产生脸部特征信息；其中，所述脸部特征例如包含五官、眉毛、下巴、轮廓等至少其中一部分的二维位置。所述处理单元1210例如包含脸部特征检测引擎(其可由软件及/或硬件实现)，用来对比出所述脸部图像中的多个脸部特征及求出相对应的二维位置。换句话说，所述脸部特征信息包含所述脸部图像中多个脸部特征的二维位置；其中，所述多个脸部特征根据所述脸部特征检测引擎所使用的算法或所述脸部特征数据库所预存的脸部特征而定，并无特定限制。
步骤S84：所述处理单元1210接着对比所述脸部特征信息与所述脸部几何数据库以求出所述摄影机1200的摄影机姿势，例如三维位置信息。换句话说，所述脸部几何数据库包含所述多个脸部特征的三维位置。所述处理单元1210例如包含姿势估测引擎(其可由软件及/或硬件实现)，其利用三维姿势估测(3D pose estimation)算法来求出所述摄影机姿势。三维姿势估测算法例如可参照论文“Synthesizing stereo 3D views from focuscues in monoscopic 2D images”,Ramon M.Rodriguez-Dagnino、“Globally Optimal O(n)Solution to the PnP Problem for General Camera Models”,GeraldSchweighofer、“Synthesizing stereo 3D views from focus cues in monoscopic2Dimages”,Ramon M.Rodriguez-Dagnino，但并不以此为限。
步骤S85：所述处理单元1210最后根据单一工作图像的位置信息或连续工作图像的位置信息变化进行后续的应用控制，例如控制光标移动、游戏参数等，并无特定限制。
参考图9，在一实施例中，使用者可同时持握两支遥控器8100与8300，由于各遥控器8100与8300皆可根据上述方法(图5或8)建立与所述用户人体以及背景区域之间的一个3D坐标空间，因此通过矩阵转换即可让两支遥控器8100与8300的3D坐标空间结合，让两支遥控器8100与8300知悉彼此的相对位置关系，并进而让使用者可进行双手互动或手势的操作。
必须说明的是，上述说明中，由于摄影机1200包含在遥控器1000内，所述遥控器1000的位置信息即为所述摄影机1200的位置信息。
虽然本发明已通过前述实例披露，但是其并非用来限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (15)

1.一种互动系统，该互动系统包含：
遥控器，所述遥控器包含：
摄影机，用来获取包含使用者的人体图像及所述使用者后方的背景图像的工作图像；以及
处理单元，用来接收所述工作图像，分析所述工作图像以取得所述工作图像中属于所述人体图像的人体图像区域以及属于所述背景图像的背景图像区域，并根据所述人体图像区域及所述背景图像区域两者的成像位置变化产生所述遥控器的移动信息。
2.根据权利要求1所述的互动系统，其中所述互动系统还包含显示器，所述遥控器还包含用来投射光束至所述显示器的指示灯，以提示目前操作坐标。
3.根据权利要求2所述的互动系统，其中所述摄影机及所述指示灯设置于所述遥控器的两相对侧。
4.根据权利要求1所述的互动系统，其中所述处理单元用来比较所述工作图像与多个估测工作图像的相似度，以决定所述工作图像的目前坐标。
5.根据权利要求4所述的互动系统，其中通过改变初始工作图像的预设位置信息及预设深度信息而获得所述多个估测工作图像。
6.根据权利要求5所述的互动系统，其中所述遥控器还包含用来储存所述预设位置信息及所述预设深度信息的储存单元，所述处理单元还用来根据所述目前坐标更新所述预设深度信息。
7.根据权利要求1所述的互动系统，其中所述互动系统还包含显示器，所述遥控器还包含传输接口，该传输接口用来输出所述移动信息以相对控制所述显示器的光标动作。
8.一种遥控器，该遥控器包含：
摄影机，用来获取包含使用者的人体图像及所述使用者后方的背景图像的初始工作图像及目前工作图像；
储存单元，用来储存所述初始工作图像、相对所述初始工作图像的预设深度图及预设位置信息；以及
处理单元，用来分辨所述初始工作图像及所述目前工作图像中的人体图像区域及背景图像区域，改变所述预设位置信息及所述预设深度图以根据所述初始工作图像产生多个估测图像，比较所述目前工作图像中所述人体图像区域及所述背景图像区域两者与所述多个估测图像中相对应区域的相似度以求得最大相似度，并将所述最大相似度所对应的最佳估测图像的位置信息作为所述遥控器的目前位置信息。
9.根据权利要求8所述的遥控器，其中所述预设位置信息及所述目前位置信息包含三维坐标及三维倾角。
10.根据权利要求8所述的遥控器，其中所述处理单元还根据所述目前位置信息更新所述预设深度图。
11.根据权利要求8所述的遥控器，其中所述遥控器包含彼此相对的第一侧及第二侧，所述摄影机设置于所述第一侧而光源设置于所述第二侧。
12.一种遥控器的运作方法，该遥控器包含摄影机，该运作方法包含：
用所述摄影机获取包含使用者的人体图像及所述使用者后方的背景图像的初始工作图像及目前工作图像；
分辨所述初始工作图像及所述目前工作图像中的人体图像区域及背景图像区域；
改变相对所述初始工作图像的预设位置信息及预设深度图以产生多个估测图像；
比较所述目前工作图像中所述人体图像区域及所述背景图像区域两者与所述多个估测图像中相对应区域的相似度以求得最佳估测图像；以及
输出所述最佳估测图像相对应的位置信息以作为所述遥控器的目前位置信息。
13.根据权利要求12所述的运作方法，该运作方法还包含：
根据所述目前位置信息更新所述预设深度图。
14.根据权利要求12所述的运作方法，其中所述相似度通过计算所述目前工作图像中所述人体图像区域及所述背景图像区域两者与所述多个估测图像中相对应区域的相关性而得到。
15.根据权利要求12所述的运作方法，其中所述最佳估测图像为所述多个估测图像中与所述目前工作图像具有最高相似度的估测图像。
CN201510620811.6A 2015-01-30 2015-09-25 互动系统、遥控器及其运作方法 Active CN105843374B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
TW104103379 2015-01-30
TW104103379 2015-01-30
TW104125540 2015-08-05
TW104125540A TWI526879B (zh) 2015-01-30 2015-08-05 互動系統、遙控器及其運作方法

Publications (2)

Publication Number Publication Date
CN105843374A CN105843374A (zh) 2016-08-10
CN105843374B true CN105843374B (zh) 2019-01-04

Family

ID=56085502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510620811.6A Active CN105843374B (zh) 2015-01-30 2015-09-25 互动系统、遥控器及其运作方法

Country Status (5)

Country Link
US (2) US10055011B2 (zh)
EP (1) EP3127586B1 (zh)
JP (1) JP6129363B2 (zh)
CN (1) CN105843374B (zh)
TW (1) TWI526879B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI526879B (zh) * 2015-01-30 2016-03-21 原相科技股份有限公司 互動系統、遙控器及其運作方法
US10110877B2 (en) * 2015-10-12 2018-10-23 Dell Products, Lp Method and apparatus for depth algorithm adjustment to images based on predictive analytics and sensor feedback in an information handling system
TWI632527B (zh) * 2017-11-22 2018-08-11 東友科技股份有限公司 影像擷取與輸出方法
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
CN108986825A (zh) * 2018-07-02 2018-12-11 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
US11159840B2 (en) * 2018-07-25 2021-10-26 Samsung Electronics Co., Ltd. User-aware remote control for shared devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300044A (zh) * 2010-06-22 2011-12-28 原相科技股份有限公司 处理图像的方法与图像处理模块
CN102445179A (zh) * 2010-10-13 2012-05-09 原相科技股份有限公司 测距方法、测距系统与其处理方法
CN102681654A (zh) * 2011-03-18 2012-09-19 深圳富泰宏精密工业有限公司 3d可视视角自动调整系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
RU2006121437A (ru) * 2003-12-18 2007-12-27 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и система для управления устройством
JP2006301906A (ja) * 2005-04-20 2006-11-02 Nec Corp カメラ付携帯電話端末、カメラ付携帯電話端末操作方法、及びカメラ付携帯電話端末操作プログラム
JP2008146164A (ja) * 2006-12-06 2008-06-26 Toshiba Corp 小型端末装置
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
TWI401963B (zh) 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
EP2498487B1 (en) * 2009-11-02 2017-01-04 Lenovo Innovations Limited (Hong Kong) Mobile communication apparatus
CN103988226B (zh) * 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
US9304574B2 (en) 2012-04-13 2016-04-05 Pixart Imaging Inc. Remote device and power saving method of interactive system
TWI526879B (zh) * 2015-01-30 2016-03-21 原相科技股份有限公司 互動系統、遙控器及其運作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300044A (zh) * 2010-06-22 2011-12-28 原相科技股份有限公司 处理图像的方法与图像处理模块
CN102445179A (zh) * 2010-10-13 2012-05-09 原相科技股份有限公司 测距方法、测距系统与其处理方法
CN102681654A (zh) * 2011-03-18 2012-09-19 深圳富泰宏精密工业有限公司 3d可视视角自动调整系统及方法

Also Published As

Publication number Publication date
CN105843374A (zh) 2016-08-10
JP2016143414A (ja) 2016-08-08
TW201627818A (zh) 2016-08-01
TWI526879B (zh) 2016-03-21
US20160225133A1 (en) 2016-08-04
JP6129363B2 (ja) 2017-05-17
EP3127586B1 (en) 2019-06-26
US10055011B2 (en) 2018-08-21
US10534426B2 (en) 2020-01-14
US20180173301A1 (en) 2018-06-21
EP3127586A1 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
CN105843374B (zh) 互动系统、遥控器及其运作方法
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
TWI574223B (zh) 運用擴增實境技術之導航系統
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5470262B2 (ja) 両眼の検出および追跡する方法、及び装置
JP5873864B2 (ja) オブジェクト追跡及び認識方法及び装置
US20210041945A1 (en) Machine learning based gaze estimation with confidence
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR101125233B1 (ko) 융합기술기반 보안방법 및 융합기술기반 보안시스템
CN103105924B (zh) 人机交互方法和装置
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018524657A (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN103699212B (zh) 互动系统及移动检测方法
CN105809664A (zh) 生成三维图像的方法和装置
CN110084187B (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
US20200202609A1 (en) Information processor, control method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Yang Shuxian

Inventor after: Cheng Hanping

Inventor after: Kumazaki Daisuke

Inventor after: Shimohatakey Yasuko

Inventor after: Ukai Yukihiro

Inventor before: Yang Shuxian

Inventor before: Cheng Hanping

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20161101

Address after: Taiwan, Hsinchu, China Science and Technology Industrial Park, Hsinchu County Road, building 5, No. 5

Applicant after: Yuanxiang Science & Technology Co., Ltd.

Applicant after: Nintendo Co., Ltd.

Address before: Taiwan, Hsinchu, China Science and Technology Industrial Park, Hsinchu County Road, building 5, No. 5

Applicant before: Yuanxiang Science & Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant