TWI526879B - 互動系統、遙控器及其運作方法 - Google Patents

互動系統、遙控器及其運作方法 Download PDF

Info

Publication number
TWI526879B
TWI526879B TW104125540A TW104125540A TWI526879B TW I526879 B TWI526879 B TW I526879B TW 104125540 A TW104125540 A TW 104125540A TW 104125540 A TW104125540 A TW 104125540A TW I526879 B TWI526879 B TW I526879B
Authority
TW
Taiwan
Prior art keywords
image
camera
remote controller
working
current
Prior art date
Application number
TW104125540A
Other languages
English (en)
Other versions
TW201627818A (zh
Inventor
楊恕先
程瀚平
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW104125540A priority Critical patent/TWI526879B/zh
Priority to CN201510620811.6A priority patent/CN105843374B/zh
Priority to JP2016005162A priority patent/JP6129363B2/ja
Priority to US15/000,426 priority patent/US10055011B2/en
Application granted granted Critical
Publication of TWI526879B publication Critical patent/TWI526879B/zh
Priority to EP16179092.8A priority patent/EP3127586B1/en
Publication of TW201627818A publication Critical patent/TW201627818A/zh
Priority to US15/897,959 priority patent/US10534426B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

互動系統、遙控器及其運作方法
本發明係有關一種互動系統，更特別有關一種可藉由遙控器與人體相對位置關係產生互動資訊的互動系統、遙控器及其運作方法。
傳統互動系統中的指向裝置係藉由偵測特定物件在影像中的位置來實現，由於特定物件本身相對環境以及顯示器皆是不動的，因此特定物件與顯示器之間具有固定的空間位置關係，因此根據特定物件在影像中的位置即可計算出攝影機所指向之方向。
上述方法廣泛應用於電視、遊戲機等指向應用，然而，此方法無法計算出攝影機本身所在位置，以遊戲機為例，使用者可利用遊戲機的遙控器之攝影機瞄準螢幕上之物件，但遊戲機僅能計算出使用者所瞄準螢幕的座標位置，而無法藉由攝影機所擷取影像得知使用者與手部運動軌跡間的關係，使遊戲類型受限。
有鑑於此，本發明提供一種藉由偵測遙控器與使用者之間相互位置的變化來計算使用者的手部運動軌跡。
本發明提供一種互動系統、遙控器及其運作方法，其可搭配人臉辨識以區別工作影像中之人體影像區域及背景影像區域，以於計算遙控器座標時僅根據工作影像之部分影像區域計算並忽略其他影像區域。
本發明提供一種互動系統，該互動系統包含一遙控器。該遙控器包含一攝影機以及一處理單元。該攝影機用以擷取包含一人體影像及一背景影像之一工作影像。該處理單元用以接收該工作影像，分析該工 作影像以取得該工作影像中屬於該人體影像之一人體影像區域以及屬於該背景影像之一背景影像區域，並根據該人體影像區域及該背景影像區域之亮度分布產生該遙控器之一移動資訊。
本發明另提供一種遙控器，包含一攝影機、一儲存單元以及一處理單元。該攝影機用以擷取包含一人體影像及一背景影像之一初始工作影像及一目前工作影像。該儲存單元用以儲存該初始工作影像、相對該初始工作影像之一預設深度圖及一預設位置資訊。該處理單元用以改變該預設位置資訊及該預設深度圖以根據該初始工作影像產生複數估測影像，比較該等估測影像與該目前工作影像以求得一最大相似度，並將該最大相似度所對應之一最佳估測影像之一位置資訊作為該遙控器之一目前位置資訊。
本發明另提供一種遙控器之運作方法，該遙控器包含一攝影機。該運作方法包含下列步驟：以該攝影機擷取包含一人體影像及一背景影像之一初始工作影像及一目前工作影像；改變相對該初始工作影像之一預設位置資訊及一預設深度圖以產生複數估測影像；比較該等估測影像與該目前工作影像以求得一最佳估測影像；以及輸出該最佳估測影像相對應之位置資訊以作為該遙控器之一目前位置資訊。
本發明另提供一種互動系統，該互動系統包含一遙控器。該遙控器包含一攝影機以及一處理單元。該攝影機用以擷取包含至少一人體影像之一工作影像。該處理單元用以接收該工作影像，從該工作影像中抽取出一臉部影像，比對該臉部影像與一臉部特徵資料庫以產生一臉部特徵資訊，比對該臉部特徵資訊與一臉部幾何資料庫以求出該攝影機之一攝影機姿勢。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此先述明。
1000、8100、8300‧‧‧遙控器
1100‧‧‧本體
1200‧‧‧攝影機
1210‧‧‧處理單元
1300‧‧‧光源
1500‧‧‧工作影像
1510‧‧‧人體影像
1521、1522‧‧‧背景影像
3000‧‧‧顯示器
5100、5300、5500、5700‧‧‧步驟
6510‧‧‧人體
6521、6522‧‧‧背景區域
C61、C62‧‧‧物件位置
C71、C72‧‧‧攝影機座標
第1圖為本發明一實施例之一系統架構圖；第2圖為本發明一實施例中一遙控器之示意圖； 第3圖為本發明一實施例中所擷取影像之示意圖；第4圖為本發明一實施例中攝影機所建立三維座標空間之示意圖；第5圖為本發明一實施例中計算並更新攝影機座標及物件距離之流程圖；第6圖為本發明一實施例中計算並更新攝影機座標之示意圖；第7圖為本發明一實施例中計算並更新攝影機物件距離之示意圖；第8圖為本發明一實施例中根據臉部分析建立三維位置資訊之流程圖；以及第9圖為本發明一實施例中使用者操作兩支遙控器之示意圖。
本發明採用全新架構，將一攝影機置於一手持裝置，攝影機的安裝位置利於觀察使用者之頭部及/或肩膀等身體其他部位(以下簡稱人體)等部位，當使用者進行遊戲時，隨著使用者手部運動，攝影機可觀測到使用者人體以及其後的背景區域的變化，藉此計算使用者手部運動軌跡，提高遊戲經驗。由於本發明之攝影機並非擷取顯示器方向的影像，顯示器上或其附近無須另行設置參考光源。
請參照第1圖所示為本發明互動系統之一系統示意圖，該互動系統包含一遙控器1000用以偵測一使用者之影像，並從不同角度觀察該人體以及背景區域的影像，進而計算該遙控器1000與人體及/或背景區域之相對位置變化來產生一運動資訊，再根據該運動資訊控制一顯示器3000之操作(例如控制該顯示器3000之一游標的移動)。
參考第2圖，該遙控器1000具有一本體1100、一攝影機1200以及一光源1300，其中該本體1100較佳是具有一長軸用以提供該使用者持握，該本體1100可設置多個按鈕(圖未顯示)作為控制訊號的輸入單元，該攝影機1200設置在該本體1100的一第一側，當使用者持握該遙控器1000進行操作時，該第一側較佳是面對著該使用者，用以讓該攝影機1200得以擷取人體及/或背景區域的部份影像。該光源1300設置於與該第一側相對之一第二側，用以提供該使用者作為指向輸入的視覺標示(可視系統需求設置或不設置)以作為一指示燈，提供明顯的視覺標示，該光源1300較佳為一個雷射投影光源，用以投射一光束至該顯示器3000以提示一目前操作座標。
例如，該遙控器1000包含一處理單元，例如一微控制器(MCU)或一中央處理單元(CPU)等，用以接收該攝影機1200擷取之工作影像，分析該工作影像以取得該工作影像中屬於人體影像之一人體影像區域以及屬於背景影像之一背景影像區域，並根據該人體影像區域及該背景影像區域產生該遙控器1000之一移動資訊。該遙控器1000另包含一傳輸介面利用有線或無線傳輸方式輸出該移動資訊以相對控制該顯示器3000之一游標動作。某些實施例中，計算該遙控器1000之座標時，可僅使用人體影像區域或背景影像區域其中之一進行計算。
如第3圖所示，該攝影機1200在擷取一個工作影像1500時會同時擷取到包含該使用者的一人體影像1510以及背景區域的一或多個背景影像1521/1522。可以了解的是，第3圖雖顯示兩背景影像1521、1522，其僅用於說明而並非用以限定本發明。當使用者操作該攝影機1200時，由於手部會持續的移動，因此該攝影機1200可以從相對該人體及背景區域的不同視角取得多張工作影像，利用前後時間擷取的不同視角的兩張工作影像可模擬出與使用者人體及/或背景區域有關的立體視覺，藉此建立起該攝影機1200、該使用者人體以及該背景區域之間的3D位置關係。
由於該工作影像1500同時包含了人體影像1510以及背景影像1521/1522，當使用者移動手部時，人體影像1510以及背景影像1521/1522在該工作影像1500的成像位置都會改變，因此該遙控器1000即可根據人體影像1510以及背景影像1521/1522的成像位置變化來計算該遙控器1000本身的移動資訊。更詳而言之，該工作影像1500中的成像位置變化會顯示於亮度分佈中。若使用者持握該遙控器1000的手部未移動，但使用者上半身進行旋轉動作，例如在射擊遊戲中的遊戲角色持槍左右旋轉視察，雖然該人體影像1510在該工作影像1500中的成像位置不變，可是該背景影像1521/1522在該工作影像1500中還是會產生變化，因此該遙控器1000仍然可以僅透過該背景影像1521/1522計算出使用者旋轉的運動資訊。某些實施例中，當背景區域所包含的物件發生變動時，分辨出人體影像區域及背景影像區域後，該遙控器1000仍然可以僅透過該人體影像1510計算出使用者的運動資訊。換句話說，本發明說明中，該遙控器1000(例如其處理單元)可分辨所擷取的工作影像1500中之人體影像區域及背景影像區域，並於不 同條件下選擇至少其中之一來計算該遙控器1000之目前位置資訊。
在一實施例中，該遙控器1000在分析該工作影像1500時，可直接判斷整張影像，不需另外辨識出該人體影像1510及/或該背景影像1521/1522，而是直接判斷該工作影像1500的所有像素的亮度分佈變化，並進而判斷各像素與該攝影機1200之間的距離及相對位置變化。
在另一實施例中，該遙控器1000在分析該工作影像1500時，可先根據該工作影像1500的亮度分佈或其他像素資訊辨識出人體影像1510(例如透過人臉辨識判斷出臉部並將與臉部具有相同深度的影像區域辨識為該人體影像1510)及/或該背景影像1521/1522(例如將該人體影像1510以外的影像區域判斷為該背景影像1521/1522)，藉由人體影像1510及/或背景影像1521/1522的成像位置變化來判斷人體及/或背景區域與該攝影機1200之間的距離、傾角及相對位置變化。
參考第4圖顯示該攝影機1200、該人體及/或背景區域之間的3D位置關係的示意圖，在一實施例中，係可將開機(或開始進行操作)後之一時間t0所擷取第一張影像(例如稱為初始工作影像)時該攝影機1200的位置P40設為一3D座標空間的原點O，而在下一時間t1該攝影機1200在位置P41擷取第二張影像(例如稱為目前工作影像)時的座標位置即以該位置P40為原點O的3D座標空間表示。該遙控器1000則根據兩張影像間的亮度分佈來計算該位置P41之三維座標。當該兩張影像為兩連續影像時，時間t0與t1之時間差則為取樣週期，該兩張影像也可能為不連續的兩張影像。
在計算該3D位置關係時，由於該人體及/或背景區域以及該遙控器1000之間的相對關係及距離皆為未知，因此可先假設一組基本的參數(例如包含預設深度圖及預設位置資訊)，再經由多次擷取工作影像來反覆計算，藉此取得更精確的3D位置關係。例如參考第5圖，其說明用於反覆計算並更新該攝影機1200於3D座標空間的位置以及各像素所對應的使用者人體及背景區域與攝影機之間的距離(以下簡稱物件距離)。
在步驟5100，由該攝影機1200擷取初始的第一張工作影像(稱為初始工作影像)，並假定該攝影機1200的位置P40為3D座標空間的原點O，且將所擷取該第一張工作影像中每個像素的物件距離皆給定一個預設值(例如全部設為1)，其中每個像素所給定的物件距離的預設值可以是預 存於該遙控器1000或該攝影機1200的儲存單元(例如記憶體、緩衝器等)中。
換句話說，擷取該初始工作影像時，該儲存單元至少儲存有該初始工作影像之一預設深度圖、一亮度圖(即該初始工作影像)、該攝影機1200之預設位置資訊(例如，但不限於，三維座標及三維傾角)以及取像焦距等；其中，該預設深度圖包含相對每個像素的物件距離(例如皆設為1，但並不以此為限)，該亮度圖包含每個像素的灰階值，該三維座標例如設為(0,0,0)，而該三維傾角例如包含第一軸向傾角、第二軸向傾角及一第三軸向傾角，其均設為0，但本發明說明中的預設值設定並不以此為限。
在步驟5300，由該攝影機1200依據一工作頻率擷取一目前工作影像(例如第二張工作影像)；其中，該工作頻率有時稱為圖框率(frame rate)。亦即，步驟5100及5300中，該攝影機1200分別擷取包含一人體影像及一背景影像之一初始工作影像及一目前工作影像。
在步驟5500，根據目前各像素所對應的物件距離以及該攝影機1200所擷取前一張工作影像與目前工作影像之間的影像變化來計算並更新該攝影機1200的目前座標。參考第4圖，例如在第一時間t0該攝影機1200的預設座標P40為原點O(0,0,0)，其係根據步驟5100所擷取的初始工作影像所決定；更詳言之，該原點座標O可視為該遙控器1000或該攝影機1200相對人體的初始三維空間關係。在第二時間t1擷取第二張影像時，計算並更新該攝影機1200的座標為P1’(x1’,y1’,z1’)，其係根據步驟5200所擷取的目前工作影像所決定；更詳言之，該目前座標P1’可視為該遙控器1000或該攝影機1200相對人體的目前三維空間關係。例如一種實施例中，該遙控器1000包含一處理單元，用以利用影像處理的方式改變該預設位置資訊及該預設深度圖以根據該初始工作影像產生複數估測影像(例如一組三維座標、三維傾角及深度可產生一張估測影像)，比較該等估測影像與該目前工作影像以求得一最大相似度，並將該最大相似度所對應之一最佳估測影像之一位置資訊作為該遙控器之一目前位置資訊，例如包含一三維座標及三維傾角等。
更詳而言之，該遙控器1000根據該目前工作影像求出該遙控器1000或該攝影機1200相對該原點O的目前座標的方式為，該處理單元係依序產生不同座標(即改變位置資訊及深度資訊)下該目前工作影像可 能的亮度分佈情形以作為估測影像，當某一估測影像與該攝影機1200實際所擷取之目前工作影像相似度最高時，則將該估測影像視作為最佳估測影像。可以了解的是，由於該遙控器1000係以影像比較的方式來確認該最佳估測影像，該最佳估測影像的亮度分佈可能並非完全相同於該目前工作影像，或以一閾值來確認是否中止比較程序並將相似度大於該閾值之估測影像作為該最佳估測影像。
在步驟5700，根據該攝影機1200所更新的座標(例如P1’)重新計算並更新人體或背景區域與攝影機1200之間的物件距離(例如更新該預設深度圖)，再回到步驟5300。
可以理解的是由於在步驟5500中，該攝影機1200的各像素的物件距離是直接讀取所儲存的物件距離的數值(例如在擷取第二張工作影像時所讀取的是預存所給定各像素之物件距離的預設值，在擷取第三張工作影像或後續的工作影像則是讀取更新過的物件距離)，並非實際上各像素所對應的使用者人體或背景區域與該攝影機1200之間的距離，因此所計算新的該攝影機1200的座標P1’(x1’,y1’,z1’)與實際上該攝影機1200的座標P1(x1,y1,z1)之間可能會存在一定差距。而在多次的進行步驟5300/5500/5700之後可藉由多次的更新將所計算該攝影機1200的座標Pn’與實際上該攝影機1200的座標Pn之間的差距逐步減少。該遙控器1000例如輸出座標P1’(x1’,y1’,z1’)至一主機以進行相對應控制。
當然在一實施例中該遙控器1000可進一步包含一距離量測單元(圖中未顯示)，如此該遙控器1000可取得該攝影機1200所有像素的實際物件距離，則步驟5700即可忽略。
當該攝影機1200再次擷取工作影像(例如第三張工作影像)，則可以從步驟5500以及步驟5700中獲得並更新該攝影機1200的座標以及各像素的物件距離。因此該攝影機1200藉由多次的擷取工作影像以及反覆的進行步驟5500以及5700即可使該攝影機1200所計算的座標與實際的座標更為接近，也可使得所計算各像素的物件距離(例如預設深度圖)與實際的物件距離更為接近。因此，某些實施例中，該攝影機1200可具有一校正階段，其可為開機時、結束休眠時或使用者自行選擇時執行，藉以增加正式操作時精確度。
可以理解的是，為了增加操作的穩定性，亦可以設定在遙控器1000進行操作之後每隔一預定時間重新回到步驟5100，或者超過一定比例的像素在所計算出該些物件距離或與前一張影像(或初始影像圖框)所取得物件距離的變化超過一門檻值或無法計算出有效物件距離時，重設該攝影機1200的操作狀態而重新回到步驟5100。
參考第6圖為步驟5500更新該攝影機1200的座標的示意圖，在該步驟5500之中，當讀取該攝影機1200各像素的物件距離(例如預設深度圖)之後，該些物件距離可視為該攝影機1200在擷取前一張工作影像(或初始影像圖框)時各像素的物件距離，再根據該些物件距離來計算該攝影機1200新的座標。
在一實施例中，當該攝影機1200於前後時間(例如t0、t1)在C61以及C62這兩個位置分別擷取兩張工作影像I61/I62時，所擷取工作影像I61/I62都包含了人體6510及背景區域6521/6522(利用處理單元辨識人體影像區域及背景影像區域已說明於前)，其中該使用者人體6510的特徵點P60在該兩張工作影像I61/I62的成像位置分別為P61/P62。該處理單元例如透過演算法改變相對該初始工作影像(例如I61)之預設位置資訊及預設深度資訊(其儲存於儲存單元中)以產生複數估測工作影像，以模擬該工作影像I62在不同位置時的亮度分佈。該處理單元並比較該等估測工作影像與該工作影像I62之相似度，例如計算相關性(correlation)，並將具有最高相似度之一最佳估測工作影像所對應的位置資訊視為該工作影像I62之目前位置資訊。如前所述，該處理單元可比較該目前工作影像中該人體影像區域及該背景影像區域至少其中之一與該等估測影像中相對應區域(即人體影像區域及背景影像區域)之相似度，例如計算相對應區域間的相關性。
可以理解的是，用於判斷成像位置變化的特徵點P60通常是在所擷取工作影像中容易分辨的點，例如是具有超過一門檻值的亮度值的像素所對應的特徵點；或者是一群特徵點的組合，例如是具有相同或類似亮度值的像素之集合所對應特徵點之集合。
當所用來判斷的特徵點越多，所計算出來該攝影機1200的位置變化就可以越準確，而若可以用於判斷的特徵點所對應的像素數量少於一門檻值，該遙控器1000即需要回到步驟5100重新擷取一初始工作影 像，當然此張初始工作影像的各像素的物件距離可使用預存的預設值(例如1)或者是前一次有效用於計算攝影機1200位置變化的工作影像所對應的最後一次更新之物件距離的值。
在另一實施例中，可先從前後張工作影像I61/I62辨識出一或多個特徵點P60或特徵點集合，再從這些特徵點P60或其特徵點集合的相似度來計算該攝影機1200在擷取該兩張工作影像I61/I62時的位置C61/C62之座標變化。
參考第7圖為步驟5700更新該攝影機1200各像素的物件距離(即更新所儲存的深度資訊)的示意圖，在該步驟5700之中，由於已從前一個步驟5500取得該攝影機1200擷取目前工作影像的座標，因此可根據該攝影機1200在擷取前後張工作影像時的座標變化來計算並更新已儲存的該攝影機1200每個像素的物件距離。
當攝影機1200於座標C71(例如對應第6圖之位置C61)擷取前一張工作影像I71時，特徵點P70在該工作影像I71的成像位置是P71，當該攝影機1200擷取目前工作影像I72(例如對應第6圖之位置C62)時的座標已經移至C72，根據前一次的步驟5500可以取得C71/C72的座標及其位置變化。
由於該遙控器1000具有已儲存上一次更新的物件距離，故可根據該特徵點P70在該工作影像I71所對應像素目前所更新物件距離設定一搜尋距離S71(例如是目前所更新物件距離往前及往後一預定距離)，且因該攝影機1200的目前座標C72為已知，因此可從該搜尋距離S71以及該座標C72利用三角運算定義出該工作影像I72中對應該搜尋距離S71的一個搜尋範圍S72，並從該搜尋範圍S72之中找出對應該特徵點P70的成像之像素P72。因此可根據C71/C72的前後座標變化，前一張工作影像I71中該特徵點P70所對應物件距離以及目前工作影像I72中該特徵點P70所對應的像素位置P72計算出該特徵點P70與該攝影機1200在該座標C71(PS：請確認此修改是否正確)之間的物件距離，藉此讓該遙控器1000可更新已儲存的該特徵點P70所對應的物件距離。該遙控器1000持續根據新的目前工作影像更新該儲存單元內所儲存的物件距離(即深度圖)。
在一實施例中，可先從前後張工作影像I71/I72辨識出一或 多個特徵點P70或特徵點集合，再從這些特徵點P70或其特徵點集合的成像位置變化來計算該攝影機1200在擷取目前工作影像I72時對應該特徵點P70或其特徵點集合與攝影機1200之間的物件距離。
由上可知，當使用者持握該遙控器1000的本體1100並進行連續移動時，即可藉由該攝影機1200所擷取連續的工作影像來計算該攝影機1200的相對移動，亦即可計算出該遙控器1000的相對移動。
在一實施例中，可進行一校正程序，亦即由使用者將該遙控器1000的雷射光源1300投射一光束瞄準顯示器3000的一個特定目標點，藉此建立該攝影機1200的3D座標空間跟該使用者人體與該顯示器3000之間一個座標空間的連結，提供使用者進行直接指向控制。
在一實施例中，可進一步將所擷取工作影像中的使用者人體與背景區域進行分離，例如使用工作影像中各像素點的亮度值來進行區隔，如此即可區分出前景(使用者人體)以及背景(背景區域)，並進而將使用者人體從所擷取工作影像中獨立出來，進而提供後端應用程式進行判斷，例如使用者臉部分析，或者僅利用攝影機1200與人體之間的相對關係計算該攝影機1200的位置。
參考第8圖，其為本發明說明中根據臉部分析建立三維位置資訊之流程圖，包含下列步驟：影像擷取(步驟S81)；臉部偵測(步驟S82)；臉部特徵偵測(步驟S83)；攝影機姿勢估測(步驟S84)；以及應用控制(步驟S85)；其中，該等步驟例如由該攝影機1200內之處理單元1210所執行。如前所述，該三維位置資訊(即攝影機姿勢)例如包含三維座標及三維傾角等。本實施例中，該處理單元1210可根據一張工作影像求出三維位置資訊。該處理單元1210包含一臉部資料庫、一臉部特徵資料庫以及一臉部幾何資料庫，預先儲存於該處理單元1210中，例如記憶體或緩衝器。如前所述，該處理單元1210例如為一微控制器或一中央處理器。
步驟S81：該遙控器1000之攝影機1200擷取包含至少一人體影像之一工作影像(如第3圖所示)，並將該工作影像傳送至處理單元1210進行後處理。可以了解的是，該工作影像可包含人體影像以外的物件影像。
步驟S82：該處理單元1210首先比對該工作影像與該臉部資料庫，以從該工作影像中抽取出一臉部影像，並將該臉部影像範圍以外 的影像資料(即畫素資料)忽略，例如從暫存器中移除或計算時不予計算)。該處理單元1210例如包含一臉部偵測引擎(其可由軟體及/或硬體實現)利用一人臉偵測演算法與該臉部資料庫進行比對以產生該臉部影像；其中，所使用的人臉偵測演算法並無特定限制，例如參照2013年11月1日公告的TW I414179B、2014年11月21日公告的TW I462029B以及2013年7月11日公告的TW I401963B1。另一實施例中，該處理單元1210可不使用人臉偵測演算法，而採用面積及/或形狀等參數從該工作影像中抽取出該臉部影像；例如，影像區域之面積大於一預設面積門檻值及/或影像區域之形狀符合一預設形狀；其中，該影像區域例如為介於一預設灰階範圍之畫素區域。
步驟S83：該處理單元1210接著比對該臉部影像與該臉部特徵資料庫以產生一臉部特徵資訊；其中，該臉部特徵例如包含五官、眉毛、下巴、輪廓等至少其中一部分的二維位置。該處理單元1210例如包含一臉部特徵偵測引擎(其可由軟體及/或硬體實現)，用以比對出該臉部影像中的複數臉部特徵及求出相對應的二維位置。換句話說，該臉部特徵資訊包含該臉部影像中複數臉部特徵的二維位置；其中，該等臉部特徵根據該臉部特徵偵測引擎所使用的演算法或該臉部特徵資料庫所預存的臉部特徵而定，並無特定限制。
步驟S84：該處理單元1210接著比對該臉部特徵資訊與該臉部幾何資料庫以求出該攝影機1200之一攝影機姿勢，例如三維位置資訊。換句話說，該臉部幾何資料庫包含該等臉部特徵的三維位置。該處理單元1210例如包含一姿勢估測引擎(其可由軟體及/或硬體實現)，其利用三維姿勢估測(3D pose estimation)演算法來求出該攝影機姿勢。三維姿勢估測演算法例如可參照論文”Synthesizing stereo 3D views from focus cues in monoscopic 2D images”,Ramon M.Rodriguez-Dagnino、”Globally Optimal O(n) Solution to the PnP Problem for General Camera Models”,Gerald Schweighofer、“Synthesizing stereo 3D views from focus cues in monoscopic 2D images”,Ramon M.Rodriguez-Dagnino，但並不以此為限。
步驟S85：該處理單元1210最後根據單一工作影像之位置資訊或連續工作影像之位置資訊變化進行後續的應用控制，例如控制游標移動、遊戲參數等，並無特定限制。
參考第9圖，在一實施例中，使用者可同時持握兩支遙控器8100與8300，由於各遙控器8100與8300皆可根據上述方法(第5或8圖)建立與該使用者人體及/或背景區域之間的一個3D座標空間，因此透過矩陣轉換即可讓兩支遙控器8100與8300的3D座標空間結合，讓兩支遙控器8100與8300知悉彼此的相對位置關係，並進而讓使用者可進行雙手互動或手勢的操作。
必須說明的是，上述說明中，由於攝影機1200包含於遙控器1000內，該遙控器1000之位置資訊即為該攝影機1200的位置資訊。
雖然本發明已以前述實例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1000‧‧‧遙控器
3000‧‧‧顯示器

Claims (21)

  1. 一種互動系統，該互動系統包含：一遙控器，該遙控器包含：一攝影機，用以擷取包含一人體影像及一背景影像之一工作影像；以及一處理單元，用以接收該工作影像，分析該工作影像以取得該工作影像中屬於該人體影像之一人體影像區域以及屬於該背景影像之一背景影像區域，並根據該人體影像區域及該背景影像區域之亮度分布產生該遙控器之一移動資訊。
  2. 如申請專利範圍第1項之互動系統，其中該互動系統另包含一顯示器，該遙控器另包含一指示燈用以投射一光束至該顯示器，以提示一目前操作座標。
  3. 如申請專利範圍第2項之互動系統，其中該攝影機及該指示燈設置於該遙控器之兩相對側。
  4. 如申請專利範圍第1項之互動系統，其中該處理單元用以比較該工作影像與複數估測工作影像之相似度，以決定該工作影像之一目前座標。
  5. 如申請專利範圍第4項之互動系統，其中該等估測工作影像係透過改變一初始工作影像之預設位置資訊及預設深度資訊而得。
  6. 如申請專利範圍第5項之互動系統，其中該遙控器另包含一儲存單元用以儲存該預設位置資訊及該預設深度資訊，該處理單元另用以根據該目前座標更新該預設深度資訊。
  7. 如申請專利範圍第1項之互動系統，其中該互動系統另包含一顯示器，該遙控器另包含一傳輸介面用以輸出該移動資訊以相對控制該顯示器之一游標動作。
  8. 一種遙控器，包含：一攝影機，用以擷取包含一人體影像及一背景影像之一初始工作影像及一目前工作影像；一儲存單元，用以儲存該初始工作影像、相對該初始工作影像之一預設深度圖及一預設位置資訊；以及一處理單元，用以改變該預設位置資訊及該預設深度圖以根據該初始工作影像產生複數估測影像，比較該等估測影像與該目前工作影像以求得一最大相似度，並將該最大相似度所對應之一最佳估測影像之一位置資訊作為該遙控器之一目前位置資訊。
  9. 如申請專利範圍第8項之遙控器，其中該預設位置資訊及該目前位置資訊包含一三維座標及三維傾角。
  10. 如申請專利範圍第8項之遙控器，其中該處理單元另根據該目前位置資訊更新該預設深度圖。
  11. 如申請專利範圍第8項之遙控器，其中該處理單元另用以分辨該初始工作影像及該目前工作影像中之人體影像區域及背景影像區域。
  12. 如申請專利範圍第11項之遙控器，其中該處理單元比較該目前工作影像中該人體影像區域及該背景影像區域至少其中之一與該等估測影像中相對應區域之相似度。
  13. 如申請專利範圍第8項之遙控器，其中該遙控器包含一第一側及一第二側彼此相對，該攝影機設置於該第一側而一光源設置於該第二側。
  14. 一種遙控器之運作方法，該遙控器包含一攝影機，該運作方法包含：以該攝影機擷取包含一人體影像及一背景影像之一初始工作影像及一目前工作影像； 改變相對該初始工作影像之一預設位置資訊及一預設深度圖以產生複數估測影像；比較該等估測影像與該目前工作影像以求得一最佳估測影像；以及輸出該最佳估測影像相對應之位置資訊以作為該遙控器之一目前位置資訊。
  15. 如申請專利範圍第14項之運作方法，另包含：根據該目前位置資訊更新該預設深度圖。
  16. 如申請專利範圍第14項之運作方法，另包含：分辨該初始工作影像及該目前工作影像中之人體影像區域及背景影像區域。
  17. 如申請專利範圍第16項之運作方法，另包含：比較該目前工作影像中該人體影像區域及該背景影像區域至少其中之一與該等估測影像中相對應區域之相似度。
  18. 如申請專利範圍第17項之運作方法，其中該相似度係計算該目前工作影像中該人體影像區域及該背景影像區域至少其中之一與該等估測影像中相對應區域之相關性。
  19. 如申請專利範圍第14項之運作方法，其中該最佳估測影像為該等估測影像中與該目前工作影像具有最高相似度者。
  20. 一種互動系統，該互動系統包含：一遙控器，該遙控器包含：一攝影機，用以擷取包含至少一人體影像之一工作影像；以及一處理單元，用以接收該工作影像，從該工作影像中抽取出一臉部影像，比對該臉部影像與一臉部特徵資料庫以產生一臉部特徵資訊， 比對該臉部特徵資訊與一臉部幾何資料庫以求出該攝影機之一攝影機姿勢。
  21. 如申請專利範圍第20項之互動系統，其中該臉部特徵資訊包含複數臉部特徵的二維位置，該臉部幾何資料庫包含該等臉部特徵的三維位置，該攝影機姿勢包含三維座標及三維傾角。
TW104125540A 2015-01-30 2015-08-05 互動系統、遙控器及其運作方法 TWI526879B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW104125540A TWI526879B (zh) 2015-01-30 2015-08-05 互動系統、遙控器及其運作方法
CN201510620811.6A CN105843374B (zh) 2015-01-30 2015-09-25 互动系统、遥控器及其运作方法
JP2016005162A JP6129363B2 (ja) 2015-01-30 2016-01-14 インタラクティブシステム、リモコン及びその操作方法
US15/000,426 US10055011B2 (en) 2015-01-30 2016-01-19 Interactive system, handheld device remote controller and operating method thereof
EP16179092.8A EP3127586B1 (en) 2015-01-30 2016-07-12 Interactive system, remote controller and operating method thereof
US15/897,959 US10534426B2 (en) 2015-01-30 2018-02-15 Interactive system, remote controller and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104103379 2015-01-30
TW104125540A TWI526879B (zh) 2015-01-30 2015-08-05 互動系統、遙控器及其運作方法

Publications (2)

Publication Number Publication Date
TWI526879B true TWI526879B (zh) 2016-03-21
TW201627818A TW201627818A (zh) 2016-08-01

Family

ID=56085502

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104125540A TWI526879B (zh) 2015-01-30 2015-08-05 互動系統、遙控器及其運作方法

Country Status (5)

Country Link
US (2) US10055011B2 (zh)
EP (1) EP3127586B1 (zh)
JP (1) JP6129363B2 (zh)
CN (1) CN105843374B (zh)
TW (1) TWI526879B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI526879B (zh) * 2015-01-30 2016-03-21 原相科技股份有限公司 互動系統、遙控器及其運作方法
US10110877B2 (en) * 2015-10-12 2018-10-23 Dell Products, Lp Method and apparatus for depth algorithm adjustment to images based on predictive analytics and sensor feedback in an information handling system
TWI632527B (zh) * 2017-11-22 2018-08-11 東友科技股份有限公司 影像擷取與輸出方法
CN108986825A (zh) * 2018-07-02 2018-12-11 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
US11159840B2 (en) * 2018-07-25 2021-10-26 Samsung Electronics Co., Ltd. User-aware remote control for shared devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005062273A1 (en) * 2003-12-18 2005-07-07 Philips Intellectual Property & Standards Gmbh Method and system for control of a device
JP2006301906A (ja) * 2005-04-20 2006-11-02 Nec Corp カメラ付携帯電話端末、カメラ付携帯電話端末操作方法、及びカメラ付携帯電話端末操作プログラム
JP2008146164A (ja) * 2006-12-06 2008-06-26 Toshiba Corp 小型端末装置
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
TWI401963B (zh) 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
JP5594485B2 (ja) * 2009-11-02 2014-09-24 日本電気株式会社 携帯通信装置
CN102300044B (zh) * 2010-06-22 2013-05-08 原相科技股份有限公司 处理图像的方法与图像处理模块
CN102445179B (zh) * 2010-10-13 2013-07-31 原相科技股份有限公司 测距方法、测距系统与其处理方法
CN102681654B (zh) * 2011-03-18 2016-06-29 深圳富泰宏精密工业有限公司 3d可视视角自动调整系统及方法
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9304574B2 (en) 2012-04-13 2016-04-05 Pixart Imaging Inc. Remote device and power saving method of interactive system
TWI526879B (zh) * 2015-01-30 2016-03-21 原相科技股份有限公司 互動系統、遙控器及其運作方法

Also Published As

Publication number Publication date
EP3127586B1 (en) 2019-06-26
US20160225133A1 (en) 2016-08-04
JP6129363B2 (ja) 2017-05-17
EP3127586A1 (en) 2017-02-08
JP2016143414A (ja) 2016-08-08
CN105843374A (zh) 2016-08-10
TW201627818A (zh) 2016-08-01
CN105843374B (zh) 2019-01-04
US10534426B2 (en) 2020-01-14
US10055011B2 (en) 2018-08-21
US20180173301A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
TWI526879B (zh) 互動系統、遙控器及其運作方法
US10001844B2 (en) Information processing apparatus information processing method and storage medium
CN104380338B (zh) 信息处理器以及信息处理方法
US20150071524A1 (en) 3D Feature Descriptors with Camera Pose Information
JP7017689B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
US20160232708A1 (en) Intuitive interaction apparatus and method
TWI489326B (zh) 操作區的決定方法與系統
JP2016170610A (ja) 三次元モデル処理装置およびカメラ校正システム
JP2015049776A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2016162162A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
JP2002259989A (ja) ポインティングジェスチャ検出方法及びその装置
CN114612786A (zh) 一种障碍物检测方法、移动机器人及机器可读存储介质
CN106996769B (zh) 一种无需相机标定的主动式位姿快速重定位方法
WO2018148219A1 (en) Systems and methods for user input device tracking in a spatial operating environment
TWI536206B (zh) 操作體的定位方法及裝置以及深度判定方法及裝置
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5336325B2 (ja) 画像処理方法
US11423622B2 (en) Apparatus for generating feature positions in a virtual world, information processing method, and storage medium
JP2021021577A (ja) 画像処理装置及び画像処理方法
CN115082520A (zh) 定位追踪方法、装置、终端设备及计算机可读存储介质
TWI460683B (zh) The way to track the immediate movement of the head