JP2022136727A - カメラ装置及びカメラシステム - Google Patents

カメラ装置及びカメラシステム Download PDF

Info

Publication number
JP2022136727A
JP2022136727A JP2021036476A JP2021036476A JP2022136727A JP 2022136727 A JP2022136727 A JP 2022136727A JP 2021036476 A JP2021036476 A JP 2021036476A JP 2021036476 A JP2021036476 A JP 2021036476A JP 2022136727 A JP2022136727 A JP 2022136727A
Authority
JP
Japan
Prior art keywords
camera
unit
information
fingertip
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021036476A
Other languages
English (en)
Inventor
鉄二 鈴木
Tetsuji Suzuki
隆幸 菅原
Takayuki Sugawara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021036476A priority Critical patent/JP2022136727A/ja
Priority to CN202280019506.XA priority patent/CN116998146A/zh
Priority to EP22766920.7A priority patent/EP4290308A1/en
Priority to PCT/JP2022/008572 priority patent/WO2022190961A1/ja
Publication of JP2022136727A publication Critical patent/JP2022136727A/ja
Priority to JP2022174297A priority patent/JP2023017867A/ja
Priority to US18/461,549 priority patent/US20230419719A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】指に装着したカメラの方向を容易に検出することができるカメラ装置及びカメラシステムを提供すること。【解決手段】本実施形態の指先カメラ装置２０は、指に装着されるカメラ部２１と、掌の筋電情報を取得する筋電情報取得部４２と、取得した筋電情報に基づき、所定の基準方向に対するカメラ部２１の相対的な方向を検出するカメラ方向検出部４６と、カメラ方向検出部４６から得たカメラ部２１の方向情報を、該カメラ部２１が撮像した撮像情報に付加して出力する出力部５２とを備える。【選択図】図１

Description

本発明は、小型カメラを制御するユーザインターフェースに関し、特に、掌の生体情報を用いて指先に装着されたカメラを制御する技術に関する。
従来、レンズや撮像素子を左右一対で備えるステレオカメラ部と、接眼レンズや表示素子を左右一対で備えるステレオファインダー兼ビューワー部と、公衆通信回線に無線によって接続する携帯情報端末部と、を含むカメラ付き端末が知られている（例えば、特許文献１参照）。この種のカメラ付き端末では、ステレオ映像の撮影と閲覧を一台で完結することが可能となっている。
特開２００５－１５９７７１号公報
ところで、近年、指にカメラを装着し、このカメラが撮像した画像を表示することが実行されている。この場合、例えば、２本（複数）の指にそれぞれカメラを装着し、各カメラで撮像した画像を処理してステレオ（立体）画像を生成する技術が模索されている。しかし、この種の技術では、例えば、ジャイロセンサなどをカメラに設けるとカメラが大型化してしまい、指に装着したカメラの方向（撮像方向）を容易に検出することが難しいという問題があった。
本発明は、上記に鑑みてなされたものであって、指に装着したカメラの方向を容易に検出することができるカメラ装置及びカメラシステムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係るカメラ装置は、指に装着されるカメラ部と、掌の生体情報を取得する生体情報取得部と、取得した生体情報に基づき、所定の基準方向に対するカメラ部の相対的な方向を検出するカメラ方向検出部と、カメラ方向検出部から得たカメラ部の方向情報を、該カメラ部が撮像した撮像情報に付加して出力する出力部と、を備えたことを特徴とする。
また、本発明に係るカメラシステムは、上記したカメラ装置と、カメラ部が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部と、を備えることを特徴とする。
本発明によれば、取得した生体情報に基づき、所定の基準方向に対するカメラ部の相対的な方向を検出するため、指に装着したカメラの方向を容易に検出することができる。
図１は、第１実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図２は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図３は、指先カメラシステムの動作の手順を示すフローチャートである。 図４は、第２実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図５は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図６は、指先カメラシステムの動作の手順を示すフローチャートである。 図７は、第３実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図８は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図９は、指先カメラシステムの動作の手順を示すフローチャートである。 図１０は、変形例に係るカメラ部の概略構成を示す図である。 図１１は、変形例に係るカメラ部の概略構成を示す図である。 図１２は、変形例に係るカメラ部の概略構成を示す図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［第１実施形態］
図１は、第１実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図２は、手に指先カメラ装置が装着された状態の一例を示す概略図である。本実施形態において、指先カメラシステム（カメラシステム）１０は、ユーザの手の指先に装着されたカメラ部２１が撮像した画像を処理して所定の表示部３４に表示するものである。
図１に示すように、指先カメラシステム１０は、指先カメラ装置（カメラ装置）２０と、画像処理ユニット３０とを備えて構成される。これら指先カメラ装置２０と画像処理ユニット３０とは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続されている。ＬＡＮは、指先カメラ装置２０と画像処理ユニット３０を中継するものであり、例えば、ＷＩ－ＦＩ（登録商標）などの無線ＬＡＮや、ＬＴＥ、５Ｇなどの無線通信路が用いられる。
指先カメラ装置２０は、カメラ部２１と、筋電センサ（生体情報検出部）２２と、制御ユニット２３とを備える。カメラ部２１は、図２に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着されるカメラ本体２１０と、このカメラ本体２１０に設けられるレンズ２１１とを備える。カメラ本体２１０は、指サックのように、有底円筒形状に形成されて開口側から指先が挿入されて指先に装着される。また、カメラ本体２１０には、レンズ２１１を介して周辺を撮影する撮像部（不図示）が内蔵されている。撮像部が撮像する画像は、例えば動画であるが静止画であってもよい。撮像された撮像情報は、所定の頻度で制御ユニット２３に送信される。レンズ２１１は、集光する機能を有し、カメラ本体２１０の先端部（有底部）に設けられている。即ち、図２の例では、カメラ部２１の光軸（撮像方向）は、装着された手指の指先の方向に延びている。
筋電センサ２２は、リング状に形成されて、カメラ部２１が装着された手指の付け根部分に装着される。筋電センサ２２は、リング状の本体の内周面に配置された複数の表面電極を有し、これら表面電極がユーザの手指の筋肉の動きに応じて発生する筋電情報（生体情報）を検出する。ここで、筋電情報とは、手指を動かした際に筋肉（筋繊維）の収縮によって発生する生体電気信号である。また、内周面とは、ユーザの手指の外周面と当接する側を示す。筋電センサ２２は、例えば、手指を折り曲げた場合や、隣合う指間の距離を変えるように手指を掌と水平方向に移動させた場合に、手指の左右の腱の延びや、筋肉（例えば母指内転筋横頭など）の延びで発生する筋電情報を検出する。これにより、筋電センサ２２は、筋電情報を検出することで、複数の筋肉や腱の動きを検出可能に構成される。検出された筋電情報は、所定の頻度で随時、制御ユニット２３に送信される。なお、本実施形態では、筋電センサ２２を、カメラ部２１が装着された手指の付け根部分に装着した構成としたが、検出する筋電情報に対応する筋肉の位置によって、手指の付け根部分と手首とで筋電センサ２２を分けて装着してもよいし、手首にまとめて装着してもよい。手首に筋電センサを装着する場合には制御ユニット２３に設けることができる。
制御ユニット２３は、カメラ部２１及び筋電センサ２２とそれぞれ接続され、これらカメラ部２１及び筋電センサ２２の動作を制御する。制御ユニット２３は、図２に示すように、例えば、ユーザの手首に巻き付けられて該手首に装着される。本実施形態では、制御ユニット２３は、カメラ部２１及び筋電センサ２２と有線接続され、カメラ部２１及び筋電センサ２２に電力を供給するとともに、カメラ部２１及び筋電センサ２２から各種情報を取得する。なお、本実施形態では、有線接続としたがこれに限るものではなく、無線接続であってもよい。この場合、カメラ部２１及び筋電センサ２２にはそれぞれ自己を駆動するための電源（バッテリ）を備えることが好ましい。制御ユニット２３は、図１に示すように、撮像情報取得部４０と、筋電情報取得部（生体情報取得部）４２と、ポジションセンサ（腕方向検出部）４４と、カメラ方向検出部４６と、記憶部４８と、電源部５０と、出力部５２と、操作部５４と、制御部５６とを備える。
撮像情報取得部４０は、カメラ部２１から送信された撮像情報を取得するインターフェイスである。筋電情報取得部４２は、筋電センサ２２から送信された筋電情報を取得する。取得した撮像情報及び筋電情報は、例えば、カメラ部２１と対応づけて記憶部４８に記憶される。
ポジションセンサ４４は、制御ユニット２３の位置や向きを検出するセンサであり、例えば、ジャイロセンサや３軸加速度センサ、地磁気センサを備えて構成される。このポジションセンサ４４により、制御ユニット２３が装着されたユーザの手首（腕）の位置およびユーザの腕の延びる方向が検出できる。なお、腕の延びる方向を算出する具体例を説明する。例えば、制御ユニット２３内に２つ以上のポジションセンサ４４を設置する。ユーザが制御ユニット２３を取り付けた際に手首の延びる方向の線上に２つ以上のポジションセンサ４４が位置するよう、制御ユニット２３内に２つ以上のポジションセンサ４４を設置する。各ポジションセンサ４４の位置を結びつけることで延びた方向の検出が可能となる。また、ポジションセンサ４４が一つであってもよく、ポジションセンサ４４が検出した位置の変化から、腕の延びる方向が算出することができる。
カメラ方向検出部４６は、取得した筋電情報に基づき、所定の基準方向に対するカメラ部２１の相対的な方向（撮像方向）を検出する。本構成では、基準方向は、ポジションセンサ４４が検出したユーザの腕の延びる方向であり、この腕の延びる方向に対するカメラ部２１の相対的な方向を検出する。ここで、手指の曲げ方向、すなわち、掌に対するカメラ部２１の方向は、筋電情報により例えば３次元の方向ベクトルとして演算される。この場合、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）の筋電情報と、その時に指が動作した各方向情報（方向ベクトル）との関連性を対応付けしたデータを記憶部４８から呼び出し、取得した筋電情報とこのデータを比較することで指が動作した各方向情報（方向ベクトル）を算出し、掌に対するカメラ部２１の方向を演算することができる。また、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）について測定された筋電情報と、その時に指が動作した各方向情報（方向ベクトル）とを用いて、これらの情報を教師データセットとして機械学習した学習モデルを生成し、この学習モデルに検出した筋電情報を入力することにより、掌に対するカメラ部２１の方向を演算することができる。また、腕の延びる方向については、ポジションセンサの検出により、３次元の方向ベクトルとして演算される。このため、腕の延びる方向を基準方向とすることにより、この基準方向に対するカメラ部２１の相対的な方向を検出（演算）することができる。
記憶部４８は、例えば、ＲＡＭやフラッシュメモリを備えて構成され、取得した撮像情報及び筋電情報を記憶する。また、所定の基準方向に対するカメラ部２１の相対的な方向（撮像方向）を記憶する。また、記憶部４８には、上記した学習モデルが記憶されている。この学習モデルは、例えば、手指の動かした際に発生した筋電情報と、その時に手指が動作した各方向情報（方向ベクトル）とを教師データセットとして機械学習することで生成される。
電源部５０は、指先カメラ装置２０を駆動するための電源である。この電源部５０は、例えば、充電型のバッテリであり、電力をカメラ部２１及び筋電センサ２２に供給する。出力部５２は、制御ユニット２３から画像処理ユニット３０に情報を出力する。本実施形態では、出力部５２は、カメラ方向検出部４６が検出したカメラ部２１の相対的な方向情報を、該カメラ部２１が撮像した撮像情報に付加して出力するインターフェイスである。この場合、方向情報と撮像情報とを対応づけて（紐づけて）出力すればよい。
操作部５４は、指先カメラ装置２０の動作を操作する。例えば、操作部５４は、手首に装着された制御ユニット２３の表面に形成されたスイッチを備え、このスイッチを操作することにより、カメラ部２１の撮像動作の開始及び停止操作を行う。制御部５６は、制御ユニット２３の各構成要素の動作を制御する。
なお、筋電情報取得部４２、カメラ方向検出部４６、制御部５６は、それぞれＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。
画像処理ユニット３０は、図１に示すように、通信部３１と記憶部３２と立体画像生成処理部３３と表示部３４と制御部３５とを備える。画像処理ユニット３０は、具体的には、コンピュータ装置やスマートフォンなどの情報処理装置である。また、画像処理ユニット３０の立体画像生成処理部３３、制御部３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。なお、通信部３１、記憶部３２、表示部３４の具体例は後述する。
通信部３１は、指先カメラ装置２０の制御ユニット２３から出力されたカメラ部２１の相対的は方向情報及び撮像情報を受信するインターフェイスである。記憶部３２は、受信した各種の情報や制御プログラムを記憶する。記憶部３２は、例えば、フラッシュメモリなどの半導体メモリ素子を用いることができるが、ＨＤＤなどの記憶装置であってもよい。
立体画像生成処理部３３は、複数の撮像画像から３次元の構造体を表現する立体画像情報を生成する。立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。立体画像生成処理部３３は、指先カメラ装置２０が撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。生成された立体画像情報は記憶部３２に記憶される。また、立体画像は、例えば、所定座標系における３次元点群により構成される３次元モデルであってもよい。
表示部３４は、例えば、液晶ディスプレイ（ＬＣＤ）等で構成されたモニタ部であり、生成された立体画像情報を表示する。本実施形態では、表示部３４を画像処理ユニット３０と一体に設けた構成としたが、表示部３４を別体として、例えば、ヘッドマウントディスプレイのようなメガネ型のディスプレイとしてもよい。制御部３５は、画像処理ユニット３０全体の動作を制御する。
次に、指先カメラシステムの動作について説明する。図３は、指先カメラシステムの動作の手順を示すフローチャートである。動作に先立って、上記した指先カメラ装置２０をユーザの手に装着する。本実施形態では、図２に示すように、人差し指の指先にカメラ部２１を装着し、人差し指の付け根部分に筋電センサ２２を装着する。また、制御ユニット２３を手首に装着する。この場合、人差し指を腕の方向にまっすぐ伸ばした状態を基本とする。
まず、制御ユニット２３の操作部５４を操作して、指先に装着されたカメラ部２１で画像を撮像する（ステップＳ１）。この場合、撮像された撮像情報は、カメラ部２１から制御ユニット２３に送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２は、撮像中の手指の動きに伴う筋電情報を検知して制御ユニット２３に送り、筋電情報取得部４２は筋電情報を取得する（ステップＳ２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
次に、カメラ方向検出部４６は、まず筋電情報に基づいて、手指の曲げ方向、すなわち、掌に対するカメラ部２１の角度（方向）を演算する（ステップＳ３）。この場合、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）について測定された筋電情報と、その時に指が動作した各方向情報（方向ベクトル）とを教師データセットとして機械学習した学習モデルを生成しておき、カメラ方向検出部４６は、この学習モデルに検出した筋電情報を入力することにより、掌に対するカメラ部２１の角度（方向）を演算する。この演算されたカメラ部２１の角度情報は、例えば、３次元の方向ベクトルである。
次に、カメラ方向検出部４６は、腕の向きを基準方向としたカメラ部２１の相対的な方向（撮像方向）を検出する（ステップＳ４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１の相対的な方向Ｄ１を検出（演算）する。
次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１の相対的な方向情報を、カメラ部２１が撮像した撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０が所定時間間隔で撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ７）処理を終了する。
本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。
［第２実施形態］
図４は、第２実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図５は、手に指先カメラ装置が装着された状態の一例を示す概略図である。第１実施形態では、指先カメラ装置２０が１台のカメラ部２１と１つの筋電センサ２２とを備える構成としたが、第２実施形態では、カメラ部２１及び筋電センサ２２を複数備えている点で構成を異にしている。上記した実施形態と同一の構成については、同一符号を付して説明を省略する。
図４に示すように、指先カメラシステム１０Ａは、指先カメラ装置２０Ａと、画像処理ユニット３０とを備える。指先カメラ装置２０Ａは、２台のカメラ部２１Ａ，２１Ｂと２つの筋電センサ（生体情報検出部）２２Ａ，２２Ｂと、制御ユニット２３Ａとを備える。一方のカメラ部２１Ａは、図５に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着され、他方のカメラ部２１Ｂは、隣の指先（例えば、中指（第三指の指先）に装着される。本実施形態では、２台のカメラ部２１Ａ，２１Ｂが組となって協働してステレオカメラとして機能する。具体的には、隣合う指先に装着されたカメラ部２１Ａ，２１Ｂの視差を利用して、各カメラ部２１Ａ，２１Ｂがそれぞれ撮像した画像からステレオ画像を撮像することができる。各カメラ部２１Ａ，２１Ｂ及び筋電センサ２２Ａ，２２Ｂの構成については、上記実施形態と同様である。
制御ユニット２３Ａは、上記実施形態の制御ユニット２３と比べて、隣接カメラ間角度演算部４５を備えている点で構成を異にする。隣接カメラ間角度演算部４５は、２つの筋電センサ２２Ａ，２２Ｂが検知した各手指の筋電情報に基づいて、隣接する各カメラ部２１Ａ，２１Ｂの角度（主として掌に対して水平方向の角度、手指を広げたり狭めたりする際の角度）を演算する。上記したように、掌に対する各カメラ部２１Ａ，２１Ｂのそれぞれ方向（角度）は、所定の学習モデルに検出した各筋電情報を入力することにより演算することができる。このため、これらの各カメラ部２１Ａ，２１Ｂの方向（角度）から隣接する各カメラ部２１Ａ，２１Ｂの角度を演算することができる。この構成によれば、ステレオカメラとして機能するカメラ部２１Ａ，２１Ｂ間の視差を演算することできるため、ステレオ画像を精度よく撮像することができる。
次に、指先カメラシステム１０Ａの動作について説明する。図６は、指先カメラシステムの動作の手順を示すフローチャートである。本実施形態では、図５に示すように、人差し指の指先にカメラ部２１Ａを装着し、人差し指の付け根部分に筋電センサ２２Ａを装着する。また、中指の指先にカメラ部２１Ｂを装着し、中指の付け根部分に筋電センサ２２Ｂを装着する。また、制御ユニット２３Ａを手首に装着する。
まず、制御ユニット２３Ａの操作部５４を操作して、２本の指先に装着された２台のカメラ部２１Ａ，２１Ｂでステレオ画像を撮像する（ステップＳ１１）。この場合、撮像された撮像情報は、カメラ部２１Ａ，２１Ｂから制御ユニット２３Ａに送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２Ａ，２２Ｂは、それぞれ撮像中の各手指の動きに伴う筋電情報を検知して制御ユニット２３Ａに送り、筋電情報取得部４２は各手指の筋電情報を取得する（ステップＳ１２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
次に、隣接カメラ間角度演算部４５は、２つの筋電センサ２２Ａ，２２Ｂが検知した各手指の筋電情報に基づいて、隣接する各カメラ部２１Ａ，２１Ｂの角度を演算する（ステップＳ１３）。次に、カメラ方向検出部４６は、腕の向きを基準方向とした各カメラ部２１Ａ，２１Ｂの相対的な方向（撮像方向）を検出する（ステップＳ１４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１Ａの相対的な方向Ｄ１と、カメラ部２１Ｂの相対的な方向Ｄ２を検出（演算）する。
次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１Ａ，２１Ｂの相対的な方向情報を、それぞれカメラ部２１Ａ，２１Ｂが撮像したステレオ画像の撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ１５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１Ａ，２１Ｂが撮像した複数のステレオ画像の撮像画像、及び、これら撮像情報と対応する各カメラ部２１Ａ，２１Ｂの相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ１６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０Ａが所定時間間隔で撮像した複数のステレオ画像の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ１７）処理を終了する。
本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。また、本実施形態では、２台のカメラ部２１Ａ，２１Ｂを備えるため、ステレオ画像（視差画像）を取得することができ、視差を使った立体画像を生成することができる。また、２台のカメラ部２１Ａ，２１Ｂの視点からの撮像情報を使って、立体空間情報を再構成することができる。
［第３実施形態］
図７は、第３施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図８、手に指先カメラ装置が装着された状態の一例を示す概略図である。第２実施形態では、指先カメラ装置２０Ａが２台のカメラ部２１Ａ，２１Ｂと２つの筋電センサ２２Ａ，２２Ｂとを備える構成としたが、第３実施形態では、５台のカメラ部２１Ａ～２１Ｅ及び筋電センサ２２Ａ～２２Ｅを備えている点で構成を異にしている。上記した実施形態と同一の構成については、同一符号を付して説明を省略する。
図７に示すように、指先カメラシステム１０Ｂは、指先カメラ装置２０Ｂと、画像処理ユニット３０とを備える。指先カメラ装置２０Ｂは、５台のカメラ部２１Ａ～２１Ｅと５つの筋電センサ（生体情報検出部）２２Ａ～２２Ｅと、制御ユニット２３Ｂとを備える。第１のカメラ部２１Ａは、図８に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着され、第２のカメラ部２１Ｂは、隣の指先（例えば、中指（第三指の指先）に装着される。また、第３のカメラ部２１Ｃは、隣の指先（例えば、薬指（第四指の指先）に装着され、第４のカメラ部２１Ｄは、隣の指先（例えば、小指（第五指の指先）に装着される。また、第５のカメラ部２１Ｅは、別の指先（例えば、親指（第一指の指先）に装着される。ここで、各カメラ部の符号と装着される手指は、説明の便宜上、割り当てられたものであり、適宜変更することができる。同様に、各手指の付け根部分にそれぞれ筋電センサ２２Ａ～２２Ｅが装着される。
制御ユニット２３Ｂは、上記実施形態の制御ユニット２３と比べて、隣接カメラ間角度演算部４５を備えている点で構成を異にする。隣接カメラ間角度演算部４５は、５つの筋電センサ２２Ａ～２２Ｅが検知した各手指の筋電情報に基づいて、隣接する２つのカメラ部の角度（主として掌に対して水平方向の角度、手指を広げたり狭めたりする際の角度）を演算する。上記したように、掌に対する各カメラ部２１Ａ～２１Ｅのそれぞれ方向（角度）は、所定の学習モデルに検出した各筋電情報を入力することにより演算することができる。このため、これらの各カメラ部２１Ａ～２１Ｅの方向（角度）から隣接する２つのカメラ部間の角度を演算することができる。
次に、指先カメラシステム１０Ｂの動作について説明する。図９は、指先カメラシステムの動作の手順を示すフローチャートである。本実施形態では、図８に示すように、人差し指の指先にカメラ部２１Ａを装着し、人差し指の付け根部分に筋電センサ２２Ａを装着する。また、中指の指先にカメラ部２１Ｂを装着し、中指の付け根部分に筋電センサ２２Ｂを装着する。また、薬指の指先にカメラ部２１Ｃを装着し、薬指の付け根部分に筋電センサ２２Ｃを装着する。また、小指の指先にカメラ部２１Ｄを装着し、小指の付け根部分に筋電センサ２２Ｄを装着する。また、親指の指先にカメラ部２１Ｅを装着し、親指の付け根部分に筋電センサ２２Ｅを装着する。また、制御ユニット２３Ｂを手首に装着する。
まず、制御ユニット２３Ｂの操作部５４を操作して、５本の指先に装着された５台のカメラ部２１Ａ～２１Ｅでそれぞれ画像を撮像する（ステップＳ２１）。この場合、撮像された各撮像情報は、各カメラ部２１Ａ～２１Ｅからそれぞれ制御ユニット２３Ｂに送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２Ａ～２２Ｅは、それぞれ撮像中の各手指の動きに伴う筋電情報を検知して制御ユニット２３Ｂに送り、筋電情報取得部４２は各手指の筋電情報を取得する（ステップＳ２２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
次に、隣接カメラ間角度演算部４５は、５つの筋電センサ２２Ａ～２２Ｅが検知した各手指の筋電情報に基づいて、隣接する２台のカメラ部の角度を演算する（ステップＳ２３）。次に、カメラ方向検出部４６は、腕の向きを基準方向とした各カメラ部２１Ａ～２１Ｅの相対的な方向（撮像方向）を検出する（ステップＳ２４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１Ａの相対的な方向Ｄ１と、カメラ部２１Ｂの相対的な方向Ｄ２と、カメラ部２１Ｃの相対的な方向Ｄ３と、カメラ部２１Ｄの相対的な方向Ｄ４と、カメラ部２１Ｅの相対的な方向Ｄ５とを検出（演算）する。
次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１Ａ～２１Ｅの相対的な方向情報を、それぞれカメラ部２１Ａ～２１Ｅがそれぞれ撮像した撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ２５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１Ａ～２１Ｅがそれぞれ撮像した複数の撮像画像、及び、これら撮像情報と対応する各カメラ部２１Ａ～２１Ｅの相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ２６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０Ｂのカメラ部２１Ａ～２１Ｅが撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ２７）処理を終了する。
本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。また、本実施形態では、５台のカメラ部２１Ａ～２１Ｅを備えるため、例えば、ボールを握るような掌の周りのそれぞれの指の延長の空間を５台のカメラ部がそれぞれ視差を持った状態で撮像することができる。このため、取得した５つの撮像情報と、各カメラ部の腕に対する相対的な方向情報とに基づき、５つの画像情報からデプスとか上下左右視差による空間として演算でき、立体画像を生成することができる。
次に、変形例について説明する。図１０～図１２は、変形例に係るカメラ部の概略構成を示す図である。図１０の例では、カメラ部１２１は、指先に配置されるカメラ本体１２２と、このカメラ本体１２２に設けられるレンズ１２３と、カメラ本体１２２を指先に装着するためのリング１２４とを備える。この構成では、上記した各実施形態に示す指サックタイプのものと比較して、指の腹側が開放されるため、指先での細かな作業や指紋認証などに支障がない。
また、図１１の例では、カメラ部２２１は、指先に配置されるカメラ本体２２２と、このカメラ本体２２２に設けられるレンズ２２３とを備える。カメラ本体２２２は、例えば、粘着剤や吸盤によって指先の爪に貼り付けられている。この構成では、リングを使用しないため、指の腹側がより開放されるため、指先での細かな作業や指紋認証などを容易に行うことができる。
また、図１２の例では、カメラ部３２１は、上記した実施形態と同様に指サックタイプであり、指先が挿入される有底円筒状のカメラ本体３２２と、このカメラ本体３２２の外周面に設けられるレンズ３２３とを備える。このレンズ３２３は、例えば、指の腹側に配置されている。この構成によれば、例えば、カメラ部３２１を５本の指に装着して、各指を折り曲げると、各指先で形成される円弧上に各カメラ部３２１が配置されるため、撮像対象を３６０°囲んだ状態で撮像することができ、立体画像を容易に形成することができる。
以上、本実施形態によれば、指先カメラ装置２０は、手の指先に装着されるカメラ部２１と、掌の筋電情報を取得する筋電情報取得部４２と、取得した筋電情報に基づき、所定の基準方向に対するカメラ部２１の相対的な方向を検出するカメラ方向検出部４６と、カメラ方向検出部４６から得たカメラ部２１の方向情報を、該カメラ部２１が撮像した撮像情報に付加して出力する出力部５２と、を備えたため、指先に装着したカメラ部２１の方向を容易に検出することができる。
また、筋電情報取得部４２は、カメラ部２１が装着された手指の動きに伴う筋電情報を取得するため、手指の動きに伴うカメラ部２１の方向を容易に検出することができる。
また、カメラ部２１は、複数本の指先にそれぞれ装着されるため、複数台のカメラ部２１の撮像画像を利用して、例えば、立体画像を生成することができる。
また、手首に装着されて腕の向きを検出するポジションセンサ４４を備え、カメラ方向検出部４６は、検出された腕の向きを基準方向として、該基準方向に対するカメラ部２１の相対的な方向を検出するため、ユーザが動かした腕の方向に追従して、容易にカメラ部の方向を検出でできる。
また、筋電情報を検出する筋電センサ２２を、カメラ部２１が装着された手指の付け根部分、もしくは、手首に装着するため、手指の動作に伴う筋電情報を正確に検出することができ、手指の動きに伴うカメラ部２１の方向を正確に検出することができる。
また、指先カメラシステム１０は、指先カメラ装置２０と、カメラ部２１が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部２１の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部３３とを備えるため、立体画像を容易に生成することができる。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記した実施形態では、筋電センサ２２を手指の付け根に設ける構成としたが、例えば手首に装着される制御ユニット２３と一体もしくは別体に設けても良い。
１０、１０Ａ、１０Ｂ 指先カメラシステム（カメラシステム）
２０、２０Ａ、２０Ｂ 指先カメラ装置（カメラ装置）
２１、２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ カメラ部
２２、２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ、２２Ｅ 筋電センサ（生体情報検出部）
２３、２３Ａ、２３Ｂ 制御ユニット
３０ 画像処理ユニット
３３ 立体画像生成処理部
３４ 表示部
４０ 撮像情報取得部
４２ 筋電情報取得部（生体情報取得部）
４４ ポジションセンサ（腕方向検出部）
４５ 隣接カメラ間角度演算部
４６ カメラ方向検出部
５２ 出力部

Claims (5)

  1. 指に装着されるカメラ部と、
    掌の生体情報を取得する生体情報取得部と、
    取得した生体情報に基づき、所定の基準方向に対する前記カメラ部の相対的な方向を検出するカメラ方向検出部と、
    前記カメラ方向検出部から得た前記カメラ部の方向情報を、該カメラ部が撮像した撮像情報に付加して出力する出力部と、
    を備えたことを特徴とするカメラ装置。
  2. 前記生体情報は、前記カメラ部が装着された手指の動きに伴う筋電情報であることを特徴とする請求項１に記載のカメラ装置。
  3. 手首に装着されて腕の向きを検出する腕方向検出部を備え、
    前記カメラ方向検出部は、検出された腕の向きを前記基準方向として、該基準方向に対する前記カメラ部の相対的な方向を検出することを特徴とする請求項１または２に記載のカメラ装置。
  4. 前記生体情報を検出する生体情報検出部を、前記カメラ部が装着された手指の付け根、もしくは、手首に装着することを特徴とする請求項１～３のいずれか一項に記載のカメラ装置。
  5. 請求項１～４のいずれか一項に記載のカメラ装置と、
    前記カメラ部が撮像した複数の撮像画像、及び、これら撮像情報と対応する前記カメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部と、
    を備えることを特徴とするカメラシステム。
JP2021036476A 2021-03-08 2021-03-08 カメラ装置及びカメラシステム Pending JP2022136727A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021036476A JP2022136727A (ja) 2021-03-08 2021-03-08 カメラ装置及びカメラシステム
CN202280019506.XA CN116998146A (zh) 2021-03-08 2022-03-01 相机装置及相机系统
EP22766920.7A EP4290308A1 (en) 2021-03-08 2022-03-01 Camera device and camera system
PCT/JP2022/008572 WO2022190961A1 (ja) 2021-03-08 2022-03-01 カメラ装置及びカメラシステム
JP2022174297A JP2023017867A (ja) 2021-03-08 2022-10-31 カメラ装置及びカメラシステム
US18/461,549 US20230419719A1 (en) 2021-03-08 2023-09-06 Camera device and camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021036476A JP2022136727A (ja) 2021-03-08 2021-03-08 カメラ装置及びカメラシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022174297A Division JP2023017867A (ja) 2021-03-08 2022-10-31 カメラ装置及びカメラシステム

Publications (1)

Publication Number Publication Date
JP2022136727A true JP2022136727A (ja) 2022-09-21

Family

ID=83226612

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021036476A Pending JP2022136727A (ja) 2021-03-08 2021-03-08 カメラ装置及びカメラシステム
JP2022174297A Pending JP2023017867A (ja) 2021-03-08 2022-10-31 カメラ装置及びカメラシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022174297A Pending JP2023017867A (ja) 2021-03-08 2022-10-31 カメラ装置及びカメラシステム

Country Status (5)

Country Link
US (1) US20230419719A1 (ja)
EP (1) EP4290308A1 (ja)
JP (2) JP2022136727A (ja)
CN (1) CN116998146A (ja)
WO (1) WO2022190961A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192167A (ja) * 2002-12-09 2004-07-08 Matsushita Electric Ind Co Ltd 携帯端末及び情報入力装置
JP2005159771A (ja) 2003-11-26 2005-06-16 Sony Corp 無線通信装置及び無線通信方法、無線通信システム、並びにコンピュータ・プログラム
JP2006060584A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
US20200089924A1 (en) * 2016-08-09 2020-03-19 Asterisk, Inc. Reader, program, and unit

Also Published As

Publication number Publication date
WO2022190961A1 (ja) 2022-09-15
CN116998146A (zh) 2023-11-03
EP4290308A1 (en) 2023-12-13
US20230419719A1 (en) 2023-12-28
JP2023017867A (ja) 2023-02-07

Similar Documents

Publication Publication Date Title
KR102494698B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
JP2015039522A (ja) リハビリ装置および幻肢痛治療支援装置
CN103973971B (zh) 信息设备以及信息设备的控制方法
KR20110055062A (ko) 로봇 시스템 및 그 제어 방법
JP2016126042A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
JP5874626B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
US20230195234A1 (en) Gesture acquisition system
CN106961546A (zh) 信息处理装置和方法、摄像装置、显示装置、控制方法
WO2022190961A1 (ja) カメラ装置及びカメラシステム
KR101564967B1 (ko) 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
JP2020071587A (ja) 表示装置、及び、表示装置の制御方法
JP2012146220A (ja) ジェスチャ入力装置
JP2012194492A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラム
CN210302240U (zh) 一种增强现实ar腕关节康复评估和训练系统
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质
JP6149211B2 (ja) 携帯端末装置、プログラムおよび手ぶれ補正方法
CN105748077A (zh) 关节运动测试系统及方法
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
CN109785364B (zh) 机动车辆使用者运动轨迹捕捉方法
KR101583256B1 (ko) 웨어러블 다중 카메라 시스템 및 이를 이용한 이미지 출력 방법
WO2017163647A1 (ja) 頭部装着装置
JP2015163113A (ja) 歩行支援装置、及び情報処理装置
KR20200088562A (ko) 심층 신경망을 이용한 동작 및 근력 분석 방법 및 시스템
CN110992467B (zh) 一种上肢姿态捕捉装置、系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228