CN110100199B - 采集、配准和多媒体管理的系统和方法 - Google Patents

采集、配准和多媒体管理的系统和方法 Download PDF

Info

Publication number
CN110100199B
CN110100199B CN201880005244.5A CN201880005244A CN110100199B CN 110100199 B CN110100199 B CN 110100199B CN 201880005244 A CN201880005244 A CN 201880005244A CN 110100199 B CN110100199 B CN 110100199B
Authority
CN
China
Prior art keywords
module
multimedia
data
computerized
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880005244.5A
Other languages
English (en)
Other versions
CN110100199A (zh
Inventor
努诺·安图内斯
卢本·马克斯
何塞·安图内斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nu NuoAntuneisi
Original Assignee
Nu NuoAntuneisi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PT109855A external-priority patent/PT109855A/pt
Priority claimed from GB1702664.2A external-priority patent/GB2559789A/en
Application filed by Nu NuoAntuneisi filed Critical Nu NuoAntuneisi
Publication of CN110100199A publication Critical patent/CN110100199A/zh
Application granted granted Critical
Publication of CN110100199B publication Critical patent/CN110100199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00Eyepieces; Magnifying glasses
    • G02B25/02Eyepieces; Magnifying glasses with means for illuminating object viewed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00212Electrical control of surgical instruments using remote controls
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/256User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

本发明涉及采集、配准和多媒体管理的系统和方法。本发明的多媒体系统包括:数据采集模块(A)如多媒体眼镜,用于多媒体数据采集;计算机化模块(B),其包括数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输采集的多媒体数据;以及至少一个连接模块(C),用于将所述多媒体数据采集模块连接到所述计算机化模块。可选地,所述系统还可包括多媒体数据处理模块(D)和用于连接到计算机化模块(B)和/或连接到外围装置(P)的附加连接模块(C)。在本发明的另一方面,描述了一种多媒体数据处理模块(D),其包括用于多媒体以及多媒体数据库(ML)的数据处理、存储、记录、处理、编辑和管理的单元。本发明涉及多媒体装置领域,并且可用于需要在专业或娱乐领域记录手动细节活动的领域。

Description

采集、配准和多媒体管理的系统和方法
技术领域
本发明涉及采集、配准和多媒体管理的系统和方法。作为多媒体装置领域的一部分,本发明可用于需要在专业或娱乐领域记录手动细节活动以及记录对于艺术传播是有益的情况。重点应用领域包括医学、教育、民用安全、军事、工程和工艺活动。因此,本发明对于创建用于记录、管理和教学工具的新方法是有用的。
背景技术
在现有技术中,已知存在用于采集、配准和/或多媒体管理的系统,这些系统可以在专业或娱乐级别上使用。包括眼镜(也称为智能眼镜)的多媒体系统是已知的,诸如在US2016/0286115、WO2014/197109、US2015/0009309和CN203551883中描述的那些。
这些系统中的大多数包括具有内置图像捕获相机的智能眼镜,以及将采集的图像传输到投影装置的发射器,其中该智能眼镜可专门用于开发某些功能。
US2016/0286115公开了一种多媒体系统,其包括从您的前视野捕获图像的相机、用于将此类图像传输到移动装置的监视器的设备,其中这些图像显示在所述监视器的一部分或窗口中,以及通过实施配重或一些主动机构以独立于移动装置或用户头部或眼睛的角位置的方式将相机与其前视野对准的元件。其还提到了具有耳机或扬声器的音频系统的集成。此外,也没有公开用于相机开始或结束捕获图像、聚焦于感兴趣的物体的自动命令或用户给出的命令的形式。另外,公开了鱼眼型镜片的使用和用于记录的屏幕的一部分的选择。代替使用马达,该选择具有导致随着到图像中心的距离而变化的分辨率的限制,意味着并非记录的图像的所有区域都对记录细节有用。简而言之,该文献仅公开了一种概念性装置,即没有公开这些元件如何集成在装置中,以及如何克服制造这种眼镜的技术困难,也就是说,关于用于医疗领域诸如腹腔镜手术、外科医生和消毒装置之间的相互作用等的捕获图像的准确性。另外,该系统将由相机捕获的图像提供给屏幕,并且因此用户仅看到显示的图像。这使得已公开的系统不能以与本发明的系统相同的方式使用,因为用户透过装置的屏幕进行观察。
文献WO2014/197109公开了在透明显示屏上投影红外图像的眼镜,其包括:立体摄像机装置,该立体摄像机装置包括至少两个腔室,每个腔室优选地捕获来自周围环境的红外图像;以及投影系统,该投影系统:(i)在左眼视野的透明部分上投影第一红外图像,并且(ii)在右眼视野的透明部分上投影第二图像。这些眼镜允许用户在低光条件诸如夜视条件下观察周围环境,同时保持自然视觉。为此,提出了可以通过手动或机电调节系统进行对准的相机,以便改变两个腔室的聚合或分离,从而在将捕获的图像投影在屏幕的透明取景器上时提供变化深度的三维效果,其效果类似于随着眼睛朝位于不同距离的物体移动时眼睛的运动。然而,没有提到用于捕获图像的垂直调节。而且,没有提供用于语音控制的机构。因此,该系统与本发明的系统存在很大差异,并且不能用于相同的目的。
US2014/221785(Google Tec. Holdings LLC)公开了一种消息接发装置,其可以是智能眼镜,该消息接法装置通过检测手或手指手势进入社交媒体模式,认证用户然后将口头消息转换为社交媒体文本消息。因此,所述装置包括手势感测机构、麦克风、用于将语音消息转换为呈现在显示器上的文本消息的应用程序。所述文献没有公开用于采集多媒体数据的由语音控制的可调节摄像机。同样,该装置与本发明的装置存在很大差异,并且不能用于相同的目的。
US2013/437854(GoPro Inc.)公开了一种从来自至少两个相机的2D图像生成视频的3D图像的系统和过程。所述系统仅与本发明的装置共享具有相机的智能眼镜的特征。
在文献WO2016/195401 A1、WO2016/190607 A1和WO2016/182090 A1中公开了包括可用于医疗目的的眼镜的多媒体系统。
文献WO2016/195401 A1公开了一种系统,该系统包括基于光学的头戴式显示器(HMD)和安装在患者身体的表面或内部的一组至少三个传感器,其以无线方式向HMD传输数据。该HMD被结合到眼镜中,其可以在手术期间向医生提供协助,利用从所述一组传感器采集的3D数据重叠外科医生对患者身体的观察。
文献WO2016/190607 A1公开了一种多媒体系统,其包括具有图像显示装置的眼镜、图像处理模块、用于捕获图像的相机、用于将采集的图像传输到图像处理模块的通信单元、近红外光谱模块(近红外-NIR)以及用于将由NIR捕获的图像传输到图像处理模块的通信模块。该系统生成具有荧光的图像,从而允许外科医生实时叠加正在进行手术的区域的荧光图像,并且从而允许在执行手术时实时验证病理的发展。
文献WO2016/182090公开了一种多媒体系统,其包括眼镜型终端、成像显示单元、相机、用于相对于外部环境捕获用户眼睛的传感器单元、以及用于分析用户眼睛以指定物体的控制单元。
如今,就图像采集灵活性、与用户交互的便利性、数据传输和自主性而言,功能最强的多媒体眼镜或智能眼镜是由Pivothead®公司销售的。这些包括位于鼻梁上具有固定视角的摄像机。用户和装置之间的交互是通过触摸和通过位于眼镜框架后面的LED的状态指示进行的。
本领域已知的这些多媒体眼镜中没有一种试图主动改变相机的视角以匹配用户的视角,从而响应于用户的语音进行调节并允许精确和准确地记录其中执行的工作。
本领域的所述智能眼镜也没有提供自动识别不同记录模式诸如手动记录模式和风景模式以适应用户需求的功能。
而且,现有技术中已知的多媒体眼镜中没有一种具有审查机构,该审查机构在进行记录之前实时检测面部并覆盖面部。
在另一方面,现有装置中没有一个具有允许镜头区域或视角区域的实时信号传输的机构。
另外,现有技术的多媒体眼镜中没有一种响应于用户语音或手势命令以允许调节相机的视角,开始、停止和重启运动图片捕获,静止图像捕获(拍摄)或添加书签等。
因此,期望开发一种可以在专业或娱乐环境中使用的多媒体数据的采集、配准和管理的系统和方法。
发明内容
本发明涉及采集、配准和多媒体管理的系统和方法。
本发明的多媒体系统包括:数据采集模块优选地多媒体眼镜,也称为智能眼镜,用于多媒体数据采集;计算机化模块,其包括数据处理单元,用于控制功能、记录、存储、管理和/或共享采集的多媒体数据;以及至少一个连接模块,用于将数据采集模块连接到计算机化模块并且共享、传输多媒体数据。
可选地,多媒体系统还可以包括:多媒体数据处理模块,用于存储、记录、处理、编辑、管理、共享、传输多媒体数据;以及至少一个附加连接模块,用于连接到数据采集模块和/或计算机化模块。
本发明的多媒体系统还可以包括多媒体数据库。
因此,在第一方面,本发明涉及根据权利要求1所述的采集、配准和多媒体管理的系统。
使用数据采集模块(A)即多媒体眼镜能够改变相机的视角以匹配用户的视角,结合不受位置限制的计算机化模块(B),与现有的将处理和能量储存集成在眼镜框架中的替代方案相比,具有更好的性能和自主性,借助更高的处理能力和自主性实现高度差异化的多媒体记录。然后,可以编辑、管理、编目这些记录并将其存储在多媒体数据处理模块(D)中,从而更容易访问和查阅此类记录以及创建个人和可共享的媒体库。
这些眼镜可以在没有触摸界面的情况下操作,并且具有可调节的视角,这为该装置提供了更大的多功能性,使其能够对环境的不同需求做出充分的响应。优选使用发光装置作为拍摄区域的信号传输机构允许划分涉及的记录区域。
为了在不牺牲人体工程学的情况下实现更多功能和自主性,所有计算负荷和能量储存都在可提供更多体积的眼镜框架外部完成。
本发明还涉及一种多媒体系统,该多媒体系统包括根据权利要求2所述的数据处理模块(D),该数据处理模块能够存储多媒体库(ML);和/或包括根据权利要求3所述的至少一个外围装置(P)。
例如,使用嵌入计算机中的多媒体数据处理模块使得能够大规模地管理、存储和共享数据,其具有比处理单元更佳的易用性和性能。
多媒体库的存在允许用户定制并快速且容易地访问存储的内容,这些内容以个性化方式被标记和编目。
最后,本发明还涉及根据权利要求15所述的采集、配准和多媒体管理的方法。
本发明的采集和记录多媒体数据的方法允许从特定视角捕获图像,该视角可以是与用户视角匹配的动态视角,使所进行的配准更加准确,并且使多媒体信息的意外丢失最少。另外,该数据可以可选地指向:计算机化模块,其包括数据处理单元,用于控制功能、记录、存储、管理和/或共享采集的多媒体数据;和/或多媒体数据处理模块,其可以允许它们被选择性和客观地存储、管理、编辑和共享。
附图说明
图1:本发明的多媒体系统的示意图,其中(A)表示至少一个数据采集模块,(B)表示至少一个计算机化模块,并且(C1)表示位于至少一个模块(A)和至少一个模块(B)之间的至少一个连接模块。
图2:本发明的优选实施例的示意图,其中(A)表示数据采集模块,(B)表示计算机化模块,(C1)表示模块(A)和模块(B)之间的连接模块,(D)表示多媒体数据处理的至少一个模块,(C2)表示位于至少一个模块(B)和至少一个模块(D)之间的连接模块,(P)表示至少一个外围装置,其可以例如是相同或不同的监视器、打印机、另一模块(D)和/或远程控制装置,并且(ML)表示至少多媒体库。
图3:表示本发明的优选实施例,其中多媒体数据采集模块(A)是多媒体眼镜装置,其中:
(1)表示眼镜的框架,
(2)表示基于声音的反馈系统例如骨换能器,并且
(3)表示了多媒体眼镜的其中一个镜腿。
图4:表示根据本发明的优选实施例的多媒体眼镜的一些可能元件,其中:
1 表示框架
4 表示前器件的盖
5 表示记录状态的信号传输机构
6 表示具有相机和用于识别相机视角的发光机构的电动平台
7 表示眼镜主体的后壁
8 表示平台对接马达
9 表示与平台旋转轴重合的铰接机构
10 表示眼镜的左镜片
11 表示眼镜的右镜片
12 表示眼镜的左鼻垫
13 表示眼镜的右鼻垫
14 表示保护相机的盖
图5:图5被分解为图5.1至图5.6,并且表示根据本发明的其中一个优选实施例的多媒体库的一些可能的界面。
具体实施方式
在第一方面,本发明涉及采集、配准和多媒体管理的多媒体系统。
1.多媒体系统
本发明的多媒体系统(图1)包括:至少一个数据采集模块(A),用于多媒体数据采集;至少一个计算机化模块(B),其具有数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个模块(A)采集的多媒体数据的多媒体数据;以及至少一个第一连接模块(C1),用于将至少一个多媒体数据采集模块(A)连接到至少一个计算机化模块(B)。
可选地,该系统还可以包括:至少一个多媒体数据处理模块(D),用于存储、记录、处理、编辑、管理和/或共享多媒体数据;以及至少一个第二连接模块(C2),用于将至少一个多媒体数据处理模块(D)连接到至少一个计算机化模块(B),如图2中所示。
可选地,系统可以包括一个或多个外围装置(P)和至少一个第三连接模块(C3),所述至少一个连接模块用于将一个或多个所述外围装置(P)连接到至少一个计算机化模块(B)和/或连接到至少一个多媒体数据处理模块(D),同样如图2所示。
在本发明的范围内,外围装置(P)可以例如是相同或不同的监视器、键盘、打印机、远程控制装置和/或远程服务器。
在优选实施例中,本发明的多媒体系统包括:
- 至少一个数据采集模块(A),用于多媒体数据采集;
- 至少一个计算机化模块(B),其具有数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个数据采集模块(A)采集的多媒体数据的多媒体数据;
- 至少一个第一连接模块(C1),用于将至少一个多媒体数据采集模块(A)连接到至少一个计算机化模块(B);
- 至少一个多媒体数据处理模块(D),用于存储、记录、处理、编辑和管理多媒体数据和/或共享多媒体数据;
- 至少一个第二连接模块(C2),用于将至少一个模块(D)连接到至少一个计算机化模块(B);和/或
- 一个或多个外围装置诸如监视器、键盘、打印机和/或远程控制装置;
- 至少一个第三连接模块(C3),用于通过第三连接模块(C3)将所述一个或多个外围装置(P)连接到至少一个计算机化模块(B),和/或连接到至少一个多媒体数据处理模块(D)。
在更优选的实施例中,本发明的多媒体系统包括:
- 作为数据采集模块(A)的本发明的至少一个多媒体眼镜,用于多媒体数据采集;和/或
- 本发明的至少一个计算机化模块(B),其具有数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个模块(A)采集的多媒体数据的多媒体数据,所述模块(B)包括触摸屏和作为电源的电池,并且所述数据处理单元包括具有阻止和/或防止人员识别的功能的计算机视觉算法;
- 至少一个第一连接模块(C1),用于将该至少一个数据采集模块(A)连接到至少一个计算机化模块(B),并且所述第一连接模块(C1)是具有Y形的缆线连接。
在甚至更优选的实施例中,本发明的多媒体系统包括:
- 作为数据采集模块(A)的本发明的至少一个多媒体眼镜,用于多媒体数据采集;和/或
- 本发明的至少一个计算机化模块(B),其具有数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个数据采集模块(A)采集的多媒体数据的多媒体数据,所述模块(B)包括触摸屏和作为电源的电池,并且所述数据处理单元包括具有阻止和/或防止人员识别的功能的计算机视觉算法;
- 至少一个第一连接模块(C1),用于将该至少一个多媒体数据采集模块(A)连接到至少一个计算机化模块(B),并且所述第一连接模块(C1)是具有Y形的缆线连接;
- 至少一个多媒体数据处理模块(D),用于存储、记录、处理、编辑、管理和/或共享多媒体数据,以及至少一个数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM和/或闪存,其具有能够与可编程计算机系统配合的电子可读控制信号;
- 至少一个第二连接模块(C2),用于将至少一个计算机化模块(B)连接到至少一个模块(D);和/或
- 一个或多个外围装置诸如监视器、键盘、打印机,远程控制装置和/或远程服务器;
- 至少一个第三连接模块(C3),用于将至少一个计算机化模块(B)和/或至少一个多媒体数据处理模块(D)连接到至少一个或多个所述外围装置(P)。
在最优选的实施例中,本发明的多媒体系统包括:
- 作为数据采集模块(A)的本发明的至少一个多媒体眼镜,用于多媒体数据采集;
- 本发明的至少一个计算机化模块(B),其具有数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个数据采集模块(A)采集的多媒体数据的多媒体数据,所述模块(B)包括触摸屏和作为电源的电池,并且所述数据处理单元包括具有阻止和/或防止人员识别的功能的计算机视觉算法;
- 至少一个第一连接模块(C1),用于将该至少一个多媒体数据采集模块(A)连接到至少一个计算机化模块(B),并且所述第一连接模块(C1)是具有Y形的缆线连接;以及
- 至少一个多媒体数据处理模块(D),用于存储、记录、处理、编辑、管理和/或共享多媒体数据,以及至少一个数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM或闪存,其具有能够与可编程计算机系统配合的电子可读控制信号;
- 至少一个第二连接模块(C2),用于将至少一个计算机化模块(B)连接到至少一个模块(D);和/或
- 一个或多个外围装置诸如监视器、键盘、打印机和/或远程控制装置;
- 至少一个第三连接模块(C3),用于将所述一个或多个外围装置(P)连接到至少一个计算机化模块(B),和/或连接到至少一个多媒体数据处理模块(D)。
下文中详细描述但明确程度不如以上所述的系统模块的其他组合也包括在本发明的范围内。
2. 数据采集模块(A)
数据采集模块(A)负责采集多媒体数据,诸如在第一种情况下传输或流式传输到计算机化模块(B)以进行记录的图像和声音。在本发明中,数据采集模块(A)能够捕获高度差异化的多媒体记录。
在本发明的优选实施例中,所述数据采集模块(A)是具有集成相机、扬声器和麦克风的多媒体眼镜装置。
在更优选的实施例中,数据采集模块(A)是根据本发明的多媒体眼镜诸如图3所示的多媒体眼镜。除了框架(1)和镜片(10、11)之外,这些多媒体眼镜或智能眼镜还包括:能够捕获静态和/或动态图像的至少一个相机,所述相机具有允许相机改变其相对于眼镜框架和镜片的位置角的一个或多个马达;包括至少一个扬声器和麦克风的音频系统;至少一个惯性传感器;至少一个发光装置,用于发信号通知一个相机的记录状态和/或用于识别相机的视角;至少一个第一连接模块(C1)以及可选地电源。
在本发明的甚至更优选的实施例中,多媒体眼镜包括至少一个相机、至少一个马达(8)和放置在可移动平台(6)上的至少一个发光装置,并且当连接到计算机化模块(B)时,所述平台能够手动或自动调节相机位置角。
在最优选的实施例中,多媒体眼镜还包括具有骨换能器型扬声器(2)的音频系统。
在另一优选实施例中,多媒体眼镜还包括结合在上述平台中或平台外部的用于发信号通知记录状态的至少一个发光装置例如LED和/或用于识别相机视角的发光装置。
在更优选的实施例中,多媒体眼镜还包括结合在上述平台中或平台外部的光学机构,该光学机构能够改变来自发光装置的光的聚焦角度,并且能够放大和缩小相机的视野。
在更优选的实施例中,多媒体眼镜还包括具有内镜片的防雾机构,其中内镜片安装在眼镜的保护镜片后面。保护镜片和防雾镜片之间包含薄空气层,在镜片边缘使用粘合剂材料达到这种效果。利用这种机构,由于安装在保护镜片后面的防雾镜片更暖,因此延迟或完全防止呼出的水蒸气在保护镜片上冷凝。
因此,在最优选的实施例中,本发明的多媒体眼镜包括:
- 可定向和电动平台(6),其具有用于捕获静态或动态图像的摄像机(未示出),允许调节器件位置的马达(8),用于在由相应用户使用时确定眼镜取向的惯性传感器(未示出),从而自动将相机的视角调节到预定义的参数,
- 光学机构,其能够改变来自发光装置的光的聚焦角度,并且能够放大和缩小相机的视野,
- 音频系统,其具有用于捕获用户的语音的麦克风(图4中未示出),允许所述用户通过给出关于记录位置的指令诸如开始和停止记录模式、打开和关闭指示相机视角的发光装置以及向视频添加语音突出,而经由计算机化模块(B)与多媒体眼镜装置进行交互,
- 具有防雾机构的镜片,其可防止呼出的水蒸气凝结在此类镜片上,使用户具有清晰的视野,以及
- 至少一个连接模块,用于将采集的多媒体数据传输到计算机化模块(B)。
在经由麦克风给出指令后,作为音频系统一部分的类扬声器机构从计算机化模块(B)向用户提供反馈,并且确认随后将执行哪个命令,从而防止意外和不希望的命令发生。优选地使用麦克风和骨换能器型扬声器(2)的音频系统可以创建语言通信的方式。
2.1 多媒体眼镜:
用作数据采集模块(A)的本发明的多媒体眼镜(诸如图3所示的和上面已经部分提到的多媒体眼镜)能够采集多媒体数据并将所述数据传输到计算机化模块(B)。
这些眼镜优选地由轻质材料制成并且符合人体工程学设计,可长期使用,并且优选地在鼻梁中结合了多媒体、视频和音频记录装置。此外,这些眼镜可以至少部分地涂覆防水膜或隔水膜。
优选地,在其中一个镜腿(3)的远侧端部处设置有小扬声器(2),当该小扬声器与佩戴者的颞骨的乳突隆起部接触时,优选地使用骨传导路径传输来自计算机化模块(B)的信息。
还提供了在多媒体眼镜上结合惯性传感器,优选地位于其中一个镜腿(3)的远侧端部。该传感器旨在识别用户头部的位置,允许在使用多媒体眼镜的可用模式例如手动记录模式和风景记录模式之间自动切换。
可以在眼镜框架中提供用于连接缆线的支撑形式和/或通道路径,例如以将所述多媒体眼镜连接到计算机化模块(B)。
另外,多媒体眼镜还可以包括电池,以便提供足够的能量来为例如一个或多个发光
装置诸如LED供电。
多媒体眼镜还可以包括平台(6),以支持或结合多媒体数据采集元件和/或促进用户与计算机化模块(B)之间的交互。
2.2 镜片:
可以定制多媒体眼镜的镜片(10、11)以允许需要矫正镜片的用户在任务执行期间使用这些多媒体眼镜(A),不仅用于多媒体数据采集,而且用于自我保护和视力缺陷矫正。镜片(10、11)优选地放置在位于多媒体眼镜的框架(1)上的装配位置上。具有内镜片的防雾机构可以安装在眼镜的保护镜片后面。通过在内镜片的边缘上使用粘合剂材料,在保护镜片和防雾镜片之间包含薄空气层。
2.3 相机:
摄像机优选地定位在鼻梁上,并且具有与理想地位于可移动平台(6)上的发光装置相同的取向,并且依赖于马达(8),马达提供改变摄像机角度位置的能力,诸如垂直倾斜和/或。
可以通过语音命令和/或手势调节相机的位置,从而允许用户调节相机的视角以匹配其自身。这些命令使得在无需触摸的情况下即可与计算机化模块(B)进行交互,从而允许各种指令以探索所有相机功能。
2.4 平台:
在多媒体眼镜捕获装置的鼻梁中,优选地存在平台(6),该平台由于其结合到马达(8)中从而可移动。该平台还可包括摄像机和至少一个发光装置诸如LED。优选地,位于这种平台中的是光学机构,其能够改变来自发光装置的光的聚焦角度,并且能够放大和缩小相机的视野。
2.5 发光装置:
该多媒体眼镜可包括一个或多个发光装置。这些可以结合在眼镜框架(1)中和/或平台(6)上。
优选地,这些发光装置中的一个是安装在相同平台(6)中并且与相机具有相同角度的LED,并且具有识别相机视角的功能,即聚光灯指示摄制的位置/拍摄区域。
本发明的另一个优选实施例是在眼镜框架(1)的侧面和前侧定位清晰可见的发光装置,优选地LED,其具有发信号通知记录模式和多媒体数据采集正在进行的功能。
在本发明的最优选实施例中,智能眼镜包括每个前述发光装置中的至少一个。
2.6 马达:
马达(8)优选地位于眼镜的鼻梁上并且与相机和发光装置一起联接到平台(6),并且限定多媒体数据记录器件的取向。马达赋予该模块(包括平台、相机和发光装置)移动的能力,通过语音和/或手势指令进行控制,而无需手动调节。但是,也可以进行手动调节。
2.7 麦克风:
优选地,麦克风位于多媒体眼镜(A)的鼻梁上,并且在鼻骨区域附近。麦克风可以涂覆有合适的膜,从而使其可以变得防水或防潮。麦克风具有将用户的语音指令传输到计算机化模块的功能,以便能够根据所遇到的需要调节眼镜(A)的功能和/或设置。其还允许创建语言通信方式。
2.8 扬声器:
优选地,扬声器(2)与颞骨的乳突接触,并且使用声音的骨传导路径(骨传导)从计算机化模块向用户传输信息。其还促进了语言通信的方式。
2.9 惯性传感器:
该传感器优选地安装在眼镜的镜腿(3)中的一个上,并且允许识别用户头部的位置,优选地自动地交替数据捕获器件(平台、相机和发光装置)的预设使用模式,调节待使用的审查方法,以在任何适用的时候限制敏感数据的捕获。其还用于创建图像稳定系统。
2.10 第一连接模块(C1):
数据采集模块(A)需要包括到数据处理器的至少一种形式的连接,该数据处理器允许至少接收、存储、记录、管理、共享、传输所述接收的多媒体数据。
该连接可以通过缆线、Wi-Fi、蓝牙、红外线和/或允许将数据采集模块(A)采集的多媒体数据发送、共享、传输到数据处理器例如计算机化模块(B)的数据处理单元的任何其他形式的连接实现。
在本发明的优选实施例中,连接模块(C)包括到计算机化模块(B)的第一连接模块(C1)。
在更优选的实施例中,这种计算机化模块(B)是本发明的计算机化模块(B)。
眼镜(A)和计算机化模块(B)之间的连接可以通过缆线执行,以提高连接安全性和数据隐私性。电子缆线优选地穿过眼镜的镜腿(3)。
优选地,两组缆线离开框架,一组在眼镜的每个镜腿(3)的末端,在离镜腿(3)的出口固定距离处以Y形方式(所谓的Y形缆线连接)重新结合。此外,用户可以调节Y形缆线上的滑动装置,以进一步缩短离开镜腿的两根缆线彼此接触的距离,从而在突然运动期间或在促使眼镜自然掉落的位置处提供增加将眼镜保持在用户头部的安全性的优点。
3. 计算机化模块(B)
3.1 处理单元:
计算机化模块(B)包括数据处理单元,用于控制至少一个数据采集模块(A)的功能,记录、存储、管理和/或共享、传输由数据采集模块(A)、触摸屏和/或键盘以及电源和/或到电源的连接采集的多媒体数据。
所述计算机化模块(B)能够对由所述用户经由数据采集模块(A)和/或经由其自己的触摸屏和/或键盘提供的指令做出反应,并且可以由经过认证的人员经由网络诸如内联网和/或互联网远程控制。
计算机化模块(B)还包括至少一个第一连接模块(C1),用于连接到至少一个多媒体数据采集模块(A)。
计算机化模块(B)还可包括至少一个第二连接模块(C2),用于将所述计算机化模块(B)连接到至少一个多媒体数据处理模块(D);以及/或至少一个第三连接模块(C3),用于将计算机化模块(B)连接到至少一个或多个外围装置(P)。
计算机化模块(B)优选地包括作为电源的电池,该电池向所述计算机化模块(B)供电,并且还优选地向数据采集模块(A)供电。该电池可以是可充电的,并且还可以在连接到电源插座时供电,以使计算机化模块(B)便携或可移动。
计算机化模块(B)的数据处理单元允许控制至少一个数据采集模块(A)的功能,具体地讲,开始、停止和重启运动图片捕获、静止图像捕获(拍摄)或对兴趣点加书签。
在本发明的优选实施例中,计算机化模块(B)的数据处理单元包括计算机视觉算法诸如面部检测系统,其具有防止或阻止人员识别的功能,以避免捕获与可识别人员相关的敏感数据。
3.2 屏幕:
计算机化模块(B)还可以包括屏幕,其具有在用户和其数据处理单元之间创建手动交互模式的优选功能,并且使得能够查看捕获的多媒体内容。
该屏幕优选地是触控屏幕或触摸屏,并且可以位于计算机化模块(B)的正面上。
在本发明的另一个实施例中,屏幕不是触控的,并且在该替代实施例中,由用户进行的指令输入可以通过结合在计算机化模块(B)中的键盘实现,或者可以远程执行指令输入。
在另一个优选实施例中,计算机化模块(B)包括触摸屏以及远程操作的可能性。
计算机化模块(B)可以进一步覆盖包装罩或涂覆有膜,膜优选地是防水或隔水的。计算机化模块(B)还可以包括用于安全和/或隐私目的的密封。
3.3 连接模块(C1)(C2)(C3):
计算机化模块(B)需要包括到数据采集模块(A)的至少一种形式的连接例如第一连接模块(C1),以及到至少一个多媒体数据处理模块(D)的至少一种形式的连接例如第二连接模块(C2),其允许所述多媒体数据处理模块(D)存储、记录、管理、共享、传输所述接收的多媒体数据。此外,其还可以包括连接模块例如(C3),用于连接到至少一个外围(P)装置。
上面已经描述了第一连接模块(C1)。
第二连接模块(C2)和第三连接模块(C3)诸如第一连接模块(C1)可以通过缆线、Wi-Fi、蓝牙、红外线和/或任何其他类型的连接执行。
第二连接模块C2使得计算机化模块(B)能够将由至少一个数据采集模块(A)采集并包含在至少一个计算机化模块(B)中的多媒体数据发送到至少一个多媒体数据处理模块(D)和/或或者至少一个外围(P)装置。
第三连接模块(C3)使得计算机化模块(B)能够向至少一个多媒体数据处理模块(D)和/或至少一个外围(P)装置发送和/或接收、共享、传输多媒体数据。
可选地,计算机化模块(B)可以包括到一个或多个外围装置(P)诸如外部计算机、监视器、打印机和/或其他多媒体数据处理模块(D)的一个或多个第三连接模块(C3)。
优选地,连接第二连接模块(C2)和第三连接模块(C3)通过无线传输诸如Wi-Fi、红外线和/或蓝牙实现。
4. 连接模块(C)
本发明的系统需要至少包括从至少一个数据采集模块(A)到至少一个计算机化模块(B)的一种形式的连接例如第一连接模块(C1)的连接。
优选地,本发明的系统包括两种类型的连接:(i)一种第一连接模块(C1)类型的连接,其允许在数据采集模块(A)和计算机化模块(B)之间传输多媒体数据,以及(ii)另一种第二连接模块(C2)类型的连接,用于在计算机化模块(B)和多媒体处理模块(D)之间共享、传输多媒体数据。
可选地,本发明的系统还可以包括另一种类型的连接(iii),例如第三连接模块(C3)类型的连接,其能够在所述模块(A、B或D)的任一个到至少一个或多个外围装置(P)诸如外部监视器、远程控制装置、打印机、远程服务器等之间共享、传输多媒体数据。
在本发明的范围内,传输多媒体数据还意味着接收、发送、共享和/或流式传输所述数据。
可以经由缆线、Wi-Fi、蓝牙、红外线或允许在所述模块之间发送和接收、传输、共享和/或流式传输多媒体数据的任何其他形式的连接进行这些连接。
5. 多媒体数据处理模块(D)
处理模块(D)包括用于存储、记录、处理、编辑、管理和/或共享多媒体数据的数据处理单元。在本发明的范围内,所述多媒体数据处理模块(D)可以是例如远程服务器、计算机、便携式或可移动计算机、膝上型电脑、笔记本电脑、平板电脑或能够存储、处理、管理、编辑和/或共享多媒体数据的任何其他装置。
多媒体数据处理模块(D)还包括到计算机化模块(B)的至少一种形式的第二连接模块(C2),用于将所述多媒体数据处理模块(D)连接到至少一个计算机化模块(B),和/或至少一个第三连接模块(C3),用于将所述多媒体数据处理模块(D)连接到至少一个外围装置(P)例如监视器、键盘、远程控制装置、打印机、远程服务器等。
另外,多媒体数据处理模块(D)包括用于执行采集、配准和/或多媒体管理的方法的计算机程序,其包括以下步骤:
a) 从至少一个数据采集模块(A)采集多媒体数据,
b)通过第一连接模块(C1)将由至少一个模块(A)采集的数据发送、传输到至少一个计算机化模块(B),
c)通过第二连接模块(C2)将数据从至少一个计算机化模块(B)发送、共享、传输到至少一个处理模块(D),
d)在具有电子可读控制信号的至少一个处理模块(D)和/或数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM或闪存中存储、配准、处理、编辑和/或管理接收到的多媒体数据,其中该电子可读控制信号能够与可编程计算机系统配合,
e) 可选地,通过第三连接模块(C3)向至少一个外围装置(P),和/或向至少一个其他处理模块(D)共享、传输所述多媒体数据;
f)可选地创建多媒体数据库(ML)。
多媒体数据处理模块(D)还可以包括至少一个数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM和/或闪存,其具有能够与可编程计算机系统配合的电子可读控制信号。
可选地,多媒体数据处理模块(D)还包括多媒体数据库(ML),其具有优选地由至少一个数据采集模块(A)采集的多媒体数据。
6. 多媒体数据库(ML)
本发明的多媒体数据库(ML)包括多媒体数据,其可以是常规支持和/或数字支持的,例如记录在数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM和/或闪存中,易于由读取器和/或多媒体数据处理器以电子方式读取,优选地通过利用多媒体数据采集模块(A)优选地本发明的多媒体眼镜记录多媒体事件获得此类多媒体数据。
在本发明的优选实施例中,多媒体数据服从防止和/或阻止对介入对象进行识别,识别阻止包括防止和/或阻止面部识别,防止和/或阻止语音识别等。
在另一个优选实施例中,多媒体数据库(ML)受到任何已知手段的安全保护,例如通过用户密码和/或服务器密码和/或在库上引入的元数据的伪匿名化,以便具有受限制的访问。
尽管如此,可以与网络的一个或多个成员或具有对所述库(ML)的访问权限的预定义社区共享多媒体数据库(ML)的总内容或仅选定部分。
7. 采集、配准和多媒体管理方法
本发明的采集、配准和/或多媒体管理方法包括以下步骤:
a) 从由至少一个计算机化模块(B)控制的多媒体眼镜型的至少一个模块(A)采集多媒体数据,
b)通过至少一个第一连接模块(C1)将由至少一个模块(A)采集的数据发送、传输到至少一个计算机化模块(B),
c) 可选地,经由至少一个第二连接模块(C2)将数据从至少一个计算机化模块(B)发送、共享、传输到至少一个处理模块(D),
d)可选地,在具有电子可读控制信号的至少一个处理模块(D)和/或数据存储单元诸如软盘、DVD、蓝光碟、CD、ROM、PROM、EPROM、EEPROM或闪存中存储、配准、处理、编辑和/或管理接收到的多媒体数据,其中该电子可读控制信号能够与可编程计算机系统配合,
e) 可选地,通过第三连接模块(C3)将所述多媒体数据从至少一个模块(D)共享、传输到至少一个外围装置(P)和/或至少一个其他处理模块(D),和/或
f)可选地创建多媒体库(ML)。
在本发明的优选实施例中,数据采集模块(A)是如部分2中所述的多媒体眼镜。
在另一个优选实施例中,计算机化模块(B)与部分3中描述的一样。
在本发明的另一个优选实施例中,连接模块(C1)、(C2)和/或(C3)如部分4中所述。
在另一个优选实施例中,多媒体数据处理模块(D)与部分5中描述的一样。
在另一个优选实施例中,多媒体数据库(ML)与部分6中描述的一样。
在最优选的实施例中,本发明的方法包括上述优选实施例中的两种或更多种的组合。
实例
实例1:用于腹腔镜手术期间的多媒体数据采集和配准的方法
在该实例中,本发明的多媒体系统包括如图3所示的作为数据采集模块(A)的智能眼镜单元、计算机化模块(B)和多媒体数据处理模块(D)。
在数据采集模块(A)安装在头部上的情况下,用户可以:
1.通过使用以下项开始记录:
a. 语音命令,从预定义和个性化的激活表达开始,然后发出指示开始记录意图的适当命令,和/或
b.触摸屏界面,位于计算机化模块(B);
2.如果其已经激活,例如在剖腹手术期间,简单地通过使头部处于中间位置,朝前看向腹腔镜手术屏幕,从而改变记录预设模式,计算机化模块(B)能够使用安装在数据采集模块(A)上的惯性传感器采集关于头部倾斜度的信息,并且在可配置的时间之后,改变相机的取向以匹配可预测的外科医生的视角;
3.在记录时添加书签,以便处理模块(D)可以自动识别记录数据的兴趣点。可以使用预定义的个性化激活表达,然后发出指示添加书签及其相应号码的意图的适当命令,从而借助语音命令添加书签;
4.每次激活语音命令时,来自计算机化模块(B)的音频反馈被提供给用户,通过给予用户关于反馈后将发生的命令的信息,从而防止命令后产生误解。
在腹腔镜手术期间,有效配准的感兴趣区域必须包含腹腔镜手术监视器(P)。使用仅包含监视器(P)的数字变焦可以使图像的边界变暗或完全消除。
当用户放松颈部肌肉并且无意中改变相机视角时,计算机视觉算法仍然可以经由惯性传感器帮助审查具有敏感数据的区域例如面部。
当在包含敏感数据的环境中进行记录时,如本实例的情况,用户必须使用预定义和个性化的激活代码或表达,然后发出指示结束记录意图的适当命令,从而以语音命令结束记录。
实例2:用于剖腹手术期间的多媒体数据采集和配准的方法
在该实例中,多媒体系统包括与上述相同的模块。
在数据采集模块(A)放置在头部上的情况下,用户可以:
1.使用以下任何一种方式开始记录:
a. 语音命令,通过预定义和个性化的激活语句,然后发出开始记录的命令,和/或
b. 通过使用计算机化模块(B)中的触摸屏界面,
2.如果激活,通过例如在腹腔镜手术期间简单地将头向下倾斜朝向手术区域,从而改变记录预设模式。通过组装在眼镜中的惯性传感器,计算机化模块(B)将采集头部的取向,并且在可配置的时间量例如5秒之后,相机将向下倾斜,随着外科医生的视线移动;
3.向视频记录添加稍后可以由多媒体数据处理模块(D)的视频编辑器读取的书签,这将使得更容易在记录的镜头上定位最相关的部分。可以使用预定义和个性化的激活语句,然后发出指示创建具有关联号码的书签的意图的特定命令,从而借助语音命令添加这些标记;
4.每次激活语音命令时,来自计算机化模块(B)的音频反馈被提供给用户,通过给予用户关于反馈后将发生的命令的信息,从而防止命令后产生误解。
在该操作预设模式中,可能在相机的记录区域中存在面部。当发生这种情况时,面部检测算法将审查它们,以保护手术中涉及的人员和手术室的工作人员的隐私。为了完成记录,外科医生可以发出具有预定义和个性化的激活代码或表达的语音命令,然后命令停止记录。
实例3:在技术人员工作、修理或其他手工劳动期间用于多媒体数据采集和配准的方法
在眼镜放置在用户头部上的情况下,用户可以:
1.通过以下方式开始记录:
a. 使用语音命令,使用预定义和个性化的激活语句,然后发出开始录制的命令,和/或
b. 使用位于计算机化模块(B)中的触摸屏界面,
2.逐步改变相机的取向,通过以下方式使工作区域成为焦点:
a. 语音命令,使用预定义和个性化的激活语句,然后发出指示所需移动的命令,和/或
b. 使用位于计算机化模块(B)中的触摸屏界面,
用户可以通过看向位于计算机化模块(B)中的屏幕或者通过确认照明机构照亮的区域获得聚焦区域的反馈。
3.向视频记录添加可以在稍后阶段由视频编辑器读取的书签,以便更容易及时定位视频的相关部分。可通过以下方式插入这些标记:
a. 语音命令,使用预定义和个性化的激活代码或表达,然后发出特定命令,和/或
b.使用计算机化模块(B)中的触摸屏界面。
用户应使用语音命令(预定义和个性化的激活语句,然后发出命令)或使用触摸屏界面结束他的记录。
实例4:将内容无线传输到远程位置(流式传输)的方法,类似于前面的实例:
用户可以在记录时通过以下方式无线传输内容:
1. 使用由计算机化模块(B)创建和管理的无线网络,非常适合在本地网络中实时共享内容的会议。为了使用此功能,用户必须知道位于计算机化模块(B)屏幕中的网络名称和密码,
和/或
2.通过互联网传输到远程位置。要启用该特征,用户必须联系计算机化模块(B)所连接的网络管理员,并且准备公共地址以与感兴趣的人员共享,以便他们可以在任何准备阅读流式传输内容的任何多媒体客户端中可视化该内容。可选地,用户可能需要进行认证以便查看广播的内容。
实例5:创建、编辑和管理多媒体数据库(ML)的方法:
视频处理软件(图5.4)使用户能够选择记录中最相关的片段,这一过程通过在记录期间插入书签而变得容易,并且将这些片段与插入的元数据以伪匿名和加密格式一起保存,只有在认证之后才能访问。
用户首先使用密码进行认证,并且在理想情况下,使用移动电话中接收的代码进行双因素认证。如果由医生用于记录医疗手术,则用户也可以借助读卡器使用他的医疗证明进行认证。
在计算机化模块(B)连接到多媒体数据处理模块(D)的情况下,用户可以在认证后:
1.浏览通过以下方式创建的记录库:
a. 通过一个或多个关联的元数据搜索记录(图5.5),和/或
b. 查询组织目前存储的所有元数据的表,
2.将新记录导入库(图5.2)中,指定与其相关的元数据(图5.3)。在手术登记的范围内,这些元数据可以包括患者的姓名、外科手术、手术日期、位置、观察等。
实例6:具有用于手术室的理想智能眼镜系统的多媒体系统
一种可穿戴的头戴式装置,其包括在下文中描述为(模块A)的眼镜框架(图3),该眼镜架通过一对缆线组件连接到计算机化模块(模块B),该缆线组件在用户头部的后部以Y形接合在一起,用于在使用该装置时增加稳定性和安全性。以下分段涉及眼镜中的特定特征:
6.1:模块A具有位于安装在可旋转平台(6)中的鼻梁中的相机。
6.2:模块A具有安装在与相机相同的平台(6)上的LED灯,以照亮其视野,并且向用户反馈正在记录的区域。
6.3:模块A在其上安装有相机和灯的平台后面具有电动(8)系统,用于垂直和水平旋转平台。
6.4:模块A具有光学机构,用于改变来自LED的光的聚焦角度以及放大和缩小相机的视野。
6.5:模块A具有安装在框架主体正面的左侧或右侧的状态LED(5),以便向其他人提供有关装置记录状态的反馈。
6.6:模块A具有骨传导换能器(BCT),其定位在框架(2)的右臂的后侧,在右耳后面,与颞骨的乳突接触。这可以释放外耳道,同时保留使用普通扬声器无法实现的隐私。借助这种机构,在使用该装置时,不会干扰手术室内的通信。
6.7:模块A具有安装在相机、LED和马达组件的右侧或左侧的麦克风,由此用户可以记录音频并向装置发出语音命令。
6.8:模块A具有位于前部、麦克风旁边的惯性传感器,用于检测眼镜框架的倾斜度,从而检测用户头部的倾斜度。
6.9:模块A具有用户眼睛前部的保护镜片(10、11)。如果用户需要视力矫正,这些镜片本身包括这项功能。
6.10:模块A具有安装在保护镜片后面的防雾镜片。
6.11:模块B具有触摸屏,用户可以使用该触摸屏与装置进行交互、定义设置、开始和停止记录、预览等。
6.12:模块B具有为装置的所有系统供电最长可达12小时的电池。
6.13:模块B具有处理单元,其负责存储和处理记录的媒体并且控制装置的许多硬件子系统。
6.14:模块B可以使用Wi-Fi网络和/或使用蓝牙技术连接到其他装置,以便流式传输记录的媒体。
实例7:具有使用外部电源的智能眼镜的多媒体系统
具有与实例6中描述的相同的一般特征,该装置由连接到模块B以及连接到电源诸如电插头或发电机的缆线供电,只要电源存在可用电力,无限延长装置的正常自主性。
实例8:具有智能眼镜的多媒体系统,智能眼镜的机身中部上承载减小的体积
具有与实例6中相同的描述,模块B的处理单元被移动到模块A并移至框架的其中一个臂,模块B的触摸屏被丢弃,并且两根缆线现在仅从电池传送电力,每根缆线从框架的每个臂引出,电池现在位于模块B之前的位置,允许更轻和更小的模块B以及从装置的框架引出的更轻和更细的缆线。
实例9:具有智能眼镜的多媒体系统,智能眼镜具有外部电源并且机身中部上未承载任何东西
具有与实例8中描述的相同的一般特征,电池被另一电源诸如电插头或发动机代替,只要电源能够提供可用电力,则无限延长装置的正常自主性,从而完全消除模块B的需求。
实例10:具有麦克风靠近嘴部的智能眼镜的多媒体系统
具有与实例6中描述的相同的一般特征,麦克风位于嘴部附近,安装在可调节和可拆卸梁上,允许用于记录和识别的更佳质量的语音捕获,但是具有与某些类型的口罩和用户可能需要使用的其他面部保护装置不兼容的缺点。
实例11:具有使用耳机而非BCT的智能眼镜的多媒体系统
具有与实例6中描述的相同的一般特征,BCT被耳机替换,以适应自由耳道在用户的工作中不重要的情况。
实例12:具有不带光学变焦的智能眼镜的多媒体系统
具有与实例6中描述的相同的一般特征,不存在光学机构,因此LED的光的聚焦角度是固定的,并且任何相机变焦操作都通过数字方式完成。
实例13:具有带防雾视力校正镜片的智能眼镜的多媒体系统
具有与实例6中描述的相同的一般特征,任何视力校正都将与防雾镜片而不是保护镜片一起采用。
实例14:具有智能眼镜的多媒体系统,智能眼镜仅具有相机和LED平台的垂直电动化
具有与实例6中描述的相同的一般特征,相机和LED平台后面的电动系统只能垂直地旋转平台。
实例15:具有智能眼镜的多媒体系统,智能眼镜仅具有相机和LED平台的水平电动化
具有与实例6中描述的相同的一般特征,相机和LED平台后面的电动系统只能水平地旋转平台。

Claims (12)

1.一种用于多媒体数据的采集、配准和/或管理的多媒体系统,其包括:至少一个数据采集模块(A),用于多媒体数据采集;至少一个计算机化模块(B),其包括数据处理单元,用于控制功能、记录、存储、管理和/或共享、传输由至少一个所述数据采集模块(A)采集的多媒体数据;以及至少一个连接模块(C1),用于将多媒体数据的所述数据采集模块(A)连接到所述计算机化模块(B),和/或连接到至少一个多媒体数据的数据处理模块(D),和/或连接到至少一个外围装置(P),其中:
所述数据采集模块(A)是多媒体眼镜装置,其包括:
框架(1)和镜片(10、11),
能够捕获静态和/或动态图像的相机,其具有不同记录模式的识别,所述相机附接到至少一个马达(8),所述马达允许所述相机改变其相对于所述框架(1)和镜片(10、11)的角度,并且改变相机视角以匹配用户的视角;响应于所述用户的手势或语音命令的启动,通过音频反馈发信号通知开始、停止和重启运动图片捕获、静止图像捕获或添加书签;
光学机构,其能够改变来自发光装置的光的聚焦角度,并且能够放大和缩小所述相机的视野,
音频系统,其包括用于捕获所述用户的语音的麦克风和骨传导换能器型扬声器(2),允许所述用户通过给出关于记录位置的指令包括启动和停止记录模式、打开和关闭指示所述相机的视角的发光装置以及向视频中添加语音以突出显示,而经由所述计算机化模块(B)与多媒体眼镜装置进行交互,并且其中在经由所述麦克风给出指令之后,所述扬声器从所述计算机化模块向所述用户给出反馈,并且确认随后将执行哪个命令;
至少一个惯性传感器,用于识别所述用户的头部的位置,从而允许在所述眼镜的可用模式之间自动切换;
第一连接模块(C1),其连接在所述数据采集模块(A)和所述计算机化模块(B)之间;
多个所述发光装置,其中一个所述发光装置设置在平台(6)上,并具有指示所述相机视角的功能;所述框架(1)也设有所述发光装置,其具有发信号通知记录模式和多媒体数据采集正在进行的功能;
以及
其中所述计算机化模块(B)能够对由所述用户经由所述数据采集模块(A)和/或经由其自己的触摸屏和/或键盘提供的所述指令做出反应,并且可以
由经过认证的人员经由网络远程控制;以及
能够控制至少一个所述数据采集模块(A)的功能,具体地讲,开始、停止和重启运动图片捕获、静止图像捕获或对兴趣点加书签;以及
所述计算机化模块(B)还包括:
用于面部检测系统的计算机视觉算法,其具有防止或阻止人员识别的功能,以避免捕获与可识别人员相关的敏感数据并且在进行所述记录之前实时覆盖所检测到的面部;
第二连接模块(C2),用于将所述计算机化模块(B)连接到至少一个所述数据处理模块(D),和/或连接到至少一个所述外围装置(P)。
2.根据权利要求1所述的多媒体系统,还包括至少一个所述数据处理模块(D),用于存储、记录、处理、编辑、管理和/或共享、传输多媒体数据。
3.根据权利要求1所述的多媒体系统,其中所述数据采集模块(A)包括用于移除和更换所述镜片的系统。
4.根据权利要求1所述的多媒体系统,其中所述数据采集模块(A)包括防水或隔水涂层。
5.根据权利要求1所述的多媒体系统,其中所述第一连接模块(C1)是Y形缆线连接。
6.根据权利要求1所述的多媒体系统,其中所述计算机化模块(B)是便携式或可移动的,其包括电源。
7.根据权利要求6所述的多媒体系统,其中所述电源是电池。
8.根据权利要求1所述的多媒体系统,其中所述计算机化模块(B)包括触摸屏。
9.根据权利要求2所述的多媒体系统,其中所述数据处理模块(D)包括:数据处理单元,用于存储、记录、处理、编辑、管理和/或共享、传输多媒体数据;以及至少一个所述第二连接模块(C2),用于将所述数据处理模块(D)连接到至少一个所述计算机化模块(B);和/或至少一个第三连接模块(C3),用于将所述数据处理模块(D)连接到至少一个所述外围装置(P);以及用于执行多媒体数据的采集、配准和/或管理的方法的计算机程序,其包括以下步骤:
a)从至少一个所述数据采集模块(A)采集多媒体数据,
b)通过所述第一连接模块(C1)将由至少一个所述数据采集模块(A)采集的所述数据发送、传输到至少一个所述计算机化模块(B),
c)通过所述第二连接模块(C2)将所述数据从至少一个所述计算机化模块(B)发送、共享、传输到至少一个所述数据处理模块(D),
d)在具有电子可读控制信号的至少一个所述数据处理模块(D)存储、配准、处理、编辑和/或管理接收到的多媒体数据,其中所述电子可读控制信号能够与可编程计算机系统配合,
e)通过所述第三连接模块(C3)向至少一个所述外围装置(P),和/或向至少一个其他的数据处理模块(D)共享、传输所述多媒体数据,
f)创建多媒体数据库(ML)。
10.根据权利要求9所述的多媒体系统,其中所述数据处理模块(D)包括所述多媒体数据库(ML),所述多媒体数据库具有记录在数据存储单元上的多媒体数据,所述数据存储单元具有能够与可编程计算机系统和/或多媒体数据处理器配合的电子可读控制信号,这些多媒体数据通过至少一个所述数据采集模块(A)从记录多媒体事件中获得。
11.一种用于多媒体数据的采集、配准和管理的方法,其包括以下步骤:
a) 从由至少一个计算机化模块(B)控制的多媒体眼镜的至少一个数据采集模块(A)采集多媒体数据,
其中至少一个所述数据采集模块(A)包括:
框架(1)和镜片(10、11),能够捕获静态和/或动态图像的相机,其具有不同记录模式的识别,所述相机附接到至少一个马达(8),所述马达允许所述相机改变其相对于所述框架(1)和镜片(10、11)的角度,并且改变相机视角以匹配用户的视角;响应于所述用户的手势或语音命令的启动,通过音频反馈发信号通知开始、停止和重启运动图片捕获、静止图像捕获或添加书签;
光学机构,其能够改变来自发光装置的光的聚焦角度,并且能够放大和缩小所述相机的视野,
音频系统,其包括用于捕获所述用户的语音的麦克风和骨传导换能器型扬声器(2),允许所述用户通过给出关于记录位置的指令包括启动和停止记录模式、打开和关闭指示所述相机的视角的发光装置以及向视频中添加语音以突出显示,而经由所述计算机化模块(B)与多媒体眼镜进行交互,并且其中在经由所述麦克风给出指令之后,所述扬声器从所述计算机化模块向所述用户给出反馈,并且确认随后将执行哪个命令;
至少一个惯性传感器,用于识别所述用户的头部的位置,从而允许在所述眼镜的可用模式之间自动切换;
第一连接模块(C1);
多个所述发光装置,其中一个所述发光装置设置在平台(6)上,并具有指示所述相机视角的功能;所述框架(1)也设有所述发光装置,其具有发信号通知记录模式和多媒体数据采集正在进行的功能;
b) 发送、传输所述数据,由此通过至少一个第一连接模块(C1)将由至少一个所述数据采集模块(A)采集的所述数据传递到至少一个所述计算机化模块(B),
c) 发送、共享、传输所述数据,由此经由至少一个第二连接模块(C2)将所述数据从至少一个所述计算机化模块(B)采集到至少一个数据处理模块(D),
d) 在具有电子可读控制信号的至少一个所述数据处理模块(D)存储、配准、处理、编辑和/或管理接收到的多媒体数据,其中所述电子可读控制信号能够与可编程计算机系统配合,
e) 通过第三连接模块(C3)将所述多媒体数据从至少一个所述数据处理模块(D)共享、传输到至少一个外围装置(P)和至少一个其他的数据处理模块(D),
f) 创建多媒体数据库(ML)。
12.根据权利要求11所述的方法,其中步骤(f)的所述多媒体数据库(ML)具有受限制的访问并且是数字格式的。
CN201880005244.5A 2017-01-13 2018-01-14 采集、配准和多媒体管理的系统和方法 Active CN110100199B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PT109855A PT109855A (pt) 2017-01-13 2017-01-13 Sistema e método de aquisição, de registo e de gestão multimédia
PT109855 2017-01-13
GB1702664.2A GB2559789A (en) 2017-02-19 2017-02-19 System and method of acquisition, registration and multimedia management
GB1702664.2 2017-02-19
PCT/IB2018/050226 WO2018130995A1 (en) 2017-01-13 2018-01-14 System and method of acquisition, registration and multimedia management

Publications (2)

Publication Number Publication Date
CN110100199A CN110100199A (zh) 2019-08-06
CN110100199B true CN110100199B (zh) 2022-06-14

Family

ID=61094553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880005244.5A Active CN110100199B (zh) 2017-01-13 2018-01-14 采集、配准和多媒体管理的系统和方法

Country Status (15)

Country Link
US (1) US10911720B2 (zh)
EP (1) EP3563190B1 (zh)
JP (1) JP7075404B2 (zh)
KR (1) KR102475254B1 (zh)
CN (1) CN110100199B (zh)
AU (1) AU2018208055B2 (zh)
BR (1) BR112019011991A2 (zh)
CA (1) CA3045600A1 (zh)
CL (1) CL2019001838A1 (zh)
IL (1) IL267108A (zh)
MX (1) MX2019008342A (zh)
MY (1) MY194754A (zh)
RU (1) RU2019125375A (zh)
WO (1) WO2018130995A1 (zh)
ZA (1) ZA201903625B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752849B (zh) * 2017-11-03 2021-05-18 宏达国际电子股份有限公司 头戴式显示装置
JP7015475B2 (ja) * 2018-03-16 2022-02-15 株式会社リコー 光走査装置、画像投写装置及び移動体
CN109274914A (zh) * 2018-11-06 2019-01-25 北京智能决策医疗科技有限公司 一种基于ar眼镜的自动化手术记录整理的方法及系统
US11297224B2 (en) 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
CN112243111A (zh) * 2020-11-05 2021-01-19 西安航空职业技术学院 一种可穿戴投影设备
CN114594617A (zh) * 2020-11-20 2022-06-07 成食科技股份有限公司 智能眼镜
US11934974B2 (en) * 2021-10-05 2024-03-19 Bank Of America Corporation Intelligent integrated remote reporting system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684500A (zh) * 2004-04-14 2005-10-19 奥林巴斯株式会社 摄像装置
CN205318021U (zh) * 2015-12-07 2016-06-15 上海翊视皓瞳信息科技有限公司 分离式可穿戴智能视觉增强设备
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN106095108A (zh) * 2016-06-22 2016-11-09 华为技术有限公司 一种增强现实反馈方法及设备
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互系统及ar场景的交互方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158367A1 (en) 2000-06-16 2013-06-20 Bodymedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
US20020038226A1 (en) 2000-09-26 2002-03-28 Tyus Cheryl M. System and method for capturing and archiving medical multimedia data
DE10251933B4 (de) * 2002-11-08 2006-12-14 Ludwig-Maximilians-Universität München (Körperschaft des öffentlichen Rechts) Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
JP4720358B2 (ja) 2005-08-12 2011-07-13 ソニー株式会社 記録装置、記録方法
JP2008139733A (ja) 2006-12-05 2008-06-19 Seiko Epson Corp 製品とその製造方法
US7370991B1 (en) * 2006-12-18 2008-05-13 Ellis-Fant Wanda J Voice-controlled surgical lighting assembly
US8976086B2 (en) * 2010-12-03 2015-03-10 Esight Corp. Apparatus and method for a bioptic real time video system
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US20150009309A1 (en) 2011-07-08 2015-01-08 Google Inc. Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
JP2014165706A (ja) 2013-02-26 2014-09-08 Sony Corp 信号処理装置および記憶媒体
US9729767B2 (en) 2013-03-22 2017-08-08 Seiko Epson Corporation Infrared video display eyewear
CN203551883U (zh) 2013-06-21 2014-04-16 湖北九洲农信科技有限公司 基于语音控制的智能音视频眼镜
US10432841B2 (en) 2014-07-23 2019-10-01 OrCam Technologies, Ltd. Wearable apparatus and method for selectively categorizing information derived from images
TWI584018B (zh) 2014-08-03 2017-05-21 帕戈技術股份有限公司 穿戴式照相機系統與用於將照相機系統或其他電子裝置附接至穿戴式製品之設備及方法
JP6620417B2 (ja) 2015-05-12 2019-12-18 セイコーエプソン株式会社 表示装置およびその制御方法、並びにコンピュータープログラム
MX2017008519A (es) * 2014-12-23 2018-06-27 Pogotec Inc Sistema y metodos de camara inalambrica.
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
JP6576639B2 (ja) 2015-01-16 2019-09-18 ミラマサービスインク 電子眼鏡および電子眼鏡の制御方法
US10169535B2 (en) * 2015-01-16 2019-01-01 The University Of Maryland, Baltimore County Annotation of endoscopic video using gesture and voice commands
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US20160286115A1 (en) 2015-03-23 2016-09-29 Mark M. Levy Front field of view camera for mobile device
CN105487261B (zh) * 2016-01-26 2016-09-07 京东方科技集团股份有限公司 一种用于眼镜中的多角度拍照设备和包括该设备的眼镜

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684500A (zh) * 2004-04-14 2005-10-19 奥林巴斯株式会社 摄像装置
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN205318021U (zh) * 2015-12-07 2016-06-15 上海翊视皓瞳信息科技有限公司 分离式可穿戴智能视觉增强设备
CN106095108A (zh) * 2016-06-22 2016-11-09 华为技术有限公司 一种增强现实反馈方法及设备
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互系统及ar场景的交互方法

Also Published As

Publication number Publication date
US10911720B2 (en) 2021-02-02
CA3045600A1 (en) 2018-07-19
MY194754A (en) 2022-12-15
US20200029050A1 (en) 2020-01-23
BR112019011991A2 (pt) 2020-04-14
JP7075404B2 (ja) 2022-05-25
MX2019008342A (es) 2019-09-09
CN110100199A (zh) 2019-08-06
RU2019125375A (ru) 2021-02-15
KR102475254B1 (ko) 2022-12-12
CL2019001838A1 (es) 2019-11-29
KR20190107001A (ko) 2019-09-18
ZA201903625B (en) 2021-07-28
EP3563190A1 (en) 2019-11-06
IL267108A (en) 2019-08-29
AU2018208055B2 (en) 2022-09-01
WO2018130995A1 (en) 2018-07-19
JP2020509522A (ja) 2020-03-26
EP3563190B1 (en) 2024-03-27
AU2018208055A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN110100199B (zh) 采集、配准和多媒体管理的系统和方法
EP3579739B1 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus
US10423012B2 (en) Wearable vision redirecting devices
TWI617279B (zh) 資訊處理裝置、資訊處理方法、及資訊處理系統
US9341866B2 (en) Spectacles having a built-in computer
US20140104396A1 (en) Apparatus and method for streaming live images, audio and meta-data
EP3725254A2 (en) Microsurgery system with a robotic arm controlled by a head-mounted display
JP2023081882A (ja) 補助レンズを備える電子デバイスシステム
JP2001522063A (ja) 眼鏡インターフェースシステム
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
KR20140070376A (ko) 무선 수술용 루페
JP2009010987A (ja) 電子カメラ
JP2008017501A (ja) 電子カメラ
US20190265787A1 (en) Real world interaction utilizing gaze
KR20190015903A (ko) 3차원 카메라와 헤드 마운트 디스플레이를 이용한 수술 녹화 및 중계 시스템
US20230308753A1 (en) Camera system for focusing on and tracking objects
US20200107716A1 (en) Apparatus for comprehensive multi-sensory screening and methods therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant