CN114845621A - 用于内窥镜成像的图像重新取向的系统和方法 - Google Patents

用于内窥镜成像的图像重新取向的系统和方法 Download PDF

Info

Publication number
CN114845621A
CN114845621A CN202080091298.5A CN202080091298A CN114845621A CN 114845621 A CN114845621 A CN 114845621A CN 202080091298 A CN202080091298 A CN 202080091298A CN 114845621 A CN114845621 A CN 114845621A
Authority
CN
China
Prior art keywords
camera
scene
imaging sensor
imaging
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091298.5A
Other languages
English (en)
Inventor
C·M·冯
E·C·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Stryker Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker Corp filed Critical Stryker Corp
Publication of CN114845621A publication Critical patent/CN114845621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00105—Constructional details of the endoscope body characterised by modular construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/067—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using accelerometers or gyroscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

一种用于医学成像的方法，所述方法包括在摄像机组合件处接收来自场景的光，所述摄像机组合件包括至少一个反射光学元件和成像传感器组合件；经由至少一个反射光学元件将由摄像机组合件从场景接收的光朝向成像传感器组合件反射，其中，反射所述光使得场景在成像传感器组合件处进行倒转和反转中的至少一种；利用至少一个聚焦光学元件将反射光聚焦到成像传感器组合件上；将从来自成像传感器组合件的聚焦光生成的图像数据发送到摄像机控制器；以及由摄像机控制器从由成像传感器组合件生成的数据生成场景的无倒转和无反转图像。

Description

用于内窥镜成像的图像重新取向的系统和方法
相关申请的交叉引用
本申请要求2019年11月1日提交的美国临时申请第62/929,349号的权益，其全部内容通过引用结合到本文中。
技术领域
本发明总体上涉及医学成像，并且更具体地涉及内窥镜成像。
背景技术
内窥镜摄像机系统通常包括连接到摄像机控制单元(CCU)的摄像头。CCU处理来自摄像机的图像传感器的输入图像数据，然后输出图像数据用于显示。通常，摄像头具有附接或安装到摄像头的耦合器组合件。耦合器将内窥镜安装到摄像头上，用于在微创手术过程期间身体内部的可视化。
摄像头和耦合器可以针对各种外科专业或过程而不同。因此，摄像头和耦合器可以是专用的，具有不同的形式和功能。这种专业化的一个示例是用于泌尿学和/或ENT的摄像头。耦合器的连接到内窥镜的一端相对于摄像头中的成像传感器的图像感测平面以直角定向。然后，由内窥镜提供的图像平面有效地定向成与成像传感器的图像感测平面成直角(即，90°)。由于图像平面的这种取向，耦合器通常包括将图像光重新定向90°的光学组件。
通常，反射组件用于使光重新定向90°。各种棱镜已经用于这个目的，包括五棱镜和阿米西屋脊棱镜。五棱镜是利用这些表面中的两个表面将光束在棱镜内部反射两次的五面反射棱镜。五棱镜允许图像被反射并透射通过该棱镜，而不倒转或不反转图像(即，没有图像翻转)。屋脊棱镜是三角形反射棱镜，其在棱镜的长边上包括“屋脊”部分。图像从形成棱镜“屋脊”的两个成角度的表面反射，导致图像的反转(横向翻转)。另外，由于棱镜的45°长边缘，图像在其穿过棱镜时也倒转(垂直翻转)。图像的反转和倒转的组合最终会导致图像旋转180°。这简化了摄像机解释数据的要求，因为摄像机传感器可以被倒置(从法线旋转180°)安装以匹配倒置棱镜图像。
与五棱镜和屋脊棱镜相关的重复反射和光学路径长度的增加能够降低图像质量。此外，必须使制造公差最小化，以便精确地反射图像。
发明内容
根据一些实施例，系统和方法可以包括摄像机控制器，其可以检测连接的内窥摄像头的配置并且控制摄像头和/或数字地处理从摄像头接收的图像数据以生成其中场景被正确取向的图像，即使当场景被错误地定向为由摄像头的一个或多个成像传感器接收时。根据一些实施例，摄像机控制器控制摄像头和/或数字地处理图像数据以相对于其在摄像头处的取向改变场景取向的能力使得能够实现具有直角棱镜的直角摄像头，在直角棱镜中光经由单次反射被重新定向90°，这可以改进图像质量并且可以降低制造成本。
根据一些实施例，摄像机控制器可以经由存储在摄像头中和/或将摄像头连接到摄像机控制器的线缆中的数据来检测摄像机的配置。该配置数据可以指示摄像头是直角摄像头。根据一些实施例，基于摄像机头配置信息，摄像机控制器可以指示摄像机头以反转顺序读取成像传感器像素，使得场景相对于它如何被一个或多个成像传感器接收而翻转，这可以校正由摄像机头内的单次反射引起的场景的翻转。在其他实施例中，摄像机控制器可以通过例如反转每个图像内的像素的顺序以翻转场景来数字地处理图像数据。
根据一些实施例，摄像头可以配置有用于检测摄像头的取向的一个或多个传感器，并且摄像机控制器可以控制摄像头和/或处理从摄像头接收的图像数据，以在摄像头被上下翻转时将场景维持在正确(相对于用户的期望)的取向上。这可以为用户提供将摄像头上下翻转的能力，以便在手术期间改进内窥镜摄像组合件的操作，而不使场景在显示器上上下翻转。
根据一些实施例，一种医学成像系统包括摄像机组合件，所述摄像机组合件包括：成像传感器组合件，包括用于对场景成像的至少一个成像传感器；至少一个聚焦光学元件，用于将光聚焦到所述成像传感器组合件上；至少一个反射光学元件，用于将由所述摄像机组合件从所述场景接收的光朝向所述至少一个聚焦光学元件反射，其中，反射所述光使所述场景在所述成像传感器组合件处进行倒转和反转中的至少一种；以及摄像机控制器，其被配置成基于从成像传感器接收的图像数据生成场景的无反转和无倒转图像。
在这些实施例的任一个中，所述摄像机控制器可以被配置成控制所述摄像机组合件，使得相对于所述至少一个成像传感器的至少一个维度反转地从所述至少一个成像传感器读取数据。
在这些实施例的任一个中，摄像机控制器可以被配置成对从成像传感器接收的图像数据重新排序以生成场景的图像。
在这些实施例的任一个中，摄像机控制器可以被配置成基于存储在摄像机组合件中的摄像机组合件配置数据来检测摄像机组合件的配置，并且基于摄像机组合件配置数据来生成场景的图像。
在这些实施例的任一个中，摄像机控制器可以经由线缆连接到包括成像传感器组合件的摄像头，并且摄像机组合件配置数据可以存储在线缆中或摄像头中。
在这些实施例的任一个中，所述一个或多个反射光学元件可被配置成倒转所述场景。
在这些实施例的任一个中，成像传感器组合件可以被配置成使得至少一个成像传感器接收反转的场景。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成仅反射光一次。
在这些实施例的任一个中，一个或多个反射光学元件可以包括直角棱镜。
在这些实施例的任一个中，摄像机组合件可以被配置成用于将瞄准镜（scope）安装在相对于至少一个聚焦光学元件的光轴的直角取向处。
在这些实施例的任一个中，摄像头可以包括成像传感器组合件，并且内窥镜可以可移除地安装到摄像头。
在这些实施例的任一个中，当内窥镜安装到摄像机组合件时，内窥镜的光轴可以垂直于至少一个聚焦光学元件的光轴。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成以直角反射光。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成以在80°至100°的范围内的角度反射光。
在这些实施例的任一个中，成像传感器组合件可以包括用于将聚焦光反射到至少一个成像传感器的至少一个棱镜。
根据一些实施例，一种用于医学成像的方法包括在摄像机组合件处接收来自场景的光，所述摄像机组合件包括至少一个反射光学元件和成像传感器组合件；经由所述至少一个反射光学元件将由所述摄像机组合件从所述场景接收的光朝向所述成像传感器组合件反射，其中，反射所述光使所述场景在所述成像传感器组合件处进行倒转和反转中的至少一种；利用至少一个聚焦光学元件将所述反射光聚焦到所述成像传感器组合件上；将从来自所述成像传感器组合件的所述聚焦光生成的图像数据发送到摄像机控制器；以及，由摄像机控制器从由成像传感器组合件生成的数据生成场景的无倒转和无反转图像。
在这些实施例的任一个中，所述方法可以包括在摄像机控制器处接收摄像机配置数据，并且基于摄像机配置数据指示场景在成像传感器组合件处的不正确取向来生成场景的正确取向的图像。
在这些实施例的任一个中，所述方法可以包括相对于至少一个成像传感器的至少一个维度反转地从成像传感器组合件的至少一个成像传感器读取数据。
在这些实施例的任一个中，所述方法可以包括对从成像传感器接收的图像数据重新排序以生成场景的图像。
在这些实施例的任一个中，所述方法可以包括基于存储在摄像机组合件中的摄像机组合件配置数据来检测摄像机组合件的配置，并且基于摄像机组合件配置数据来生成场景的图像。
在这些实施例的任一个中，所述摄像机控制器可以经由线缆连接到包括成像传感器组合件的摄像机头，并且摄像机组合件配置数据可以存储在线缆中或摄像机头中。
在这些实施例的任一个中，所述一个或多个反射光学元件可以倒转场景。
在这些实施例的任一个中，所述方法可以包括在成像传感器组合件处接收反转的场景。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成仅反射光一次。
在这些实施例的任一个中，一个或多个反射光学元件可以包括直角棱镜。
在这些实施例的任一个中，所述摄像机组合件可以被配置成用于将瞄准镜安装在相对于至少一个聚焦光学元件的光轴的直角度取向处。
在这些实施例的任一个中，所述摄像头可以包括成像传感器组合件，并且所述内窥镜可以可移除地安装到摄像头。
在这些实施例的任一个中，当所述内窥镜安装到摄像机组合件时，所述内窥镜的光轴可以垂直于至少一个聚焦光学元件的光轴。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成以直角反射光。
在这些实施例的任一个中，一个或多个反射光学元件可被配置成以在80°至100°的范围内的角度反射光。
在这些实施例的任一个中，所述成像传感器组合件可以包括用于将聚焦光反射到至少一个成像传感器的至少一个棱镜。
根据一些实施例，一种用于医学成像的方法包括：经由摄像机控制器和摄像机之间的连接，在摄像机控制器处接收用于摄像机的摄像机配置数据；基于所述摄像机配置数据来确定所述摄像机是否被配置成将倒转和反转中的至少一个的场景反射到所述摄像机的至少一个成像传感器上；根据确定所述摄像机被配置成将倒转和反转中的至少一个的所述场景反射到所述摄像机的至少一个成像传感器上，根据第一成像过程来控制所述摄像机并处理从所述摄像机接收的图像数据以生成无倒转和无反转的场景图像；以及，根据确定摄像机被配置成以正确的取向将场景反射到摄像机的至少一个成像传感器上，根据与第一成像过程不同的第二成像过程控制摄像机并且处理从摄像机接收的图像数据以生成在正确的取向上的场景的图像。
在这些实施例的任一个中，第一成像过程可以包括控制摄像机根据关于至少一个像素维度的反向像素读取将与场景相关联的图像数据发送到摄像机控制器；以及，从图像数据生成无倒转和无反转的场景图像。
在这些实施例的任一个中，第一成像过程可以包括在摄像机控制器处接收与来自摄像机的倒转场景和反转场景中的至少一个相关联的图像数据；以及，数字地处理所述图像数据，使得所述场景的图像是无倒转和无反转的。
在这些实施例的任一个中，第二成像过程可以包括在摄像机控制器处从摄像机接收与正确取向的场景相关联的图像数据；以及，从图像数据生成在正确的取向上的场景的图像。
根据一些实施例，一种用于医学成像的摄像机控制器包括一个或多个处理器；存储器；以及一个或多个程序，其存储在所述存储器中并且可由所述一个或多个处理器执行以用于：经由摄像机控制器和摄像机之间的连接在摄像机控制器处接收用于摄像机的摄像机配置数据；基于所述摄像机配置数据来确定所述摄像机是否被配置成将倒转和反转中的至少一个的场景反射到所述摄像机的至少一个成像传感器上；根据确定所述摄像机被配置成将倒转和反转中的至少一个的所述场景反射到所述摄像机的至少一个成像传感器上，根据第一成像过程来控制所述摄像机并处理从所述摄像机接收的图像数据以生成场景的无倒转和无反转图像；以及，根据确定摄像机被配置成以正确的取向将场景反射到摄像机的至少一个成像传感器上，根据与第一成像过程不同的第二成像过程控制摄像机并且处理从摄像机接收的图像数据以生成在正确的取向上的场景的图像。
在这些实施例的任一个中，第一成像过程可以包括控制摄像机根据关于至少一个像素维度的反向像素读取将与场景相关联的图像数据发送到摄像机控制器；以及，从图像数据生成场景的无倒转和无反转图像。
在这些实施例的任一个中，第一成像过程包括在摄像机控制器处从摄像机接收与倒转场景和反转场景中的至少一个相关联的图像数据；以及，数字地处理所述图像数据，使得所述场景的图像是无倒转和无反转的。
在这些实施例的任一个中，第二成像过程可以包括在摄像机控制器处从摄像机接收与正确取向的场景相关联的图像数据；以及，从图像数据生成在正确的取向上的场景的图像。
根据一些实施例，一种医学成像系统包括摄像机组合件，所述摄像机组合件包括：成像传感器组合件，所述成像传感器组合件包括用于对场景成像的至少一个成像传感器，以及，用于感测所述摄像机组合件相对于所述成像传感器组合件的光轴的角度取向传感器；以及，摄像机控制器，其被配置成接收由所述取向传感器生成的摄像机组合件取向信息，并且响应于从所述摄像机组合件接收到指示所述摄像机组合件处于相对于所述成像传感器组合件的光轴的预定角度取向范围内的取向信息，生成具有重新取向的场景的图像。
在这些实施例的任一个中，角度取向传感器可以包括陀螺仪和加速度计中的至少一个。
在这些实施例的任一个中，所述摄像机控制器可以被配置成将场景重新取向180°。
在这些实施例的任一个中，所述摄像机控制器可以被配置成重新取向场景，使得当摄像机组合件被倒置时，图像中的场景是正面朝上的。
在这些实施例的任一个中，所述摄像机控制器可以被配置成通过指示摄像机组合件改变像素读取顺序来生成具有重新取向的场景的图像。
在这些实施例的任一个中，所述摄像机控制器可被配置成通过重新排序从成像传感器组合件接收的图像数据来生成具有重新取向的场景的图像。
在这些实施例的任一个中，所述预定角度取向范围可以是从倒置起+/-90°。
根据一些实施例，一种用于医学成像的方法包括在摄像机组合件的成像传感器组合件处对场景进行成像，并且感测所述摄像机组合件相对于所述成像传感器组合件的光轴的角度取向；在摄像机控制器处从所述成像传感器组合件接收成像数据；在所述摄像机控制器处接收摄像机组合件取向数据；以及，响应于接收到指示摄像机组合件相对于成像传感器组合件的光轴处于预定角度取向范围内的摄像机组合件取向，生成具有重新取向的场景的图像。
在这些实施例的任一个中，感测角度取向可以包括经由陀螺仪和加速度计中的至少一个感测角度取向。
在这些实施例的任一个中，所述方法可以包括将场景重新取向180°。
在这些实施例的任一个中，所述方法可以包括重新取向场景，使得当摄像机组合件倒置时图像中的场景正面朝上。
在这些实施例的任一个中，所述方法可以包括指示摄像机组合件改变像素读取顺序。
在这些实施例的任一个中，所述方法可以包括对从成像传感器组合件接收的图像数据重新排序。
在这些实施例的任一个中，角度取向的预定范围可以是从倒置起+/-90°。
附图说明
现在将参考附图仅通过示例的方式描述本发明，其中：
图1A示出根据一些实施例的内窥镜成像系统100的第一实施例，其中，内窥镜与成像轴成一直线地安装到摄像头；
图1B示出根据一些实施例的内窥镜成像系统100的第二实施例，其中，内窥镜垂直于成像轴安装到摄像头；
图2A-2C示出根据一些实施例的内窥镜摄像机单元，其包括摄像头，该摄像头将内窥镜相对于成像传感器组合件以直角度取向安装在摄像头内；
图3示出根据一些实施例的场景通过内窥镜成像系统的行进，该内窥镜成像系统具有带直角瞄准镜附件的摄像头；
图4示出根据一些实施例的用于通过在摄像机控制器处数字地重新取向场景来生成具有正确取向的场景的图像的方法；
图5示出根据一些实施例的用于通过修改摄像机单元操作使摄像机单元根据正确取向的场景向摄像机控制器发送图像数据来生成具有正确取向的场景的图像的方法；
图6A和6B示出根据一些实施例的成像系统，其中，摄像机单元可以被上下翻转，同时自动地保持从摄像机单元生成的图像中的场景的正面朝上取向；以及
图7示出根据各种实施例的内窥镜成像系统。
具体实施例
现在将详细参考本文所述的系统和方法的各个方面和变型的实现方式和实施例。尽管本文描述了系统和方法的若干示例性变型，但是系统和方法的其它变型可以包括以具有所描述的方面中的全部或一些的组合的任何合适的方式组合的本文描述的系统和方法的方面。
本文描述了用于生成具有正确取向的场景的图像(其包括单个图像和视频帧)的医学成像系统和方法的各种实施例，其中，摄像头被配置成和/或取向成使在成像传感器处从用户的视角以不正确的取向接收场景。根据各种实施例，一种医学成像系统可以包括通信地耦合到摄像机控制器的摄像头，所述摄像机控制器从摄像头接收图像数据并且生成图像以用于显示和/或存储。摄像机控制器可以从摄像头接收配置信息，该配置信息指示摄像头正在以不正确的取向捕获场景。根据各种实施例，该配置信息可以是静态信息，诸如指示摄像头被配置成在成像传感器处以不正确的取向接收场景，和/或可以是指示摄像头的当前取向的动态信息。
在一些实施例中，摄像机控制器控制摄像机以使场景在由摄像机控制器接收时被正确地取向的方式将成像数据发送到摄像机控制器。例如，摄像机控制器可以指示摄像头以相对于常规读取顺序反转的顺序读取像素。在一些实施例中，摄像机控制器可以数字地处理图像数据以反转像素值的相对位置，这数字地翻转了摄像机控制器内的场景。
根据各种实施例，通过配置摄像机控制器和摄像头使摄像头被控制和/或来自摄像头的图像数据被处理以重新取向场景，直角摄像头可以配置有直角棱镜，其仅反射光一次。相对于使用多次反射来重新定向90°的常规摄像头，诸如具有五棱镜的系统和具有屋脊棱镜的系统，这种单次反射可以导致改善的图像质量。此外，直角棱镜可以比多次反射光的棱镜或棱镜系统更容易制造并且对公差较不敏感。
根据各种实施例，通过配置摄像机控制器和摄像头使摄像头被控制和/或来自摄像头的图像数据被处理以重新取向场景，摄像头可被倒置使用，同时维持场景正面朝上。一个或多个取向传感器可被包括在摄像头中，并且可以将取向信息从摄像头提供给摄像机控制器。当摄像头被倒置使用时，摄像机控制器可以控制摄像头和/或处理成像数据，使得场景被重新取向，并且当摄像头被正面朝上使用时，控制和/或图像处理可以例如返回到常规过程。
在各种实施例的以下描述中，应理解，除非上下文另外明确地指示，否则以下描述中所使用的单数形式“一”、“一个”和“该”也应包括复数形式。还应当理解，这里使用的术语“和/或”是指并包含一个或多个相关的所列项目的任何和所有可能的组合。还应当理解，术语“包括（includes）”、“包括（including）”、“包含（comprises）”和/或“包含（comprising）”当在本文中使用时，指定陈述的特征、整体、步骤、操作、要素、组件和/或单元的存在，但是不排除还有一个或多个其它特征、整体、步骤、操作、要素、组件、单元和/或其群组的存在或加入。
本公开的某些方面包括本文以算法形式描述的过程步骤和指令。应当注意，本公开的过程步骤和指令可以以软件、固件或硬件来实现，并且当以软件来实现时，可以被下载以驻留在由各种操作系统使用的不同平台上并且可以从这些平台操作。除非特别声明，否则如从以下讨论中显而易见的，可以理解，在整个描述中，利用诸如“处理”、“计算”、“运算”、“确定”、“显示”、“生成”等术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，其操纵和变换表示为计算机系统存储器或寄存器或其他这样的信息存储、发送或显示设备内的物理(电子)量的数据。
在一些实施例中，本公开还涉及用于执行本文的操作的设备。该设备可以是为所需目的而专门构造的，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在非暂时性计算机可读存储介质中，诸如但不限于任何类型的盘，包括软盘、USB闪存驱动器、外部硬盘驱动器、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或适合于存储电子指令的任何类型的介质，并且每个都连接到计算机系统总线。此外，说明书中所指的计算机可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。
本文描述的方法、设备和系统并非固有地与任何特定计算机或其他装置相关。各种通用系统也可以与根据这里的教导的程序一起使用，或者可以证明构造更专用的装置来执行所需的方法步骤是方便的。各种这些系统所需的结构将从下面的描述中明显。此外，本发明不是参考任何特定的编程语言来描述的。应当理解，可以使用各种编程语言来实现本文描述的本发明的教导。
摄像机系统常规上被配置成捕捉场景的图像，其中，场景在使用摄像机时会根据用户的视点来取向。因此，当摄像机指向水平方向时，摄像机就被配置成使由摄像机捕获的图像将使场景的顶部在图像的顶部处。这通常通过在摄像机内取向成像传感器使传感器的“顶部”接收来自场景顶部的光来完成。因此，如本文所使用的，接收正确取向的场景的成像传感器意味着场景的顶部、底部、左部和右部分别由成像传感器的顶部、底部、左部和右部接收。此外，如本文所使用的，具有正确取向的场景的图像意味着当在显示器上观看时，场景的顶部、底部、左部和右部分别是图像的顶部、底部、左部和右部。
如本文所使用的，错误取向的场景是未如上所定义的正确取向的场景。场景可以以不同的方式错误取向。如本文所使用的，倒转场景是其中场景围绕从左到右延伸的水平轴翻转180°的场景。如本文所使用的，反转场景是其中场景围绕从顶部到底部延伸的垂直轴翻转180°的场景。场景可以是倒转和反转二者，这会导致围绕垂直于该场景延伸的水平轴旋转180°的场景。
图1A和1B示出内窥镜成像系统100的实施例。如下面进一步讨论的，图1A示出了系统100的一个实施例，其中，内窥镜安装到摄像头，使得内窥镜与成像轴成一直线，并且图1B示出了系统100的一个实施例，其中，内窥镜垂直于成像轴安装。
成像系统100包括内窥镜摄像机单元102，其包括根据第一取向捕获场景的成像传感器组合件106和摄像机控制器104，其可以控制成像传感器组合件106和/或处理来自成像传感器组合件106的成像数据，以在成像传感器组合件106处相对于场景的取向重新取向场景。重新取向场景的能力可以提供许多优点，包括用于场景平面垂直于成像传感器组合件的成像平面的实施例的简化光学器件，以及用户在保持场景在显示器上正面朝上的取向的同时以倒置取向使用内窥镜摄像机单元102的能力。
内窥镜摄像机单元102可以包括摄像头108，其包括成像传感器组合件106。内窥镜110从摄像头108延伸，并且如本领域所公知的，可被插入到手术腔内以在手术腔内成像。摄像头108包括将内窥镜110耦合到摄像头108的内窥镜耦合装置111A、B。示出了两种示例性内窥镜安装配置。在图1A中，内窥镜耦合装置111A提供了内窥镜的直前安装，使得内窥镜的纵轴与成像轴对准。在图1B中，内窥镜耦合装置111B提供了内窥镜110的直角安装，使得内窥镜的纵轴垂直于成像轴，这对于某些外科手术，诸如泌尿科和/或ENT手术可能是有利的。诸如经由耦合111B以直角安装内窥镜的摄像头在此也称为直角摄像头。
内窥镜110包括接收来自场景114的光的远端。如本领域所公知的，光沿着内窥镜110诸如经由透镜组合件被传送到成像传感器组合件106。成像传感器组合件106包括在多个像素处接收来自场景114的光并生成像素数据的一个或多个成像传感器。来自一个或多个成像传感器的像素数据可以诸如经由线缆116和/或无线地被发送到摄像机控制器104，并且摄像机控制器104从像素数据生成一个或多个图像118(例如，单个图像和视频帧)。图像118可以存储在存储介质120中和/或可以显示在一个或多个显示器122上。
场景114可能在成像传感器组合件106处以不正确的取向被接收。例如，可以在与捕获场景的底部相关联的成像传感器组合件106的像素处接收该场景的顶部，并且可以在与捕获场景的顶部相关联的成像传感器组合件106的像素处接收该场景的底部。
场景114在成像传感器组合件106处的不正确取向可能是由例如以倒置方式使用的摄像头108引起的，这在用户在手术腔内操纵内窥镜时可能是有用的。如图1A所示，内窥镜110安装成与摄像头108成一直线的实施例可以观察场景。当摄像头正面朝上时，场景114的正确取向由成像传感器组合件106捕获。然而，当倒置使用摄像头时，成像传感器组合件106捕获相对于该场景的实际取向旋转180°的场景，如旋转的场景114A所指示的。
在一些实施例中，场景可能会由于内窥镜摄像机单元102内的光的反射而被错误取向。例如，如以下进一步讨论的，如图1B所示，内窥镜110可以附接到直角摄像头，一个或多个棱镜或反射镜可以用于将光重新定向90°，并且重新定向可能会导致场景在成像传感器组合件106处的错误取向，如倒转场景114B所指示的。
摄像机控制器104可以检测摄像头108的配置并且根据需要校正场景取向。摄像机控制器104从成像传感器组合件106接收像素数据，并且生成场景的图像。摄像机控制器104可以控制成像传感器组合件106，使得由摄像机控制器104根据正确的取向从成像传感器组合件106接收像素数据，和/或可以修改从传感器组合件106接收的像素数据以生成具有正确取向的场景的图像。例如，摄像机控制器104可以控制传感器组合件106，使得由成像传感器组合件106的一个或多个成像传感器以反转的顺序读取像素，和/或摄像机控制器104可以处理从传感器组合件106接收的像素数据以交换像素来重新取向场景。
根据一些实施例，摄像机控制器104可以从内窥镜摄像机单元102接收指示由成像传感器组合件106捕获的场景的取向或与该取向相关的信息。在一些实施例中，场景取向相关信息可以包括摄像机单元配置信息，诸如指示摄像机单元102在传感器组合件106处捕获错误取向的场景—例如，由于内窥镜被附接到具有直角内窥镜耦合111B的摄像头108。在一些实施例中，场景取向相关信息可以包括关于摄像机单元102正被如何使用的信息。例如，该信息可以指示摄像机单元102正以倒置方式使用，使得场景正由传感器组合件106以相对于用户的预期倒置的方式被捕获。在一些实施例中，场景取向相关信息可以包括配置信息（即，直角配置相对于标准配置）以及使用信息（例如摄像机单元取向）二者。
根据一些实施例，场景取向信息子系统124可以诸如经由线缆116向摄像机控制器104发送指示摄像机单元102如何被配置和/或正在被使用的场景取向相关信息。例如，场景取向信息子系统124可以发送指示摄像机单元102被配置成使场景总是在传感器组合件106处被倒转的信息—例如，由于内窥镜被附接到直角摄像头。在一些实施例中，场景取向信息子系统124可被配置成诸如经由一个或多个陀螺仪和/或加速度计来检测摄像机单元102的取向，并且可以将指示摄像机单元的当前取向（例如，倒置或正面朝上）的取向信息发送到摄像机控制器104。在一些实施例中，场景取向信息子系统124提供了摄像机单元配置信息(例如，直角摄像机)以及摄像机单元取向信息(例如，摄像机单元当前处于倒置配置)两者。基于从场景取向信息子系统124接收的信息，摄像机控制器104可以修改传感器组合件106的控制和/或可以修改从传感器组合件106接收的像素数据的处理以生成具有正确取向的场景的图像。
场景取向信息子系统124可包括单个组件或多个相互关联或单独的组件。在一些实施例中，场景取向信息子系统124是存储器，诸如非易失性存储器，其存储配置数据，诸如指示摄像机单元是直角摄像机单元。在将摄像机单元102连接到摄像机控制器104时、在连接到摄像机控制器104的摄像机单元102启动时、连续地、或以其任意组合的方式，可以将存储在存储器中的配置数据发送到摄像机控制器104。存储在存储器中的配置数据可以由摄像机单元102中的一个或多个处理器或者摄像机控制器104中的一个或多个处理器进行访问。存储器可以容纳在摄像头108中、将摄像头108连接到摄像机控制器104的线缆116中、或其组合。
在一些实施例中，场景取向信息子系统124包括用于生成场景取向相关信息的多个组件，诸如存储器、一个或多个处理器和/或一或多个传感器。例如，场景取向信息子系统124可以包括由一个或多个由处理器控制的一个或多个取向传感器(例如，陀螺仪、加速度计等)，所述一个或多个处理器从所述一个或多个传感器生成取向信息。可以以连续的方式将该信息发送到摄像机控制器104，使得摄像机控制器104知道摄像机单元102的取向何时改变。
在一些实施例中，场景取向信息子系统124包括可以互连或可以不互连的多个不同的子单元。例如，在一些实施例中，场景取向信息子系统124包括存储摄像机单元配置数据的存储器，并且还包括生成摄像头取向信息的单独的传感器单元。这些子组件可以彼此通信地耦合或可以不彼此通信地耦合，并且可以位于或可以不位于相同的物理空间中。例如，如图1A和图1B所示，摄像机单元取向传感器系统124A可以容纳在摄像头108中，而存储配置数据的存储器124B可以容纳在线缆116中。
图2A示出了内窥镜摄像机单元200，其包括摄像头204，该摄像头204相对于摄像头204内的成像传感器组合件以直角取向安装内窥镜202。摄像机单元200可特别适用于泌尿科手术，其中，用户通常希望将内窥镜相对于摄像头定向成直角。
在传统的直角摄像头配置中使用的光学组件可能不能以足够高的质量发送高质量的图像，以用于在诸如4K成像传感器的成像传感器中可用的不断增加的分辨率。根据一些实施例，通过使用直角棱镜来缩短光路长度(图像光必须行进的长度)并使反射量最小化，实现了实质的光学改进，这相对于诸如使用五棱镜和屋脊棱镜的常规布置可以使损耗最小化并提高图像分辨率。另外，直角棱镜在组装期间比多次反射棱镜更不易于受到对准误差影响，从而改进图像的可重复性和一致性并降低制造成本。
然而，使用直角棱镜需要执行多次“翻转”以在所得到的图像中重新获得场景的正确视觉取向。机械补偿(即传感器安装方向)不足以正确地重新取向图像。因此，如以下进一步描述的，内窥镜摄像机单元200可以连接到摄像机控制器（诸如图1的摄像机控制器104），其可以控制摄像机单元200和/或处理来自摄像机单元200的像素数据以生成具有正确取向的场景的图像。
摄像头204包括容纳成像传感器组合件的第一外壳部分240，这将在下面更详细地讨论。第一外壳部分240的尺寸和形状被设计成诸如在外科手术期间可由使用者抓握和操纵。第一外壳部分240可以包括一个或多个用户接口220（诸如一个或多个切换器、按钮、滑块、触摸屏等），用于控制摄像机单元200的一个或多个功能和/或摄像机单元可操作地连接到的成像系统的一个或多个功能。
第二外壳部分250从第一外壳部分240的远端延伸。第二外壳部分250可容纳一个或多个光学元件，如下面进一步讨论的。第二外壳部分250可以组装到第一外壳部分，以形成密封的壳体，从而保护其中的敏感成像组件。第二外壳部分250可以被配置成相对于成像传感器组合件的光轴(参见图2C中的光轴273)以直角配置安装内窥镜202。
耦合器206安装到第二外壳部分250，并且被配置成用于将内窥镜202耦合到摄像头204上。耦合器206可以是适于附接到内窥镜或其它外科观察设备的任何设备。根据一些实施例，耦合器206被配置成用于可移除地耦合内窥镜202，例如通过包括用于将内窥镜202夹持到摄像头204上的弹簧加载结构。
内窥镜202可以是常规内窥镜，并且通常包括沿着纵向轴线227延伸的细长轴223。如本领域所公知的，轴223可以包括光学元件串，该光学元件串包括一个或多个透镜、棱镜和/或其它光学元件，这些光学元件被布置成从轴223的远端沿纵向方向发送来自场景的光。光端口(未示出)可以与光输入连接以选择性地将光经由内窥镜202发送到目标。
摄像头204可被连接或可连接到用于将摄像机单元200连接到摄像机控制器的摄像机线缆218。摄像机线缆218可以可移除地或不可移除地附接到摄像头204。摄像机线缆218可以将诸如成像数据和/或用户输入数据的信息发送到连接的摄像机控制单元。
图2B是根据不同实施例的内窥摄像机单元200的剖视图，其示出了位于第一和第二外壳部分240、250中的光学组件。图2C是根据各种实施例的内窥摄像机单元200的分解图，其中，为了清楚起见未示出第二外壳部分。
第二外壳部分250(见图2B)包括可以接收光入口窗口266的光入口孔264。来自场景的光可以经由光入口窗口266从连接的内窥镜接收。光入口窗口266可以被配置和安装在第二外壳部分250中，以便密封摄像机单元200。
中继透镜组合件268可以安装在第二外壳部分250内，位于光入口窗口266后面，用于沿第一光轴267中继光。中继透镜组合件268可以包括一个或多个透镜、滤光器或用于操纵从内窥镜接收的光的其他光学元件。
棱镜270安装在第二外壳部分250中，在中继透镜组合件268的下游。棱镜270将沿着第一光轴267行进的光重新定向到沿着第二光轴273朝向成像传感器组合件288延伸的路径。棱镜270可被配置成重新定向光离开棱镜270的长边271，使得光仅被棱镜270反射一次。长边271可以根据光的期望重新定向而成角度。例如，长边271可相对于第一光轴267成45°角以直角反射光(如本文所用，以直角重新定向光包括使光基本上重新定向90°，这可以包括使光在80°至100°之间的范围内重新定向)。因为光仅被棱镜反射一次，所以场景被棱镜270反转，如下面进一步讨论的。
由棱镜270反射的光沿着以与第一光轴267成一角度（例如垂直）延伸通过可以安装在第二外壳部分250中的透镜系统298的第二光轴273行进。透镜系统298可以包括一个或多个透镜，用于将光聚焦到成像传感器组合件288上。透镜系统298可以包括一个或多个可移动透镜，用于实现用户和/或自动聚焦。在一些实施例中，光行进通过透镜系统298，使得场景在透镜系统298的下游端处相对于场景在透镜系统298的上游端处的取向旋转180°，如现有技术中众所周知的。因此，成像传感器组合件288可以相对于摄像头的取向旋转180°，以补偿透镜系统298对场景的180°旋转。在其它实施例中，透镜系统298可以包括一个或多个附加光学组件，其导致场景在下游端相对于透镜系统298的上游端具有相同的取向。
来自透镜系统298的光是由成像传感器组合件288接收的，该成像传感器组合件可以容纳在第一外壳部分240中并且与第二光轴273对准。成像传感器组合件288可以包括用于检测入射在其上的光的一个或多个成像传感器。一个或多个成像传感器可以包括任何合适的成像传感器，诸如CMOS和/或CCD成像传感器。成像传感器组合件288可以包括一个或多个光学元件，包括例如一个或多个透镜、棱镜、滤光器等，用于定向、整形和/或控制入射在一个或多个成像传感器上的波段的光。成像传感器组合件288可以固定地安装在第二外壳部分250、第一外壳部分240或两者内，使得一个或多个成像传感器相对于成像传感器组合件288上游的光学元件串处于固定关系。
成像传感器组合件288生成包括像素数据的一个或多个成像信号，其可以诸如经由线缆218被发送到可操作地耦合到摄像机单元200的摄像机控制器。根据各种实施例，成像传感器组合件288可生成并发送单个图像和/或视频数据。成像传感器组合件288可以包括一个或多个处理器，用于控制和/或处理来自一个或多个成像传感器的信号。在一些实施例中，一个或多个处理器可以控制像素数据从摄像机单元200传送到操作地耦合的摄像机控制器的方式。例如，一个或多个处理器可以控制成像传感器组合件288以反转的顺序读出像素，诸如从右到左而不是从左到右。在一些实施例中，一个或多个处理器可以与连接的摄像机控制器通信以改变像素读出模式。例如，连接的摄像机控制器可以控制成像传感器组合件288的一个或多个处理器以将读出模式从常规模式改变为反转模式，并且反之亦然。
图3示出了根据一些实施例的场景300通过内窥镜成像系统的行进，该内窥镜成像系统具有带直角摄像头的内窥镜成像单元302。可以被配置成类似于图2A-C的内窥镜摄像机单元200的内窥镜成像单元302连接到摄像机控制器304。内窥镜成像单元302具有直角瞄准镜安装配置，其中，内窥镜303相对于成像单元302的成像传感器组合件388成直角地安装到成像单元302。
内窥镜成像系统可用于对场景300成像，该场景可以是例如外科手术腔内的组织区域。组织区域可以反射由内窥镜的光递送系统递送的光和/或可以从诸如一个或多个荧光发射器(例如，荧光染料、自发荧光等) 发射光，并且反射的和/或发射的光是由内窥镜接收的。来自场景300的光可以在第一方向330上行进通过内窥镜、通过窗口366、并且然后通过中继透镜系统368到达直角棱镜370。
直角棱镜370将光重新定向为沿第二方向332朝向成像传感器组合件388。直角棱镜370仅反射光一次，并且由于该单次反射，场景变成倒转的（相对于在场景的中间延伸的水平线翻转了180°），产生倒转的场景300A。倒转的场景300A行进通过透镜系统398，其可以将该倒转的场景300A传递到成像传感器组合件388。在一些实施例中，透镜系统398可以旋转该倒转的场景300A。
成像传感器组合件388可以包括任何合适数量和类型的成像传感器。例如，可以使用单个成像传感器。在所示实施例中，成像传感器组合件388包括三个成像传感器389A、B、C以分别检测不同的光波长。为了分开和定向从透镜系统398接收的光，成像传感器389A、B、C被设置在分束棱镜组合件391上。如本领域所公知的，棱镜组合件391可以包括用于将光分成三个不同波段并根据其波长定向光的滤光器。例如，光可以被分成红/IR光、绿光和蓝光波段以提供荧光和白光成像。三个不同的波长带被定向到相应的成像传感器389A、B、C，这些成像传感器各自被安装以便在相同的取向上接收场景。
棱镜组合件391可以被配置成将光反射向离轴成像传感器389B和389C。棱镜组合件391可被配置成反射光，使得相应成像传感器389与棱镜组合件391之间的界面处的场景的取向与从透镜系统398接收到的场景的取向相同。例如，棱镜组合件391可以被配置成使得通过棱镜组合件391到达离轴成像传感器389B、C中的每一个的光路包括两次反射，其中，第一反射翻转场景并且第二反射将场景翻转回来。因此，呈现给每个传感器的场景的取向可以与棱镜组合件391接收到的场景的取向相同。
根据一些实施例，成像传感器组合件388可以被配置成使得场景是由一个或多个成像传感器389以相对于倒转的场景300A重新取向的方式接收的。例如，一个或多个成像传感器389可以被上下倒置取向(如图3中由在底部上+和顶部上-所指示的)，这有效地将场景旋转180°，如由一个或多个成像传感器所接收的。这可以产生相对于场景300被反转的反转场景300B（该场景相对于原始场景300围绕垂直线翻转180°）。因此，由一个或多个成像传感器接收的场景处于不正确的取向上（例如，如在所示实施例中那样反转）。
成像传感器组合件388生成从内窥镜成像单元302发送到摄像机控制器304的像素数据。摄像机控制器304可以处理从内窥镜成像单元302接收的像素数据，以生成场景的一个或多个图像用于存储和/或显示。根据各种实施例，摄像机控制器304可以控制内窥镜成像单元302和/或处理来自内窥镜成像单元302的像素数据，以生成具有正确取向的场景的图像。
在一些实施例中，摄像机控制器304本身处理从成像单元302接收的像素数据，以重新取向场景，如附图标记310所指示的。例如，摄像机控制器304可以反转每行内的像素的顺序，以将反转的场景300B跨垂直线翻转成正确取向的场景300C。摄像机控制器304可以以任何合适的方式操纵像素数据，诸如通过旋转场景、跨垂直线翻转场景、和/或跨水平线翻转场景。
在一些实施例中，摄像机控制器304控制内窥镜成像单元302以如下方式向摄像机控制器304发送像素数据，即，使得摄像机控制器304根据场景的正确取向接收像素数据，如附图标记316所示。例如，对于反转的场景300B，摄像机控制器304可以指示内窥镜成像单元302以相对于传统读取模式反转的顺序从一个或多个传感器389A、B、C读取像素数据。例如，像素可以从右到左而不是从左到右跨越每行被读取，并且按顺序读取的发送出去。这可以导致场景从右向左翻转，这可以导致正确取向的场景从内窥镜成像单元302发送到摄像机控制器304。因此，根据正确取向的场景从成像单元302接收像素数据，并且摄像机控制器304可以以常规方式处理像素数据以生成具有正确取向的场景的图像。
在一些实施例中，反转的成像传感器读取模式被预编程到内窥镜成像单元302中，使得根据一个或多个传感器的反转的读取将像素数据发送到摄像机控制器304，而不涉及摄像机控制器304。然而，提供摄像机控制器304控制一个或多个传感器的读取模式的能力可以使得相同的成像传感器组合件(即，(一个或多个)成像传感器和相关联的处理)能够用于不同的成像单元，诸如直角摄像头和直线摄像头两者。
摄像机控制器304可以将具有正确取向的场景的一个或多个图像(即，单个图像和视频帧)保存到可以是本地或远程存储器的存储器312，和/或可以将具有正确取向的场景的一个或多个图像发送到一个或多个显示器314以显示给用户。
图4示出了根据一些实施例的用于通过在摄像机控制器处数字地重新取向场景来生成具有正确取向的场景的图像的方法400。方法400可以由包括摄像机单元的系统执行，该摄像机单元生成成像数据并将成像数据发送到所连接的摄像机控制器，诸如例如图1的系统100。方法400可被用于校正由诸如图2的摄像头204的直角摄像头捕获的场景的取向，并且可以用于对使用倒置的摄像头产生的场景进行重新定向，如下面参考图6A和6B进一步讨论的。
在步骤402，摄像机控制器从摄像机单元接收配置信息。配置信息可被存储在计算机可读介质中，该计算机可读介质可以位于摄像头中，诸如并入摄像头的成像传感器组合件中，或者位于将摄像头连接到摄像机控制器的线缆中。在一些实施例中，配置信息可以由摄像机控制器从摄像头或摄像机线缆中的存储装置直接读取。在一些实施例中，配置信息可以由摄像机单元的处理器响应于从摄像机控制器接收的查询/命令而发送。配置信息可以指示摄像机单元是以不正确的取向捕获场景的直角摄像机单元。在一些实施例中，摄像机控制器自动地从摄像机单元接收配置信息。例如，在将摄像机单元连接到摄像机控制器时(或者在对摄像机单元和/或摄像机控制器加电时)，摄像机控制器可以向摄像机单元中的配置信息单元查询配置信息。
在步骤404，摄像机单元对场景进行成像并生成像素数据，其被发送到摄像机控制器。摄像机单元可以以未经由(一个或多个)成像传感器的安装校正的方式以由于来自摄像机单元内的场景的光反射而错误取向的方式在一个或多个成像传感器处捕获场景。因此，发送到摄像机控制器的像素数据包括错误取向的场景。
在步骤406，摄像机控制器从摄像机单元接收像素数据。像素数据可以经由将摄像头连接到摄像机控制器的线缆来接收，或者可以无线地接收。可根据错误取向的场景来接收像素数据。例如，在一些实施例中，由摄像机控制器接收的场景可以处于反转的取向（即，围绕垂直轴翻转）。
在步骤408，摄像机控制器处理像素数据，以基于在步骤402接收的配置数据将场景数字地重新取向到正确的取向。数字地重新取向场景通常包括改变数据集内像素的相对位置。从摄像机单元接收的像素数据可以被组织为像素强度矩阵，其中，矩阵中的强度位置对应于在成像传感器组合件中生成强度的传感器像素的位置，并且重新取向场景可以包括交换矩阵中的强度值。例如，矩阵的每行中的像素值的顺序可以被反转以围绕垂直轴翻转该场景，和/或每列中的像素值的顺序可以被反转以围绕水平轴翻转该场景。在一些实施例中，在从摄像机单元接收的像素数据中反转场景，并且数字地重新取向场景包括反转像素矩阵的每行内的像素的顺序以将场景从反转的场景翻转成正确取向的场景。
在步骤410，具有适当取向的场景的图像(例如，单个图像或视频帧)被存储和/或被发送到显示器以便向用户显示。图像中的场景的取向与内窥镜所接收的场景的取向相同。
图5示出了根据一些实施例的用于通过修改摄像机单元操作使摄像机单元根据正确取向的场景向摄像机控制器发送图像数据来生成具有正确取向的场景的图像的方法500。方法500可以由包括摄像机单元的系统来执行，该摄像机单元生成成像数据并将成像数据发送到连接的摄像机控制器，诸如例如图1的系统100。方法400可以用于校正由诸如图2的摄像头204的直角摄像头捕获的场景的取向，并且可以用于对使用倒置的摄像头产生的场景进行重新取向，如下面参考图6A和6B进一步讨论的。
在步骤502，摄像机控制器从摄像机单元接收配置数据，该配置数据指示摄像机单元是否在摄像机单元的(一个或多个)成像传感器处接收到不正确取向的图像。该步骤可以类似于方法400的步骤402。
在步骤504，响应于接收到指示摄像机单元的不正确场景取向捕获的配置信息，摄像机控制器向摄像机单元发送指令以修改其操作，使摄像机单元以使得摄像机控制器接收正确取向的场景的方式来发送像素数据。摄像机控制器可以经由线缆或无线地向摄像机单元发送指令。
在步骤506，响应于从摄像机控制器接收到指令，摄像机单元可以修改其从一个或多个成像传感器读取像素数据的方式。例如，摄像机单元可以以反转的顺序读取像素—例如，从右到左而不是从左到右，和/或从下到上而不是从上到下，例如通过根据期望的像素读出序列设置一个或多个寄存器值。然后，摄像机单元根据修改的读取程序来发送像素数据，这使摄像机控制器接收到相对于场景被一个或多个成像传感器捕获的取向被翻转的场景。例如，由于在通过成像传感器的倒置安装进行旋转之后通过90°棱镜对场景进行倒转可以反转由一个或多个成像传感器捕获的场景，并且反转像素读出程序使被反转的场景被翻转到正确的取向。
在步骤508，由摄像机控制器接收对应于正确取向的场景的像素数据。在步骤510，摄像机控制器以常规方式处理传入像素数据，以生成具有正确取向的场景的图像。例如，摄像机控制器可以常规地通过按照从摄像机单元接收图像矩阵的顺序填充图像矩阵的位置来生成图像。摄像机控制器可以将第一像素值放置在图像矩阵的左上角，然后填充第一行的剩余部分，以类似的方式填充第二行，并且以这种方式继续直到从摄像机单元接收的用于给定图像或视频帧的最后像素值被放置在矩阵的右下角。由于摄像机单元反转地读取和发送每一行中的像素值，摄像机控制器将由一个或多个成像传感器的最右像素生成的像素值放置在图像矩阵的最左侧位置中，这产生了相对于场景如何被一个或多个成像传感器捕获的翻转场景。
因此，根据方法500，场景的重新取向可以由摄像机单元完成，并且由摄像机控制器进行的图像处理可以是常规的。在一些实施例中，方法500还可以包括由摄像机控制器进行的数字重新取向步骤。例如，摄像机单元可以执行反转读取步骤以围绕第一轴线翻转场景，并且摄像机控制器可以围绕第二轴线数字地翻转场景。
摄像机控制器可被配置成与传统内窥镜摄像机单元以及如本文所述配置的摄像机单元操作地耦合，并且可以根据连接到它的摄像机单元的类型来修改其成像处理。根据摄像机控制器基于从摄像机单元和/或摄像机线缆接收的配置数据检测到连接的摄像机单元被配置成捕获错误取向的场景，摄像机控制器可以根据诸如参考以上方法400和/或方法500描述的第一成像过程继续，以生成具有正确取向的场景的图像。根据摄像机控制器基于从摄像机单元和/或摄像机线缆接收的配置数据检测到连接的摄像机单元被配置成捕获正确取向的场景，摄像机控制器可以根据第二成像过程继续进行，第二成像过程控制摄像机单元并且以常规方式处理来自摄像机单元的像素数据。因此，摄像机控制器可以基于来自摄像机单元的配置数据使用不同的模式来控制连接的摄像机单元。在一些实施例中，当没有从摄像机单元接收到配置数据时，摄像机控制器可以根据常规模式继续进行。
图6A和6B示出了根据一些实施例的成像系统600，其中，摄像机单元可以上下翻转，同时自动保持从摄像机单元生成的图像中的场景的正面朝上取向。摄像机单元可以包括一个或多个传感器以检测摄像机单元的取向，并且连接的摄像机控制器可以数字地处理从摄像机单元接收的成像数据以基于摄像机单元取向维持场景取向。例如，用户可以将摄像机单元上下倒置，并且摄像机控制器可以旋转从摄像机单元接收的像素数据以生成具有处于正面朝上取向(即，相对于用户正面朝上)的场景的图像。
传统上，当摄像头和内部成像传感器以其设计的正面朝上取向使用时，内窥镜摄像机系统将显示被认为正面朝上的图像。在一些情况下，内窥镜摄像机用户可能期望将摄像头倒置以允许更容易地接近外科器械或更符合人体工程学的抓握。这对于诸如本文所述的直角摄像头是特别有利的，其中，摄像机耦合器的直角使摄像头的线缆端相对于内窥镜轴线垂直指向，而不是更与内窥镜轴线成一直线并指向使用者。
在常规系统中，作为将摄像头和（一个或多个）内部成像传感器上下倒置的结果，当场景取向出现在显示器上时，场景取向也将上下倒置(或旋转180°)，这可能导致用户迷失方向。在这些情况下，用户可能希望重新取向显示图像以将视图返回到与用户的正面朝上的期望对准。传统上，用户已经依赖于手动方法来重新取向，包括诸如手动切换摄像机控制器以数字地重新取向图像、在监视器本身上选择替代显示选项、或者甚至物理地将监视器上下倒置的方法。
根据各种实施例，摄像头和摄像机控制器被配置成相对于由一个或多个成像传感器捕获的场景的取向自动地重新取向所生成的图像中的场景，以便维持正面朝上的场景，而不管摄像机头的正面朝上或倒置取向。这可以优于常规系统，因为它可以最小化用户交互以重新取向场景和/或避免与具有例如可旋转成像传感器的摄像头相关联的复杂性。
成像系统600包括摄像机单元602，其包括用于对场景成像的成像传感器组合件606。成像传感器组合件具有顶侧(+)和底侧(-)。摄像机单元602将成像数据发送到摄像机控制器604，其从成像数据生成一个或多个图像(单个图像和/或视频帧)。
摄像机单元602包括场景取向信息单元608，用于监视摄像机单元602的取向，并向摄像机控制器604提供与摄像机单元602的取向有关的信息。场景取向信息单元608可以包括用于感测摄像机单元取向的改变的一个或多个传感器。也可以使用任何合适的传感器，包括一个或多个加速度计、陀螺仪、诸如惯性测量单元(IMU)之类的集成单元等的任何合适的组合，以用于检测摄像机单元的取向的改变。场景取向信息单元608可以包括一个或多个处理器和/或与一个或多个处理器对接，用于处理来自一个或多个传感器的数据，诸如用于计算摄像机单元取向，并且将数据提供给摄像机控制器604。
来自场景取向信息单元608的信息被提供给摄像机控制器604，使得摄像机控制器604能够基于摄像机单元取向的改变自动地重新取向场景。在一些实施例中，来自场景取向信息单元608的一个或多个传感器的信号被提供给摄像机控制器604，并且摄像机控制器604确定摄像机单元取向。在其他实施例中，场景取向信息单元608执行其自身的取向确定，并且向摄像机控制器604提供取向状态标识符—例如，摄像机单元通知摄像机控制器它是倒置还是正面朝上。
基于从一个或多个传感器接收的信息，摄像机控制器604可以自动处理从摄像机单元602接收的图像数据，以在传感器数据指示摄像机单元是倒置的时相对于由一个或多个传感器捕获的场景的取向重新取向场景。如果检测到摄像机头取向的任何后续改变(即摄像机头返回到正面朝上)，则可以反转该图像重新定向。
图6A和6B示出了生成具有当摄像机单元602被倒置时被自动地重新取向180°的场景的图像的过程。来自场景610的光穿过摄像机单元602的光学元件串，并聚焦到成像传感器组合件606上。根据本文所述的各种实施例(例如，由于内窥镜到摄像头的直角安装)，场景可根据其被摄像机单元602或附接的内窥镜接收的取向在成像传感器组合件606处被接收，或者可根据不正确的取向在成像传感器组合件606处被接收。
用户可以相对于正常使用将摄像机单元取向为正面朝上(图6A)或正面朝下(图6B)。当被倒置取向时，来自成像传感器组合件606的所得到的图像数据相对于当摄像机单元正面朝上时的取向旋转180°。摄像机控制器604从摄像机单元602接收指示摄像机单元是倒置还是正面朝上的取向信息。在一些实施例中，摄像机单元602执行其自己的取向确定并相应地通知摄像机控制器604，而在其他实施例中，摄像机控制器604基于来自摄像机单元602的传感器数据做出其自己的确定，该传感器数据可以是例如由摄像机单元内的惯性测量单元(IMU)提供的三维位置数据。
当摄像机控制器604确立了摄像机单元602是倒置的(图6B)时，摄像机控制器604可以将图像数据读取方向修改为从正常图像数据读取方向倒转和反转(180°旋转)。替代地，摄像机控制器604可以对从摄像机单元接收的像素数据数字地重新排序以旋转场景。然后，摄像机控制器可以将具有重新取向的场景的图像输出到显示器和/或存储装置。
摄像机控制器604可以从摄像机单元接收摄像机单元取向更新，并且基于该更新，可以确定摄像头返回到正面朝上状态，并且可以将图像数据读取方向反转到先前的方向或者将像素数据处理反转到常规模式。摄像机控制器604可以根据摄像头的任何随后重新取向而在模式（即，重新取向和不重新取向）之间切换。
术语“倒置”和“正面朝上”在这里用来指触发场景重新取向的取向的相对变化，而不是意味着仅限于完美的“倒置”和“正面朝上”取向。例如，在一些实施例中，只要摄像头在预定的角度取向范围内，就可以认为摄像机相对于场景处于给定取向。然后，摄像头在预定范围内的移动不会触发场景的重新取向，但是摄像头超出预定范围的移动将会触发场景重新取向。例如，将完美的正面朝上视为0°取向，可以不触发图像重新取向，只要摄像头在从0°起的+/-90°的范围内(即，更接近于完美的正面朝上，而不是倒置)，并且一旦摄像头旋转超过该范围(即，更接近于倒置，而不是正面朝上)，则摄像机控制器命令场景的重新取向。类似地，只要摄像头在从180°起+/-90°的范围内，场景就可以继续被重新取向，并且一旦摄像头旋转超过该范围，场景就可以仅停止被重新取向。这些仅仅是示例性阈值，并且触发场景重新取向的上阈值和下阈值可以根据需要来设置。
在一些实施例中，场景重新定向触发阈值是相对于当前取向的。例如，当摄像头旋转到相反取向的预定范围内时，可以触发场景重新取向。例如，当摄像头旋转到180°的+/-10°的范围内时，可以触发场景重新取向，并且可以维持场景重新取向，直到摄像头旋转回到0°的+/-10°的范围内。因此，例如当摄像头处于90°时的场景取向可以根据先前的场景取向而变化。这在减少所显示的图像从用户的角度翻转的次数方面可能是有利的。
根据一些实施例，场景相对于在成像传感器组合件处的场景的取向被取向/重新定向180°。因此，所生成的和/或向用户显示的(一个或多个)图像将示出在摄像头旋转时在成像传感器组合件处接收的取向中的场景—即，所显示的场景将随摄像头旋转，直到达到预定阈值，在该点处场景将相对于场景在成像传感器组合件处的取向旋转180°。因此，摄像头的角运动将会被观看所生成的图像的用户观察到。这与其它领域中已知的图像稳定系统形成对比，诸如监视或电影制作，其中，场景相对于用户保持在给定的取向，而不管摄像头如何移动。
图7示出了根据各种实施例的内窥镜成像系统10。成像系统10包括可以在内窥镜手术中使用的内窥镜成像单元11。内窥镜成像单元11可以包括耦合到摄像头13的内窥镜或瞄准镜12，摄像头13具有位于摄像头13的远端用于耦合瞄准镜12的耦合器14。摄像头13可以根据本文所述的实施例中的任何一个来配置，包括图1的摄像机单元102和图2A-2C的摄像机单元200。光由光源16经由光导15(诸如光纤线缆)提供给瞄准镜12。摄像头13耦合到可以根据本文描述的任何实施例配置的摄像机控制器17，包括图1的摄像机控制器104和图3的摄像机控制器304。摄像头13可以经由电气线缆18或无线地耦合到摄像机控制器17。摄像头13的操作可以部分地由摄像机控制器17来控制。线缆18或无线通信系统(未示出)将视频或静止图像数据从摄像头13传送到摄像机控制器17，并在摄像头13和摄像机控制器17之间双向传送各种控制信号。
控制或切换装置20可以设置在摄像头13上，以便用户手动地控制系统10的各种功能。根据各种实施例，这些和其它功能也可以使用语音控制单元23通过语音命令来控制，该语音控制单元可以耦合到摄像机控制器17。可选地，语音命令可被输入到安装在由外科医生佩戴的耳机25上的麦克风24中，并且耦合到语音控制单元23。手持控制设备26，诸如具有触摸屏用户接口的平板电脑或PDA，可以作为另外的控制接口耦合到语音控制单元23。在所示的实施例中，记录器27和打印机28也耦合到摄像机控制器17。附加的设备（诸如图像捕获和存档设备），可被包括在系统10中并耦合到摄像机控制器17。由摄像头13获得并由摄像机控制器17处理的视频图像数据被转换成图像，该图像可以显示在一个或多个显示器29上、由记录器27记录、和/或用于生成静态图像，其硬拷贝可以由打印机28产生。
为了解释的目的，已经参考特定实施例描述了前面的说明。然而，以上说明性讨论不是要穷举或将本发明限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择和描述实施例是为了最好地解释技术的原理及其实际应用。因此，本领域的其他技术人员能够最好地利用具有适于所考虑的特定用途的各种修改的技术和各种实施例。
尽管已经参考附图充分描述了本公开和示例，但是应当注意，各种改变和修改对于本领域技术人员来说应当变得显而易见。这样的改变和修改应被理解为包括在由权利要求限定的本公开和示例的范围内。最后，本申请中所引用的专利和公布的全部公开内容在此通过引入并入本文。

Claims (53)

1.一种医学成像系统，包括：
摄像机组合件，包括：
成像传感器组合件，包括用于对场景成像的至少一个成像传感器；
至少一个聚焦光学元件，用于将光聚焦到所述成像传感器组合件上；
至少一个反射光学元件，用于将由所述摄像机组合件从所述场景接收的光朝向所述至少一个聚焦光学元件反射，其中，反射所述光使所述场景在所述成像传感器组合件处进行倒转和反转中的至少一种；以及
摄像机控制器，被配置成基于从所述成像传感器接收的图像数据来生成所述场景的无倒转和无反转图像。
2.根据权利要求1所述的系统，其中，所述摄像机控制器被配置成控制所述摄像机组合件，使得相对于所述至少一个成像传感器的至少一个维度反转地从所述至少一个成像传感器读取数据。
3.根据权利要求1或权利要求2所述的系统，其中，所述摄像机控制器被配置成对从所述成像传感器接收的图像数据重新排序以生成所述场景的图像。
4.根据权利要求1-3中任一项所述的系统，其中，所述摄像机控制器被配置成基于存储在所述摄像机组合件中的摄像机组合件配置数据来检测所述摄像机组合件的配置，并且基于所述摄像机组合件配置数据来生成所述场景的图像。
5.根据权利要求4所述的系统，其中，所述摄像机控制器经由线缆连接到包括所述成像传感器组合件的摄像头，并且所述摄像机组合件配置数据被存储在所述线缆中或所述摄像头中。
6.根据权利要求1-5中任一项所述的系统，其中，所述一个或多个反射光学元件被配置成倒转所述场景。
7.根据权利要求6所述的系统，其中，所述成像传感器组合件被配置成使得所述至少一个成像传感器接收反转的场景。
8.根据权利要求1-7中任一项所述的系统，其中，所述一个或多个反射光学元件被配置成仅反射所述光一次。
9.根据权利要求1-8中任一项所述的系统，其中，所述一个或多个反射光学元件包括直角棱镜。
10.根据权利要求1-9中任一项所述的系统，其中，所述摄像机组合件被配置用于将瞄准镜安装在相对于所述至少一个聚焦光学元件的光轴的直角取向处。
11.根据权利要求10所述的系统，其中，所述摄像头包括所述成像传感器组合件，并且所述内窥镜可移除地安装到所述摄像头。
12.根据权利要求10或权利要求11所述的系统，其中，当所述瞄准镜被安装到所述摄像机组合件时，所述瞄准镜的光轴垂直于所述至少一个聚焦光学元件的光轴。
13.根据权利要求1-12中任一项所述的系统，其中，所述一个或多个反射光学元件被配置成以直角反射光。
14.根据权利要求1-13中任一项所述的系统，其中，所述一个或多个反射光学元件被配置成以在从80°至100°的范围内的角度反射光。
15.根据权利要求1-14中任一项所述的系统，其中，所述成像传感器组合件包括用于将所述聚焦光反射到所述至少一个成像传感器的至少一个棱镜。
16.一种用于医学成像的方法，所述方法包括：
在摄像机组合件处接收来自场景的光，所述摄像机组合件包括至少一个反射光学元件和成像传感器组合件；
经由所述至少一个反射光学元件将由所述摄像机组合件从所述场景接收的光朝向所述成像传感器组合件反射，其中，反射所述光使所述场景在所述成像传感器组合件处进行倒转和反转中的至少一种；
利用至少一个聚焦光学元件将所述反射光聚焦到所述成像传感器组合件上；
将从来自所述成像传感器组合件的所述聚焦光生成的图像数据发送到摄像机控制器；以及
由所述摄像机控制器从由所述成像传感器组合件生成的数据生成所述场景的无倒转和无反转图像。
17.根据权利要求16所述的方法，还包括在所述摄像机控制器处接收摄像机配置数据，并且基于所述摄像机配置数据指示所述场景在所述成像传感器组合件处的不正确取向来生成所述场景的正确取向的图像。
18.根据权利要求16或权利要求17所述的方法，包括相对于所述成像传感器组合件的至少一个成像传感器的至少一个维度反转地从所述至少一个成像传感器读取数据。
19.根据权利要求16-18中任一项所述的方法，包括对从所述成像传感器接收的图像数据进行重新排序以生成所述场景的图像。
20.根据权利要求16-19中任一项所述的方法，包括基于存储在所述摄像机组合件中的摄像机组合件配置数据来检测所述摄像机组合件的配置，并且基于所述摄像机组合件配置数据来生成所述场景的图像。
21.根据权利要求20所述的方法，其中，所述摄像机控制器经由线缆连接到包括所述成像传感器组合件的摄像头，并且所述摄像机组合件配置数据被存储在所述线缆中或所述摄像头中。
22.根据权利要求16-21中任一项所述的方法，其中，所述一个或多个反射光学元件倒转所述场景。
23.根据权利要求22所述的方法，包括在所述成像传感器组合件处接收反转的场景。
24.根据权利要求16-23中任一项所述的方法，其中，所述一个或多个反射光学元件被配置成仅反射所述光一次。
25.根据权利要求16-24中任一项所述的方法，其中，所述一个或多个反射光学元件包括直角棱镜。
26.根据权利要求16-25中任一项所述的方法，其中，所述摄像机组合件被配置成用于相对于所述至少一个聚焦光学元件的光轴以直角取向安装瞄准镜。
27.根据权利要求26所述的方法，其中，摄像头包括所述成像传感器组合件，并且所述内窥镜可移除地安装到所述摄像头上。
28.根据权利要求26或权利要求27所述的方法，其中，当所述瞄准镜被安装到所述摄像机组合件时，所述瞄准镜的光轴垂直于所述至少一个聚焦光学元件的光轴。
29.根据权利要求16-28中任一项所述的方法，其中，所述一个或多个反射光学元件被配置成以直角反射光。
30.根据权利要求16-29中任一项所述的方法，其中，所述一个或多个反射光学元件被配置成以在从80°至100°的范围内的角度反射光。
31.根据权利要求16-30中任一项所述的方法，其中，所述成像传感器组合件包括至少一个棱镜，所述至少一个棱镜用于将所述聚焦光反射到所述至少一个成像传感器。
32.一种用于医学成像的方法，所述方法包括：
经由摄像机控制器与摄像机之间的连接在摄像机控制器处接收用于摄像机的摄像机配置数据；
基于所述摄像机配置数据来确定所述摄像机是否被配置成将倒转和反转中的至少一个的场景反射到所述摄像机的至少一个成像传感器上；
根据确定所述摄像机被配置成将倒转和反转中的至少一个的所述场景反射到所述摄像机的至少一个成像传感器上，根据第一成像过程控制所述摄像机并处理从所述摄像机接收的图像数据以生成场景的无倒转和无反转图像；以及
根据确定所述摄像机被配置成以正确的取向将所述场景反射到所述摄像机的所述至少一个成像传感器上，根据与所述第一成像过程不同的第二成像过程来控制所述摄像机并处理从所述摄像机接收的图像数据，以生成在正确的取向上的所述场景的图像。
33.根据权利要求32所述的方法，其中，所述第一成像过程包括：
控制所述摄像机以根据相对于至少一个像素维度的反转像素读取将与所述场景相关联的图像数据发送到所述摄像机控制器；以及
从所述图像数据生成所述场景的无倒转和无反转图像。
34.根据权利要求32或权利要求33所述的方法，其中，所述第一成像过程包括：
在所述摄像机控制器处从所述摄像机接收与倒转和反转场景中的至少一个相关联的图像数据；以及
数字地处理所述图像数据，使得所述场景的图像是无倒转和无反转的。
35.根据权利要求32-34中任一项所述的方法，其中，所述第二成像过程包括：
在所述摄像机控制器处从所述摄像机接收与正确取向的场景相关联的图像数据；以及
从所述图像数据生成在正确取向上的所述场景的图像。
36.一种用于医学成像的摄像机控制器，所述摄像机控制器包括：
一个或多个处理器；
存储器；以及
一个或多个程序，存储在所述存储器中并且可由所述一个或多个处理器执行以用于：
经由摄像机控制器和摄像机之间的连接在摄像机控制器处接收用于摄像机的摄像机配置数据；
基于所述摄像机配置数据来确定所述摄像机是否被配置成将倒转和反转中的至少一个的场景反射到所述摄像机的至少一个成像传感器上；
根据确定所述摄像机被配置成将倒转和反转中的至少一个的所述场景反射到所述摄像机的至少一个成像传感器上，根据第一成像过程控制所述摄像机并处理从所述摄像机接收的图像数据以生成场景的无倒转和无反转图像；以及
根据确定所述摄像机被配置成以正确的取向将所述场景反射到所述摄像机的所述至少一个成像传感器上，根据与所述第一成像过程不同的第二成像过程来控制所述摄像机并处理从所述摄像机接收的图像数据，以生成在正确的取向上的所述场景的图像。
37.根据权利要求36所述的摄像机控制器，其中，所述第一成像过程包括：
控制所述摄像机以根据相对于至少一个像素维度的反转像素读取将与所述场景相关联的图像数据发送到所述摄像机控制器；以及
从所述图像数据生成所述场景的无倒转和无反转图像。
38.根据权利要求36或权利要求37所述的摄像机控制器，其中，所述第一成像过程包括：
在所述摄像机控制器处从所述摄像机接收与倒转和反转场景中的至少一个相关联的图像数据；以及
数字地处理所述图像数据，使得所述场景的图像是无倒转和无反转的。
39.根据权利要求36-38中任一项所述的摄像机控制器，其中，所述第二成像过程包括：
在所述摄像机控制器处从所述摄像机接收与正确取向的场景相关联的图像数据；以及
从所述图像数据生成在正确取向上的所述场景的图像。
40.一种医学成像系统，包括：
摄像机组合件，包括：
包括用于对场景成像的至少一个成像传感器的成像传感器组合件，以及
角度取向传感器，用于感测所述摄像机组合件相对于所述成像传感器组合件的光轴的角度取向；以及
摄像机控制器，所述摄像机控制器被配置成接收由所述取向传感器生成的摄像机组合件取向信息，并且响应于从所述摄像机组合件接收到指示所述摄像机组合件相对于所述成像传感器组合件的所述光轴处于预定角度取向范围内的取向信息，生成具有重新取向的场景的图像。
41.根据权利要求40所述的医学成像系统，其中，所述角度取向传感器包括陀螺仪和加速度计中的至少一个。
42.根据权利要求40或权利要求41所述的医学成像系统，其中，所述摄像机控制器被配置成将所述场景重新取向180°。
43.根据权利要求40-42中任一项所述的医学成像系统，其中，所述摄像机控制器被配置成对所述场景进行重新取向，使得当所述摄像机组合件倒置时，所述图像中的所述场景正面朝上。
44.根据权利要求40-43中任一项所述的医学成像系统，其中，所述摄像机控制器被配置成通过指示所述摄像机组合件改变像素读取顺序来生成具有重新取向的场景的图像。
45.根据权利要求40-43中的任一项所述的医学成像系统，其中，所述摄像机控制器被配置成通过对从所述成像传感器组合件接收的图像数据进行重新排序来生成具有重新取向的场景的图像。
46.根据权利要求40-45中的任一项所述的医学成像系统，其中，所述预定角度取向范围是从倒置起+/-90°。
47.一种用于医学成像的方法，所述方法包括：
在摄像机组合件的成像传感器组合件处对场景进行成像，以及
感测所述摄像机组合件相对于所述成像传感器组合件的光轴的角度取向；
在摄像机控制器处从所述成像传感器组合件接收成像数据；
在所述摄像机控制器处接收摄像机组合件取向数据；以及
响应于接收指示所述摄像机组合件相对于所述成像传感器组合件的光轴处于预定角度取向范围内的摄像机组合件取向，生成具有重新取向的场景的图像。
48.根据权利要求47所述的方法，其中，感测所述角度取向包括经由陀螺仪和加速度计中的至少一个感测所述角度取向。
49.根据权利要求47或48所述的方法，包括将所述场景重新取向180°。
50.根据权利要求47-49中任一项所述的方法，重新取向所述场景，使得当所述摄像机组合件倒置时，所述图像中的所述场景正面朝上。
51.根据权利要求47-50中任一项所述的方法，包括指示所述摄像机组合件改变像素读取顺序。
52.根据权利要求47-50中任一项所述的方法，包括对从所述成像传感器组合件接收的图像数据进行重新排序。
53.根据权利要求47-52中任一项所述的方法，其中，所述预定角度取向范围为从倒置起+/-90°。
CN202080091298.5A 2019-11-01 2020-10-30 用于内窥镜成像的图像重新取向的系统和方法 Pending CN114845621A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962929349P 2019-11-01 2019-11-01
US62/929349 2019-11-01
PCT/US2020/058278 WO2021087304A1 (en) 2019-11-01 2020-10-30 Systems and methods for image reorientation for endoscopic imaging

Publications (1)

Publication Number Publication Date
CN114845621A true CN114845621A (zh) 2022-08-02

Family

ID=73543338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091298.5A Pending CN114845621A (zh) 2019-11-01 2020-10-30 用于内窥镜成像的图像重新取向的系统和方法

Country Status (4)

Country Link
US (1) US20210127948A1 (zh)
EP (1) EP4051079A1 (zh)
CN (1) CN114845621A (zh)
WO (1) WO2021087304A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11497382B1 (en) * 2020-04-27 2022-11-15 Canon U.S.A., Inc. Apparatus and method for endoscopic image orientation control

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3636366A (en) * 1964-05-08 1972-01-18 Sheldon Edward E Opto-electric screens provided with light-conducting members
US4199232A (en) * 1976-06-25 1980-04-22 Olodort Robert A Optical rectification apparatus
US4187422A (en) * 1977-12-05 1980-02-05 The Singer Company Internal reference for stellar tracker
US4615590A (en) * 1984-07-17 1986-10-07 Schwem Instruments Optically stabilized camera lens system
JPH0673517B2 (ja) * 1988-02-04 1994-09-21 オリンパス光学工業株式会社 電子内視鏡システム
US4993819A (en) * 1989-12-06 1991-02-19 Dba Systems, Inc. External gunsight eyepiece attachment
US5298939A (en) * 1991-11-04 1994-03-29 Swanson Paul A Method and apparatus for transfer of a reticle pattern onto a substrate by scanning
US5762605A (en) * 1991-11-25 1998-06-09 Cane; Richard M. Ergonomic hand-held optical diagnostic instrument
US5747813A (en) * 1992-06-16 1998-05-05 Kla-Tencop. Corporation Broadband microspectro-reflectometer
ATE196809T1 (de) * 1993-11-29 2000-10-15 Olympus Optical Co Anordnung zur bildrotation und überlagerung
US5727236A (en) * 1994-06-30 1998-03-10 Frazier; James A. Wide angle, deep field, close focusing optical system
JP2001238098A (ja) * 2000-02-25 2001-08-31 Asahi Optical Co Ltd デジタルカメラ
JP2002095634A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd 内視鏡装置
US20060241496A1 (en) * 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
US6917460B2 (en) * 2002-11-12 2005-07-12 Olympus Corporation Imaging apparatus and controlling method thereof
WO2004080064A1 (ja) * 2003-03-06 2004-09-16 Fujitsu Limited 情報処理装置、情報処理方法及び情報処理プログラム
US8498054B2 (en) * 2009-04-17 2013-07-30 Ioculi, Inc. Image diversion systems and methods for image capture devices
US20120193423A1 (en) * 2011-01-31 2012-08-02 Metrologic Instruments Inc Code symbol reading system supporting operator-dependent system configuration parameters
US9408527B2 (en) * 2012-11-01 2016-08-09 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope with rotatable wide-angle field for maximal image performance
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
US20150341536A1 (en) * 2014-05-23 2015-11-26 Mophie, Inc. Systems and methods for orienting an image
JP5861017B1 (ja) * 2014-08-11 2016-02-16 オリンパス株式会社 内視鏡システム
DE102015009507B4 (de) * 2015-07-23 2017-07-27 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung, Verfahren zur Konfiguration eines Kamerakopfes einer Bildaufnahmevorrichtung und Bildaufnahmevorrichtung-Set
US11215426B1 (en) * 2018-05-11 2022-01-04 Robert Marshall Campbell Sight adjustable display mount for firearms
US20180007322A1 (en) * 2016-07-01 2018-01-04 Olympus Corporation Endoscope system
US10105042B2 (en) * 2016-08-17 2018-10-23 Rebound Therapeutics Corporation Cannula with proximally mounted camera
EP3829413A4 (en) * 2018-08-27 2022-05-18 Meditrina, Inc. ENDOSCOPE AND METHOD OF USE

Also Published As

Publication number Publication date
WO2021087304A1 (en) 2021-05-06
US20210127948A1 (en) 2021-05-06
EP4051079A1 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
EP2759248B1 (en) Stereoscopic endoscope device
US7783133B2 (en) Rotation compensation and image stabilization system
JP2004535867A (ja) 小さな横断面面積を有するインビボ・イメージング・デバイスおよびその構成方法
US20230277042A1 (en) Device for coupling coherent light into an endoscopic system
US20030030899A1 (en) Microscope apparatus
TW201919537A (zh) 內視鏡系統
JP7012549B2 (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
CN114845621A (zh) 用于内窥镜成像的图像重新取向的系统和方法
JP3070022B2 (ja) 超広角内視鏡
JPH0820603B2 (ja) ビデオスコ−プ装置
WO2004081633A1 (ja) 視野枠位置可変式光学装置
JPS63274911A (ja) 電子内視鏡装置
JPH07327921A (ja) 医療用撮像装置
JP6489671B1 (ja) 撮像装置
JP2011206334A (ja) 内視鏡システムにおける内視鏡装置及びプロセッサ装置
JPH1156757A (ja) 立体内視鏡
WO2023021630A1 (ja) 内視鏡及び内視鏡システム
JP2933161B2 (ja) 内視鏡装置
JPH01306810A (ja) 内視鏡装置
US11808935B2 (en) Endoscope and endoscope apparatus
JP2009028462A (ja) 電子内視鏡装置
JPS63189090A (ja) 映像信号処理装置
JPS63315028A (ja) 電子式内視鏡装置
JPH0277227A (ja) 電子内視鏡装置
JP2661182B2 (ja) 電子内視鏡の像位置調整方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination