CN112334056B - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN112334056B
CN112334056B CN201980043389.9A CN201980043389A CN112334056B CN 112334056 B CN112334056 B CN 112334056B CN 201980043389 A CN201980043389 A CN 201980043389A CN 112334056 B CN112334056 B CN 112334056B
Authority
CN
China
Prior art keywords
imaging region
image
imaging
region
outer edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980043389.9A
Other languages
English (en)
Other versions
CN112334056A (zh
Inventor
本间博之
谷内章一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112334056A publication Critical patent/CN112334056A/zh
Application granted granted Critical
Publication of CN112334056B publication Critical patent/CN112334056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

提供一种能够容易地获取自然的合成图像的图像显示装置和图像显示方法。图像显示装置(1)具备物镜光学系统(5)、光路分割元件(6)、摄像元件(7)、图像处理装置(3)以及显示装置(4)，第一成像区域(11)和第二成像区域(12)均为物镜光学系统(5)的视场的像，第一成像区域的外缘(13)和第二成像区域的外缘(14)位于规定的摄像区域(15)的内侧，通过摄像元件(7)对位于规定的摄像区域(15)的外缘进行拍摄，图像处理装置(3)具有参照数据，在图像处理装置(3)中，基于第一成像区域的外缘(13)计算第一成像区域的特征点，基于第二成像区域的外缘(14)计算第二成像区域的特征点，根据第一成像区域的特征点、第二成像区域的特征点以及参照数据，计算规定的成像区域(15)与摄像元件(7)的偏移量，根据偏移量来决定第一图像的显示位置和第二图像的显示位置。

Description

图像显示装置和图像显示方法
技术领域
本发明涉及一种图像显示装置和图像显示方法。
背景技术
近年来，在具备光学系统和摄像元件的装置中，摄像元件的多像素化不断发展。当摄像元件的像素数变多时，一个像素的面积变小。因此，在光学系统中，需要提高分辨率。
为了提高光学系统的分辨率，使物体侧数值孔径增大即可。但是，如果使物体侧数值孔径增大，则景深变窄。如果景深窄，则能够观察的范围被限制。如果观察范围窄，则难以高效地进行观察。
作为扩展景深的装置，有专利文献1所公开的内窥镜装置。在该内窥镜装置中，在物镜光学系统与摄像元件之间配置有光路分割元件。通过光路分割元件形成两个光路。两个光路产生了光路差。因此，在摄像元件上形成焦点不同的两个光学像。
由摄像元件对焦点不同的两个光学像进行拍摄。其结果是，获取到焦点不同的两个图像。通过将获取到的两个图像进行合成，由此生成扩展了景深的图像。
另外，在该内窥镜装置中，能够通过图像校正处理部进行图像校正。在图像校正中，将两个图像中的相对的位置、角度以及倍率设为大致相同。
在图像校正中，使用预先设定的校正参数。校正参数的校正量是在出厂时预先在校正参数部中设定的。而且，在将内窥镜与图像处理器进行了连接时，从校正参数部调用对应的参数来进行校正。
现有技术文献
专利文献
专利文献1：日本专利第5593004号公报
发明内容
发明要解决的问题
在内窥镜装置中，在进行内窥镜操作时，有时内窥镜的顶端部受到冲击。在专利文献1的内窥镜装置中，在顶端部配置有物镜光学系统、光路分割元件以及摄像元件。因此，当顶端部受到冲击时，物镜光学系统、光路分割元件以及摄像元件中的至少一个受到较强的力。
另外，有时在高温度、高湿度的环境下对内窥镜进行清洗、消毒。在这样的环境下，有时顶端部会遭受热变化等的影响。因此，当进行清洗、消毒时，物镜光学系统、光路分割元件以及摄像元件受到热力的作用。并且，即使是冲击、清洗以及消毒以外的情况，有时顶端部也会受到力的作用。
当强烈地受到这种力的作用、或者反复受到这种力的作用时，有时在物镜光学系统与摄像元件之间、光路分割元件与摄像元件之间、或者光学单元与摄像元件之间产生微米级的相对的偏移。此外，光学单元由物镜光学系统和光路分割元件构成。
在摄像元件上形成有焦点不同的两个光学像。因此，当产生上述偏移时，在摄像元件与光学像之间产生相对的位置的偏移。该相对的位置的偏移(下面称为“位置偏移”)在根据两个图像生成合成图像时带来不良影响。
位置偏移的量(下面称为“偏移量”)能够通过在摄像元件设置基准点、或者在光学像设置基准点来求出。例如，当在摄像元件设置基准点时，能够通过从基准点到光学像的位置的距离来计算偏移量。
当将参照量设为出厂时的偏移量时，在出厂时，偏移量与参照量一致。另外，在出厂时，根据两个图像合成得到的图像为自然的合成图像。因此，在偏移量与参照量一致的状态下，生成自然的合成图像。反过来说，在偏移量与参照量不一致的状态下，不能生成自然的合成图像。
如上所述，在专利文献1的内窥镜装置中，存在因机械冲击、热冲击等而产生位置偏移的情况。如果位置偏移大，则偏移量不再与参照量一致。因此，在专利文献1的内窥镜装置中，在产生了位置偏移的情况下，难以生成自然的合成图像。
本发明是鉴于这样的问题而完成的，其目的在于提供一种即使在摄像元件与光学像之间产生位置偏移也能够容易地获取自然的合成图像的图像显示装置和图像显示方法。
为了解决上述的问题并达到目的，本发明的至少几个实施方式所涉及的图像显示装置的特征在于，
具备摄像单元、图像处理装置以及显示装置，
摄像单元具有物镜光学系统、光路分割元件以及摄像元件，
通过光路分割元件来在摄像元件上形成规定的成像区域，
规定的成像区域由第一成像区域和第二成像区域构成，
第一成像区域和第二成像区域均为物镜光学系统的视场的像，
第一成像区域的外缘和第二成像区域的外缘均位于摄像元件的规定的摄像区域的内侧，
通过摄像元件对位于规定的摄像区域的外缘进行拍摄，
图像处理装置具有参照数据，
参照数据具有表示规定的成像区域内的基准点的数据、或者表示规定的摄像区域内的基准点的数据，
在图像处理装置中，基于第一成像区域的外缘计算第一成像区域的特征点，基于第二成像区域的外缘计算第二成像区域的特征点，
根据第一成像区域的特征点、第二成像区域的特征点以及参照数据，计算规定的成像区域与摄像元件的偏移量，
根据偏移量，来决定从第一成像区域获取到的第一图像的显示位置和从第二成像区域获取到的第二图像的显示位置。
另外，本发明的至少几个实施方式所涉及的图像显示方法的特征在于，包括以下步骤：
生成第一成像区域的外缘的图像；
生成第二成像区域的外缘的图像；
基于第一成像区域的外缘的图像计算第一成像区域的特征点，并且基于第二成像区域的外缘的图像计算第二成像区域的特征点；
根据第一成像区域的特征点、第二成像区域的特征点以及参照数据，计算规定的成像区域与摄像元件的偏移量；以及
根据偏移量，来决定从第一成像区域获取到的第一图像的显示位置和从第二成像区域获取到的第二图像的显示位置，
其中，在摄像元件上形成规定的成像区域，
规定的成像区域由第一成像区域和第二成像区域构成，
参照数据具有表示规定的成像区域内的基准点的数据、或者表示规定的摄像区域内的基准点的数据，
第一成像区域和第二成像区域均为物镜光学系统的视场的像。
发明的效果
根据本发明，能够提供一种即使在摄像元件与光学像之间产生位置偏移也能够容易地获取自然的合成图像的图像显示装置和图像显示方法。
附图说明
图1是示出本实施方式的图像显示装置的图。
图2是示出成像区域和摄像区域的情形的图。
图3是示出成像区域和摄像区域的情形的图。
图4是示出外缘的形状的图。
图5是示出光学像和摄像区域的情形的图。
图6是示出光学像的图像的情形的图。
图7是示出成像区域和摄像区域的情形的图。
图8是示出摄像区域和显示用区域的情形的图。
图9是示出包含外缘的图像的图。
图10是示出图像显示装置的具体例的图。
图11是示出结构体的图。
图12是示出亮度均匀的区域的例子的图。
图13是示出使用了两个摄像元件的例子的图。
图14是示出物镜光学系统的例子的图。
具体实施方式
下面，关于本实施方式所涉及的图像显示装置，使用附图来说明采用这种结构的理由和作用。此外，本发明并不限定于下面的实施方式。
本实施方式的图像显示装置具备摄像单元、图像处理装置以及显示装置，摄像单元具有物镜光学系统、光路分割元件以及摄像元件，通过光路分割元件来在摄像元件上形成规定的成像区域，规定的成像区域由第一成像区域和第二成像区域构成，第一成像区域和第二成像区域均为物镜光学系统的视场的像，第一成像区域的外缘和第二成像区域的外缘均位于摄像元件的规定的摄像区域的内侧，通过摄像元件对位于规定的摄像区域的外缘进行拍摄，图像处理装置具有参照数据，参照数据具有表示规定的成像区域内的基准点的数据、或者表示规定的摄像区域内的基准点的数据，在图像处理装置中，基于第一成像区域的外缘计算第一成像区域的特征点，基于第二成像区域的外缘计算第二成像区域的特征点，根据第一成像区域的特征点、第二成像区域的特征点以及参照数据，计算规定的成像区域与摄像元件的偏移量，根据偏移量，来决定从第一成像区域获取到的第一图像的显示位置和从第二成像区域获取到的第二图像的显示位置。
在图1中示出本实施方式的图像显示装置。图像显示装置1具备摄像单元2、图像处理装置3以及显示装置4。摄像单元2具有物镜光学系统5、光路分割元件6以及摄像元件7。
通过光路分割元件6将物镜光学系统5的光路分为第一光路8和第二光路9。另外，通过光路分割元件6来在摄像元件7上形成规定的成像区域10。
在图2中示出成像区域和摄像区域的情形。规定的成像区域10由第一成像区域11和第二成像区域12构成。第一成像区域11和第二成像区域12均为物镜光学系统5的视场的像。
第一成像区域11的外缘13和第二成像区域12的外缘14均位于摄像元件7的规定的摄像区域15的内侧。通过摄像元件7对位于规定的摄像区域15的外缘进行拍摄。
第一成像区域11和第二成像区域12并排形成在摄像元件7上。规定的摄像区域15由第一摄像区域16和第二摄像区域17构成。第一摄像区域16和第二摄像区域17并排地位于摄像元件7上。
第一成像区域11和第一摄像区域16位于第一光路8。第二成像区域12和第二摄像区域17位于第二光路9。外缘13在第一摄像区域16被拍摄。外缘14在第二摄像区域17被拍摄。
在第一成像区域11形成第一光学像18。在第二成像区域12形成第二光学像19。对于第一光学像18和第二光学像19，一个光学像为另一个光学像的镜像。
在图3中示出成像区域和摄像区域的情形。图3的(a)是示出基准状态的情形的图。图3的(b)是示出产生了变位的情形的图。
对基准状态进行说明。作为基准状态，有摄像单元2制造时的状态、图像显示装置1出厂时的状态。另外，在出厂后发生了位置偏移的情况下，能够将最后发生了位置偏移的状态之前的状态设为基准状态。
例如，假设在出厂后产生了三次位置偏移。在该情况下，第三次的状态为最后发生了位置偏移的状态。因此，能够将最初产生了位置偏移的状态、或第二次产生了位置偏移的状态设为基准状态。
如上所述，位置偏移为摄像元件与光学像之间所产生的位置的偏移。另外，偏移量为摄像元件与光学像之间所产生的位置的偏移的量。在图像显示装置1中，在规定的成像区域10形成了第一光学像18和第二光学像19。
例如，假设在物镜光学系统5和光路分割元件6静止的状态下摄像元件7进行了移动。在该情况下，第一摄像区域16和第二摄像区域17移动。第一光学像18位于第一摄像区域16。第二光学像19位于第二摄像区域17。虽然第一摄像区域16和第二摄像区域17移动，但第一光学像18和第二光学像19不移动。即，虽然摄像元件7移动，但规定的成像区域10不移动。
反过来，假设在摄像元件7静止的状态下物镜光学系统5和光路分割元件6中的至少一方进行了移动。在该情况下，第一光学像18和第二光学像19移动。第一光学像18位于第一摄像区域16。第二光学像19位于第二摄像区域17。虽然第一光学像18和第二光学像19移动，但第一摄像区域16和第二摄像区域17不移动。即，虽然规定的成像区域10移动，但摄像元件7不移动。
像这样，在摄像元件与光学像之间产生的位置偏移能够替换为在摄像元件与规定的成像区域之间产生的位置偏移。
在下面的说明中，在摄像元件与规定的成像区域之间所产生的位置的偏移也称为位置偏移。同样地，在摄像元件与规定的成像区域之间所产生的位置的偏移的量也称为偏移量。
在图像显示装置1中，使用图像处理装置3来计算偏移量。偏移量是基于摄像元件7与规定的成像区域10之间所产生的位置的偏移来计算的。因此，需要与规定的成像区域10有关的位置的信息和与摄像元件7有关的位置的信息。
在图像处理装置3中，作为与规定的成像区域10有关的位置的信息，使用第一成像区域11的特征点P1和第二成像区域12的特征点P2。另外，作为与摄像元件7有关的位置的信息，使用第一摄像区域16中的基准点Q1和第二摄像区域17中的基准点Q2。
特征点P1能够根据外缘13来计算。其中，在第一成像区域11中，外缘13a、外缘13b、外缘13c以及外缘13d仅位于第一成像区域11的四角。
外缘13a、外缘13b、外缘13c以及外缘13d均为外缘13的一部分。因此，使用外缘13a、外缘13b、外缘13c以及外缘13d来求出外缘13整体的形状。当求出外缘13整体的形状时，能够决定特征点P1。
第一成像区域11和第二成像区域12均为物镜光学系统5的视场的像。关于物镜光学系统5的形状，理想的形状为圆。在该情况下，物镜光学系统5的视场的形状为圆。
在理想地配置了摄像元件7的状态下，摄像面垂直于物镜光学系统5的光轴。但是，实际上，很难以理想状态配置摄像元件7。例如，大多是摄像元件7的配置因装配误差而变为偏离了理想状态的状态。在该情况下，在拍摄得到的图像中，视场的图像的形状变为椭圆。
另外，在物镜光学系统5的内部配置有用于保持透镜的框或光圈。在框或光圈设置有开口部。在多数情况下，开口部的形状为圆形。然而，存在使用具有非圆形的开口部的框或光圈的情况。在该情况下，在拍摄得到的图像中，视场的图像的形状并不一定为圆。
在装配误差非常小的物镜光学系统中，视场的像的形状为圆。另外，在具有圆形的开口部的框或光圈被使用于物镜光学系统的情况下，视场的像的形状为圆。在视场的像的形状为圆的情况下，如图2所示，第一成像区域11的形状为圆。在该情况下，外缘13为圆周。因此，外缘13a、外缘13b、外缘13c以及外缘13d均为圆周的一部分。外缘14也是同样的。
对视场的像的形状不为圆的情况进行说明。在图4中示出外缘的形状。图4的(a)是示出外缘为曲线的情况的图。图4的(b)是示出外缘为椭圆周的情况的图。
在视场的像的形状不为圆的情况下，如图4的(a)所示，第一成像区域11’的形状为由曲线构成的形状。在该情况下，外缘13’为曲线。因此，外缘13’a、外缘13’b、外缘13’c以及外缘13’d均为曲线的一部分。外缘14’也是同样的。
另外，在视场的像的形状不为圆的情况下，如图4的(b)所示，第一成像区域11”的形状为椭圆。在该情况下，外缘13”为椭圆周。因此，外缘13”a、外缘13”b、外缘13”c以及外缘13”d均为椭圆周的一部分。外缘14”也是同样的。
在外缘13的一部分位于第一摄像区域16的内侧的情况下，在第一成像区域11的整体的形状的确定中，使用外缘13a、外缘13b、外缘13c以及外缘13d来进行估计。第一成像区域11’的整体的形状的确定、第一成像区域11”的整体的形状的确定也是同样的。在估计中，能够使用圆近似、椭圆近似及其它各种近似。
在外缘13为曲线的情况下，特征点P1设为第一成像区域11的重心即可。另外，在外缘13为椭圆周或圆周的情况下，特征点P1设为第一成像区域11的重心、或第一成像区域11的中心即可。第二成像区域12也是同样的。
在图像处理装置3中，根据第一成像区域11的特征点P1、第二成像区域12的特征点P2以及参照数据计算偏移量。
参照数据为表示规定的摄像区域15中的基准点的数据。规定的摄像区域15具有第一摄像区域16和第二摄像区域17。因此，能够使用基准点Q1和基准点Q2来作为参照数据。
基准点Q1例如设为第一摄像区域16的中心即可。基准点Q2例如设为第二摄像区域17的中心即可。
在基准状态中，特征点P1的位置与基准点Q1的位置一致。另外，特征点P2的位置与基准点Q2的位置也一致。偏移量ΔPQ为特征点P1的位置与基准点Q1的位置之差、或者特征点P2的位置与基准点Q2的位置之差。
在基准状态中，特征点P1的位置与基准点Q1的位置之差以及特征点P2的位置与基准点Q2的位置之差均为零。因此，在基准状态中，偏移量ΔPQ为零。
如上所述，对于参照数据，能够设定出厂时的偏移量。但是，能够设定为参照数据的量不限于出厂时的偏移量。只要是基准状态中的偏移量，则任何的偏移量都能够设定为参照数据。如上所述，在基准状态中，偏移量ΔPQ为零。因此，参照数据Δref也为零。
但是，在摄像单元2的制造中，难以使制造误差为零。因此，实际上难以使偏移量为零。像这样，参照数据的值无需为零。
对产生了变位的情况进行说明。假设由于对基准状态的图像显示装置1施加了冲击从而在图像显示装置1中产生了位置偏移。在图3的(b)中，规定的成像区域10相对于摄像元件7向箭头的方向进行了变位。
在该情况下，第一成像区域11和第二成像区域12也向箭头的方向进行变位。因此，需要确定变位后的特征点的位置。
如图3的(b)所示，在产生了变位之后，在第一成像区域11中，外缘13b和外缘13c也位于第一成像区域11的内侧。因此，在变位后的第一成像区域11的整体的形状的确定中，使用外缘13b和外缘13c进行估计。如果能够确定出变位后的第一成像区域11的整体的形状，就能够确定变位后的特征点P1。特征点P2也是同样的。
如上所述，在基准状态中，第一成像区域11的形状是已知的。因此，也可以在变位后的第一成像区域11的整体的形状的确定中利用在基准状态中所获得的第一成像区域11的形状。另外，也可以在变位后的特征点P1的确定中利用在基准状态中所获得的第一成像区域11的形状。特征点P2也是同样的。
在产生了变位之后，特征点P1的位置与基准点Q1的位置不一致。另外，特征点P2的位置与基准点Q2的位置也不一致。偏移量ΔPQ为特征点P1的位置与基准点Q1的位置之差、或者特征点P2的位置与基准点Q2的位置之差。
特征点P1的位置与基准点Q1的位置之差以及特征点P2的位置与基准点Q2的位置之差均不为零。因此，在产生了变位之后，偏移量ΔPQ不为零。通过从偏移量ΔPQ减去参照量Δref，能够计算产生了变位之后的偏移量ΔPQ。
在变位的情况下，特征点P1相对于基准点Q1的移动方向与特征点P2相对于基准点Q2的移动方向为相同的方向。另外，特征点P1的移动量与特征点P2的移动量相同。因此，偏移量ΔPQ能够仅使用特征点P1和特征点P2中的任一方来计算。
在图5中示出光学像和摄像区域的情形。图5的(a)是示出基准状态的情形的图。图5的(b)是示出产生了变位的情形的图。
当以基准状态产生变位时，第一光学像18和第二光学像19从基准状态的位置移动。此时，第一光学像18和第二光学像19向相同的方向变位。
在图6中示出光学像的图像的情形。图6的(a)是示出进行图像翻转之前的情形的图。图6的(b)是示出进行图像翻转之后的情形的图。图6的(c)是将两个图像进行了合成的情形的图。
在产生了变位的状态中，对第一光学像18和第二光学像19进行拍摄。通过该拍摄，如图6的(a)所示那样获取到第一图像20和第二图像21。在第一图像20和第二图像21中，一方的图像为另一方的图像的镜像。因此，无法将第一图像20与第二图像21进行合成。
因此，如图6的(b)所示那样生成翻转图像22。翻转图像22是使第一图像20在左右方向上翻转后的图像。由此，能够将翻转图像22与第二图像21进行合成。
其中，在翻转图像22中，变位方向为与第一图像20的变位方向相反的方向。在该情况下，如图6的(c)所示，在合成得到的图像中，翻转图像22与第二图像21不重叠。因此，生成了不自然的合成图像。
在图像显示装置1中，通过图像处理装置3来计算偏移量ΔPQ。因此，能够根据偏移量ΔPQ来决定翻转图像22的显示位置和第二图像21的显示位置。即，能够将翻转图像22与第二图像21进行重叠。其结果是，能够生成自然的合成图像。
在图7中示出成像区域和摄像区域的情形。图7的(a)是示出基准状态的情形的图。图7的(b)是示出产生了旋转的情形的图。关于基准状态，省略说明。
对产生了旋转的情况进行说明。假设由于对基准状态的图像显示装置1施加了冲击从而在图像显示装置1中产生了位置偏移。在图7的(b)中，摄像元件7相对于规定的成像区域10向箭头的方向进行了旋转。
在该情况下，随着摄像元件7的旋转，基准点Q1和基准点Q2向箭头的方向旋转。另一方面，第一成像区域11和第二成像区域12没有旋转。因此，能够将特征点P1和特征点P2设为基准。
然而，当将摄像元件7设为基准时，结果为第一成像区域11和第二成像区域12进行了旋转。在该情况下，对旋转后的特征点P1的位置和特征点P2的位置进行确定。
如上所述，第一成像区域11的形状在基准状态中是已知的。如图7的(b)所示，即使在产生了旋转之后，在第一成像区域11中，外缘13a和外缘13b也位于第一成像区域11的内侧。因此，在旋转后的第一成像区域11的整体的形状的确定中，使用外缘13a和外缘13b进行估计。当能够确定出旋转后的第一成像区域11的整体的形状时，能够确定旋转后的特征点P1。特征点P2也是同样的。
如上所述，在基准状态中，第一成像区域11的形状是已知的。因此，也可以在旋转后的第一成像区域11的整体的形状的确定中利用在基准状态中所获得的第一成像区域11的形状。另外，也可以在旋转后的特征点P1的确定中利用在基准状态中所获得的第一成像区域11的形状。特征点P2也是同样的。
在产生了旋转之后，特征点P1的位置与基准点Q1的位置不一致。另外，特征点P2的位置与基准点Q2的位置也不一致。偏移量ΔPQ为特征点P1的位置与基准点Q1的位置之差、或者特征点P2的位置与基准点Q2的位置之差。
特征点P1的位置与基准点Q1的位置之差以及特征点P2的位置与基准点Q2的位置之差均不为零。因此，在产生了旋转之后，偏移量ΔPQ不为零。通过从偏移量ΔPQ减去参照量Δref，能够计算产生了变位之后的偏移量ΔPQ。
特征点P1的位置与基准点Q1的位置的偏移也可能因变位而产生。因此，当仅着眼于特征点P1时，无法区分该偏移是因旋转而产生、还是因变位而产生。
在图像处理装置3中，也计算特征点P2的位置与基准点Q2的位置之差。因此，当着眼于基准点Q2时，特征点P2相对于基准点Q2的移动方向与特征点P1相对于基准点Q1的移动方向相反。另一方面，在变位的情况下，如上所述，特征点P2相对于基准点Q2的移动方向与特征点P1相对于基准点Q1的移动方向相同。
因此，通过计算特征点P2的位置与基准点Q2的位置之差，能够区分特征点P1的位置与基准点Q1的位置的偏移是因旋转而产生、或者因变位而产生。
当以基准状态产生变位时，如图5的(b)所示，第一光学像18和第二光学像19从基准状态的位置移动。因此，能够使用光学像计算偏移量。在该情况下，在光学像中设定特征点。因此，在偏移量的计算中，需要每次使用同一光学像。
例如，假设在参照数据的设定中使用出厂时的偏移量。将在该偏移量的计算中使用的物体作为参照物体。在出厂后计算偏移量的情况下，对于物体，需要使用参照物体、或参照物体的精确的复制品。
另外，物体与物镜光学系统的相对关系也需要忠实地再现出厂时的相对关系。相对关系是指例如物体与物镜光学系统的距离、物体与物镜光学系统在与光轴正交的面内的相对位置、相对于物体而言的物镜光学系统的朝向。
光学像中的特征点不直接表示物镜光学系统的位置。因此，在使用光学像计算偏移量的情况下，会受到各种限制。
与此相对，在图像显示装置1中，使用规定的成像区域10来计算偏移量。规定的成像区域10为物镜光学系统5的视场的像。视场由物镜光学系统5的位置决定。因此，视场的像、即规定的成像区域10也由物镜光学系统5的位置决定。
像这样，规定的成像区域10直接表示物镜光学系统的位置。于是，在规定的成像区域10中设定了特征点。因此，在图像显示装置1中，能够容易地计算偏移量。
在图像显示装置1中，能够使第一成像区域11的外缘13的全部位于规定的摄像区域15内。另外，能够使第二成像区域12的外缘14的全部位于规定的摄像区域15内。
另外，在图像显示装置1中，能够使第一成像区域11的外缘13的一部分位于规定的摄像区域15内。另外，能够使第二成像区域12的外缘14的一部分位于规定的摄像区域15内。
在图8中示出摄像区域和显示用区域的情形。图8的(a)是示出外缘整体位于摄像区域内的情形的图。图8的(b)是示出外缘的一部分位于摄像区域内的情形的图。
如上所述，第一成像区域11的外缘13和第二成像区域12的外缘14均位于规定的摄像区域15的内侧。在第一成像区域11中，外缘13位于第一摄像区域16的内侧。在第二成像区域12中，外缘14位于第二摄像区域17的内侧。
规定的摄像区域15具有第一摄像区域16和第二摄像区域17。在此，使用第一摄像区域16进行说明。
第一摄像区域16具有显示用区域23和区域24。显示用区域23为位于第一摄像区域11的内侧且用于显示第一图像的摄像区域。显示用区域23的形状为八角形。区域24的形状为三角形。区域24位于第一摄像区域16的四角。
在图8的(a)中，外缘13的全部位于第一摄像区域16的内侧。如上所述，特征点是使用外缘13整体的形状来决定的。在图8的(a)中，由于明确地获知外缘13整体的形状，因此不需要对外缘13整体的形状进行估计。其结果是，能够精确地决定特征点。
但是，在外缘13的内侧形成光学像。因此，显示用区域23的一部分在光学像的显示中用不到。
另一方面，在图8的(b)中，外缘13的一部分位于第一摄像区域16的内侧。在该情况下，也是在外缘13的内侧形成光学像。在此，显示用区域23的全部位于外缘13的内侧。因此，能够将显示用区域23的全部使用于光学像的显示。
但是，如上所述，特征点是使用外缘13整体的形状来决定的。在图8的(b)中，无法明确地获知外缘13整体的形状。因此，要对外缘13整体的形状进行估计。
在本实施方式的图像显示装置中，优选的是，规定的摄像区域具有第一摄像区域和第二摄像区域，第一摄像区域和第二摄像区域均为矩形区域，第一成像区域位于第一摄像区域，第二成像区域位于第二摄像区域，该图像显示装置满足下面的条件式(1)、(2)。
1＜f/IHmax＜1.2 (1)
0.8＜f/Id＜0.98 (2)
在此，
f为物镜光学系统的焦距，
IHmax为显示用区域的最大长度，
Id＝{(Iv/2)2+(Ih/2)2}1/2，
Iv为矩形区域的纵向的长度，
Ih为矩形区域的横向的长度，
显示用区域为位于第一摄像区域的内侧且用于显示第一图像的摄像区域，或者为位于第二摄像区域的内侧且用于显示第二图像的摄像区域，
最大长度为从显示用区域的中心到显示用区域的外缘的距离中的最大的距离。
通过满足条件式(1)、(2)，由此即使使用小型的摄像元件，也能够使成像区域的外缘位于摄像区域的内侧，并且使显示用区域的全部位于成像区域的内侧。其结果是，能够将显示用区域的全部使用于光学像的显示，并且能够计算偏移量。
IHmax的值例如能够设为与规定的光线对应的像高。规定的光线为与产生全反射的半视角对应的光线。产生全反射的半视角例如能够设为85度。
在本实施方式的图像显示装置中，优选的是，包含位于规定的摄像区域的外缘的图像具有内侧区域和外侧区域，内侧区域存在于位于规定的摄像区域的外缘的内侧，外侧区域存在于位于规定的摄像区域的外缘的外侧，内侧区域具有亮度均匀的区域，亮度均匀的区域与位于规定的摄像区域的外缘接触。
如上所述，在偏移量的计算中，使用特征点和基准点。特征点能够根据成像区域的外缘来计算。因此，需要确定成像区域的外缘。
成像区域的外缘位于规定的摄像区域15。因此，成像区域的外缘被摄像元件7拍摄到。其结果是，能够获得包含位于规定的摄像区域的外缘的图像。
对包含位于规定的摄像区域的外缘的图像进行说明。在图9中示出包含外缘的图像。在图9中，用虚线表示位于规定的摄像区域的外缘的整体以供参考。
包含位于规定的摄像区域的外缘的图像25(下面称为“图像25”)具有内侧区域26和外侧区域27。内侧区域26存在于位于规定的摄像区域的外缘28(下面称为“外缘28”)的内侧。外侧区域27存在于外缘28的外侧。
内侧区域26具有亮度均匀的区域29(下面称为“区域29”)。关于区域29，在后面记述。
规定的摄像区域具有第一摄像区域16和第二摄像区域17。因此，图像25能够视为包含位于第一摄像区域16的外缘13的图像、或包含位于第二摄像区域17的外缘14的图像。
如图2所示，外缘13位于第一摄像区域16的内侧。外缘14位于第二摄像区域17的内侧。因此，能够从第一摄像区域16的拍摄和第二摄像区域17的拍摄中获取包含外缘13的图像和包含外缘14的图像。根据获取到的图像，能够确定外缘13和外缘14。
位于规定的摄像区域的外缘为规定的成像区域的外缘。规定的成像区域为视场的像。来自视场的外侧的光不入射至物镜光学系统。因此，在视场的像的外侧没有光到达。在该情况下，在图像25中，外侧区域27中的像素的值为零。
另一方面，来自视场的内侧的光入射至物镜光学系统。因此，在视场的像的内侧有光到达。在该情况下，在图像25中，内侧区域26中的像素的值为与入射的光的亮度相应的值。
因此，使得在内侧区域26中像素的值大于零。通过这样，明确地形成外缘28。内侧区域26中的像素的值与外侧区域27中的像素的值之差越大，则外缘28越明确。
为了使内侧区域26中的像素的值变大，只要利用光充满视场的内侧即可。关于利用光充满视场的内侧的方法，使用图像显示装置的具体例进行说明。
在图10中示出图像显示装置的具体例。在本例中，图像显示装置为内窥镜系统。图10示出内窥镜系统的概要结构。
内窥镜系统30为使用电子内窥镜的观察系统。内窥镜系统30由电子内窥镜31和图像处理装置32构成。电子内窥镜31具备内窥镜部31a和连接线缆部31b。另外，在图像处理装置32上连接有显示单元33。
内窥镜部31a大致分为操作部34a和插入部34b。插入部34b形成为细长且能够插入到患者的体腔内。另外，插入部34b由具有挠性的构件构成。观察者能够通过设置于操作部34a的角度旋钮等来进行各种操作。
另外，从操作部34a延伸设置有连接线缆部31b。连接线缆部31b具备通用线缆35。通用线缆35经由连接器36来与图像处理装置32连接。
通用线缆35用于各种信号等的发送和接收。作为各种信号，有电源电压信号及CCD驱动信号等。这些信号被从电源装置、视频处理器发送到内窥镜部31a。另外，作为各种信号，有影像信号。该信号被从内窥镜部31a发送到视频处理器。
此外，图像处理装置32内的视频处理器能够与未图示的图像记录装置等周边设备连接。视频处理器对来自内窥镜部31a的影像信号实施信号处理。基于影像信号，来在显示单元33的显示画面上显示内窥镜图像。
在插入部34b的顶端设置有顶端部34c。在图10中，在顶端部34c的附近图示了结构体40。
在图11中示出结构体。图11的(a)是示出结构体的第一例的图。图11的(b)是示出结构体的第二例的图。
对第一例的结构体进行说明。第一例的结构体40具有圆筒部41和平面部42。平面部42位于圆筒部41的一端。通过圆筒部41和平面部42在结构体40的内部形成了空间43。内表面44位于空间43侧。
将顶端部34c插入于空间43。在顶端部34c配置有摄像单元2和照明光学系统45。
从照明光学系统45射出照明光。顶端部34c与结构体40的内表面44相向。因此，照明光被照射至内底面44a和内侧面44b。此时，照明光被内表面44反复反射。其结果是，内表面44被以均匀的亮度照明。对于内表面44，只要亮度的分布不是极端地不均匀即可。因此，不需要亮度的分布完全均匀。亮度的分布大致均匀即可。
内表面44由形成平面部42的原材料本身形成。但是，在内表面44也可以设置有反射膜等涂布剂。这样，光的均匀性增加。照射至内表面44的照明光被内表面44反射。由内表面44反射的光入射至物镜光学系统5。
在结构体40中，照明光向比物镜光学系统5的视场广的范围照射。因此，从视场整体向物镜光学系统5入射光。其结果是，在摄像区域形成明亮的成像区域。
在结构体40中，使用了圆筒部41和平面部42。然而，向物镜光学系统5入射的光为被内表面44反射的光。因此，也可以将内表面44设为球面而非圆筒。
对第二例的结构体进行说明。在平面部42，在内表面44对照明光进行反射。然而，也可以使平面部42为发光面。第二例的结构体50具有发光面51。发光面51只要具有亮度的分布大致均匀的区域即可。
如上所述，内表面44被以均匀的亮度进行照明。在该情况下，成像区域中的亮度也是均匀的。内侧区域26反映了成像区域中的亮度。因此，内侧区域26具有区域29。在区域29，不需要亮度的分布完全是均匀的。亮度的分布只要大致均匀即可。
区域29分布于内侧区域26的整体。内侧区域26与外缘28接触。因此，在图像25中，区域29在4个位置与外缘28接触。
外侧区域27为与视场的外侧对应的区域。如上所述，来自视场的外侧的光不入射至物镜光学系统5。因此，外侧区域27中的像素的值为零。
另一方面，内侧区域26为与视场的内侧对应的区域。在视场的内侧，被内表面44反射的光入射至物镜光学系统5。在该情况下，内侧区域26中的像素的值不为零。因此，区域29中的像素的值也不为零。
区域29和外侧区域27与外缘28接触。区域29中的像素的值大于零，外侧区域27中的像素的值为零。在该情况下，能够明确地区分区域29和外侧区域27。其结果是，能够明确地确定外缘28。通过确定出外缘28，能够计算特征点。根据特征点和参照数据，能够计算偏移量。
在图像25中，内侧区域26的整体为亮度均匀的区域。然而，亮度均匀的区域也可以为内侧区域26的一部分。
在图12中示出亮度均匀的区域的例子。图12的(a)是示出包含外缘的图像的第一例的图。图12的(b)是示出包含外缘的图像的第二例的图。
在第一例的包含外缘的图像60中，亮度均匀的区域61的形状为圆环。即使是这样的形状，亮度均匀的区域61也在4个位置与外缘53接触。因此，能够明确地确定外缘53。
圆环的区域能够通过下面那样得到。在结构体40中，在内表面44形成反射率互不相同的两个区域。而且，使反射率低的区域位于内表面44的中央附近。
在结构体50中，在发光面51上配置遮光构件。而且，在遮光构件形成圆环的开口部。或者，通过多个光源来形成发光面51。然后，仅使与圆环对应的光源发光。
在第二例的包含外缘的图像70中，亮度均匀的区域71的形状为大致矩形。即使是这样的形状，亮度均匀的区域71也在2个位置与外缘53接触。因此，能够明确地确定外缘53。大致矩形的区域能够与第一例同样地得到。
对摄像元件进行说明。在摄像元件为一个的情况下，第一成像区域和第二成像区域位于单个摄像区域。
在图像显示装置1中，如图2所示，使用一个摄像元件7。摄像元件7具有规定的摄像区域15作为单个摄像区域。在规定的摄像区域15形成有第一成像区域11和第二成像区域12。
规定的摄像区域15由第一摄像区域16和第二摄像区域17构成。第一成像区域11位于第一摄像区域16。第二成像区域12位于第二摄像区域17。
对摄像元件为两个的情况进行说明。在摄像元件为两个的情况下，第一成像区域位于一个摄像元件的摄像区域，第二成像区域位于另一个摄像元件的摄像区域。
在图13中示出使用两个摄像元件的例子。图13的(a)是摄像部的俯视图。图13的(b)是摄像部的侧视图。
摄像部80具有基板81、第一摄像元件82以及第二摄像元件83。第一摄像元件82和第二摄像元件83被固定在单个基板81上。
第一摄像元件82具有第一摄像区域16。第一成像区域11位于第一摄像区域16。第二摄像元件83具有第二摄像区域17。第二成像区域12位于第二摄像区域17。
摄像部80与摄像元件7同样地具有第一摄像区域16和第二摄像区域17。另外，第一摄像元件82和第二摄像元件83被固定在单个基板81上。在该情况下，在摄像部80与规定的成像区域之间产生同在摄像元件7与规定的成像区域之间所产生的位置偏移相同的位置偏移。因此，使用摄像部80也能够计算偏移量。
本实施方式的图像显示方法的特征在于，包括以下步骤：生成第一成像区域的外缘的图像；生成第二成像区域的外缘的图像；基于第一成像区域的外缘的图像计算第一成像区域的特征点，并且基于第二成像区域的外缘的图像计算第二成像区域的特征点；根据第一成像区域的特征点、第二成像区域的特征点及参照数据计算规定的成像区域与摄像元件的偏移量；以及根据偏移量来决定从第一成像区域获取到的第一图像的显示位置和从第二成像区域获取到的第二图像的显示位置，其中，在摄像元件上形成规定的成像区域，规定的成像区域由第一成像区域和第二成像区域构成，参照数据具有表示规定的成像区域中的基准点的数据、或表示规定的摄像区域中的基准点的数据，第一成像区域和第二成像区域均为物镜光学系统的视场的像。
根据本实施方式的图像显示方法，即使在摄像元件与光学像之间产生了位置偏移，也能够容易地获取自然的合成图像。
在图14中示出物镜光学系统的例子。物镜光学系统由平凹负透镜L1、双凹负透镜L2、双凸正透镜L3、凹平负透镜L4、使凸面朝向像侧的正弯月透镜L5、双凹负透镜L6、平凸正透镜L7、双凸正透镜L8以及使凸面朝向像侧的负弯月透镜L9构成。
正弯月透镜L5与双凹负透镜L6接合。另外，双凸正透镜L8与负弯月透镜L9接合。
在平凹负透镜L1与双凹负透镜L2之间配置有光学滤波器F1。另外，在双凹负透镜L6与平凸正透镜L7之间配置有孔径光圈S。
下面示出上述实施例的数值数据。关于记号，r为各面的曲率半径，d为各光学构件的壁厚或空气间隔，nd为各光学构件的针对d线的折射率，νd为各光学构件的针对d线的阿贝数。在各种数据中，f为焦距。
数值实施例
各种数据
在本实施方式的图像显示装置中，也可以构成如下。这些实施方式也包括在本发明中。
外缘的至少一部分为圆周的一部分。
外缘的至少一部分为曲线。
外缘的至少一部分为椭圆周的一部分。
第一区域的特征点为第一区域的重心、或第一区域的中心。
第二区域的特征点为第二区域的重心、或第二区域的中心。
第一成像区域的外缘的一部分位于规定的摄像区域内。
第一成像区域的外缘的全部位于规定的摄像区域内。
第二成像区域的外缘的一部分位于规定的摄像区域内。
第二成像区域的外缘的全部位于规定的摄像区域内。
亮度均匀的区域为通过入射至物镜光学系统的入射光形成的区域，入射光为从物体表面反射的反射光，物体表面具有反射率大致恒定的区域。
亮度均匀的区域为通过入射至物镜光学系统的入射光形成的区域，入射光为从光源射出的光，光源具有亮度的分布大致均匀的区域。
摄像元件为一个，第一成像区域和第二成像区域位于单个摄像区域。
摄像元件为两个，第一成像区域位于一个摄像元件的摄像区域，第二成像区域位于另一个摄像元件的摄像区域。
产业上的可利用性
如以上那样，本发明适于提供一种即使在摄像元件与光学像之间产生位置偏移也能够容易地获取自然的合成图像的图像显示装置和图像显示方法。
附图标记说明
1：图像显示装置；2：摄像单元；3：图像处理装置；4：显示装置；5：物镜光学系统；6：光路分割元件；7：摄像元件；8：第一光路；9：第二光路；10：规定的成像区域；11、11’、11”：第一成像区域；12：第二成像区域；13、13a、13b、13c、13d：外缘；13’、13’a、13’b、13’c、13’d：外缘；13”、13”a、13”b、13”c、13”d：外缘；14、14’、14”：外缘；15：规定的摄像区域；16：第一摄像区域；17：第二摄像区域；18：第一光学像；19：第二光学像；20：第一图像；21：第二图像；22：翻转图像；23：显示用区域；24：区域；25：包含外缘的图像；26：内侧区域；27：外侧区域；28：外缘；29：亮度均匀的区域；30：内窥镜系统；31：电子内窥镜；31a：内窥镜部；31b：连接线缆部；32：图像处理装置；33：显示单元；34a：操作部；34b：插入部；34c：顶端部；35：通用线缆；36：连接器；40：结构体；41：圆筒部；42：平面部；43：空间；44：内表面；44a：内底面；44b：内侧面；45：照明光学系统；50：结构体；51：发光面；53：外缘；60：包含外缘的图像；61：亮度均匀的区域；70：包含外缘的图像；71：亮度均匀的区域；80：摄像部；81：基板；82：第一摄像元件；83：第二摄像元件；P1、P2：特征点；Q1、Q2：基准点；L1～L9：透镜；F1：光学滤波器；S：孔径光圈。

Claims (4)

1.一种图像显示装置，其特征在于，
具备摄像单元、图像处理装置以及显示装置，
所述摄像单元具有物镜光学系统、光路分割元件以及摄像元件，
通过所述光路分割元件来在所述摄像元件上形成规定的成像区域，
所述规定的成像区域由第一成像区域和第二成像区域构成，
所述第一成像区域和所述第二成像区域均为所述物镜光学系统的视场的像，
所述第一成像区域的外缘的至少一部分和所述第二成像区域的外缘的至少一部分均位于所述摄像元件的规定的摄像区域的内侧，
通过所述摄像元件对位于所述规定的摄像区域的外缘进行拍摄，
所述图像处理装置具有参照数据，
所述参照数据具有表示所述规定的成像区域内的基准点的数据、或者表示所述规定的摄像区域内的基准点的数据，
在所述图像处理装置中，基于所述第一成像区域的外缘估计所述第一成像区域的整体的形状，并基于所述第一成像区域的整体的形状计算所述第一成像区域的特征点，基于所述第二成像区域的外缘估计所述第二成像区域的整体的形状，并基于所述第二成像区域的整体的形状计算所述第二成像区域的特征点，
根据所述第一成像区域的特征点、所述第二成像区域的特征点以及所述参照数据，计算所述规定的成像区域与所述摄像元件的偏移量，
根据所述偏移量，来决定从所述第一成像区域获取到的第一图像的显示位置和从所述第二成像区域获取到的第二图像的显示位置。
2.根据权利要求1所述的图像显示装置，其特征在于，
所述规定的摄像区域具有第一摄像区域和第二摄像区域，
所述第一摄像区域和所述第二摄像区域均为矩形区域，
所述第一成像区域位于所述第一摄像区域，
所述第二成像区域位于所述第二摄像区域，
所述图像显示装置满足下面的条件式(1)、(2)，
1＜f/I Hmax＜1.2 (1)
0.8<f/Id<0.98 (2)
在此，
f为所述物镜光学系统的焦距，
IHmax为显示用区域的最大长度，
Id＝{(Iv/2)2+(Ih/2)2}1/2，
Iv为所述矩形区域的纵向的长度，
Ih为所述矩形区域的横向的长度，
所述显示用区域为位于所述第一摄像区域的内侧且用于显示所述第一图像的摄像区域，或者为位于所述第二摄像区域的内侧且用于显示所述第二图像的摄像区域，
所述最大长度为从所述显示用区域的中心到所述显示用区域的外缘的距离中的最大的距离。
3.根据权利要求1所述的图像显示装置，其特征在于，
包含位于所述规定的摄像区域的外缘的图像具有内侧区域和外侧区域，
所述内侧区域存在于位于所述规定的摄像区域的外缘的内侧，
所述外侧区域存在于位于所述规定的摄像区域的外缘的外侧，
所述内侧区域具有亮度均匀的区域，
所述亮度均匀的区域与位于所述规定的摄像区域的外缘接触。
4.一种图像显示方法，其特征在于，包括以下步骤：
生成第一成像区域的外缘的图像；
生成第二成像区域的外缘的图像；
基于所述第一成像区域的外缘的图像估计所述第一成像区域的整体的形状，并基于所述第一成像区域的整体的形状计算所述第一成像区域的特征点，并且基于所述第二成像区域的外缘的图像估计所述第二成像区域的整体的形状，并基于所述第二成像区域的整体的形状计算所述第二成像区域的特征点；
根据所述第一成像区域的特征点、所述第二成像区域的特征点以及参照数据，计算规定的成像区域与摄像元件的偏移量；以及
根据所述偏移量，来决定从所述第一成像区域获取到的第一图像的显示位置和从所述第二成像区域获取到的第二图像的显示位置，
其中，在所述摄像元件上形成所述规定的成像区域，
所述规定的成像区域由所述第一成像区域和所述第二成像区域构成，
所述参照数据具有表示所述规定的成像区域内的基准点的数据、或者表示所述摄像元件的规定的摄像区域内的基准点的数据，
所述第一成像区域和所述第二成像区域均为物镜光学系统的视场的像，所述第一成像区域的外缘的至少一部分和所述第二成像区域的外缘的至少一部分均位于所述摄像元件的规定的摄像区域的内侧。
CN201980043389.9A 2018-06-27 2019-02-22 图像显示装置和图像显示方法 Active CN112334056B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018121986 2018-06-27
JP2018-121986 2018-06-27
PCT/JP2019/006747 WO2020003604A1 (ja) 2018-06-27 2019-02-22 画像表示装置、及び画像表示方法

Publications (2)

Publication Number Publication Date
CN112334056A CN112334056A (zh) 2021-02-05
CN112334056B true CN112334056B (zh) 2024-05-14

Family

ID=68984822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043389.9A Active CN112334056B (zh) 2018-06-27 2019-02-22 图像显示装置和图像显示方法

Country Status (4)

Country Link
US (1) US11470283B2 (zh)
JP (1) JP7055202B2 (zh)
CN (1) CN112334056B (zh)
WO (1) WO2020003604A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597405A (zh) * 2011-08-24 2014-02-19 奥林巴斯医疗株式会社 摄像装置和摄像装置系统
CN104219990A (zh) * 2012-06-28 2014-12-17 奥林巴斯医疗株式会社 内窥镜系统
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2016035366A1 (ja) * 2014-09-04 2016-03-10 オリンパス株式会社 撮像システム
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机系统
CN106068093A (zh) * 2014-04-08 2016-11-02 奥林巴斯株式会社 内窥镜系统
CN106255445A (zh) * 2014-12-22 2016-12-21 奥林巴斯株式会社 内窥镜系统和图像处理方法
CN106461929A (zh) * 2015-02-17 2017-02-22 奥林巴斯株式会社 内窥镜系统
JP2017164393A (ja) * 2016-03-18 2017-09-21 富士フイルム株式会社 内視鏡システム及びその作動方法
CN107613839A (zh) * 2015-06-11 2018-01-19 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
WO2018100885A1 (ja) * 2016-12-01 2018-06-07 ソニー株式会社 医療用観察装置、及び制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11197098A (ja) * 1998-01-19 1999-07-27 Fuji Photo Optical Co Ltd 遠近画像を形成する電子内視鏡装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
US8908979B2 (en) * 2011-06-16 2014-12-09 Samsung Electronics Co., Ltd. Shape and symmetry design for filters in video/image coding
WO2015098242A1 (ja) * 2013-12-27 2015-07-02 オリンパス株式会社 標本観察装置および標本観察方法
JP6140100B2 (ja) * 2014-04-23 2017-05-31 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
JP6023919B2 (ja) * 2014-09-18 2016-11-09 オリンパス株式会社 内視鏡システム
CN109643449A (zh) * 2016-04-14 2019-04-16 光学实验室成像公司 血管分支的识别
JPWO2017183371A1 (ja) * 2016-04-21 2018-04-26 オリンパス株式会社 内視鏡システム
US10621718B2 (en) * 2018-03-23 2020-04-14 Kla-Tencor Corp. Aided image reconstruction
JP7378219B2 (ja) * 2019-04-12 2023-11-13 キヤノン株式会社 撮像装置、画像処理装置、制御方法、及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597405A (zh) * 2011-08-24 2014-02-19 奥林巴斯医疗株式会社 摄像装置和摄像装置系统
CN104219990A (zh) * 2012-06-28 2014-12-17 奥林巴斯医疗株式会社 内窥镜系统
CN106068093A (zh) * 2014-04-08 2016-11-02 奥林巴斯株式会社 内窥镜系统
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2016035366A1 (ja) * 2014-09-04 2016-03-10 オリンパス株式会社 撮像システム
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机系统
CN106255445A (zh) * 2014-12-22 2016-12-21 奥林巴斯株式会社 内窥镜系统和图像处理方法
CN106461929A (zh) * 2015-02-17 2017-02-22 奥林巴斯株式会社 内窥镜系统
CN107613839A (zh) * 2015-06-11 2018-01-19 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
JP2017164393A (ja) * 2016-03-18 2017-09-21 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018100885A1 (ja) * 2016-12-01 2018-06-07 ソニー株式会社 医療用観察装置、及び制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电子内窥镜光学系统设计;谷俊达;向阳;;长春理工大学学报(自然科学版);20150415(02);20-22, 26 *

Also Published As

Publication number Publication date
US20210099679A1 (en) 2021-04-01
CN112334056A (zh) 2021-02-05
WO2020003604A1 (ja) 2020-01-02
JPWO2020003604A1 (ja) 2021-06-03
US11470283B2 (en) 2022-10-11
JP7055202B2 (ja) 2022-04-15

Similar Documents

Publication Publication Date Title
US20060238614A1 (en) Capsule endoscope
US10067333B2 (en) Endoscope having image pickup sensor and first and second light blocking members
JP2006304924A (ja) 撮像光学系
JP5953443B2 (ja) 内視鏡システム
JPWO2018159292A1 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
CN103313642A (zh) 内窥镜装置
US20190150717A1 (en) Method and Apparatus of Lens Alignment for Capsule
CN112334056B (zh) 图像显示装置和图像显示方法
JPWO2016194178A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JPWO2016194179A1 (ja) 撮像装置、内視鏡装置及び撮像方法
US11832791B2 (en) Optical imaging lens assembly and endoscopic optical device
CN106455943B (zh) 摄像装置、图像处理装置、摄像装置的工作方法
CN107427184A (zh) 光扫描装置的校准方法和校准装置
JP2009136386A (ja) 撮像レンズ及びカプセル内視鏡
KR101539425B1 (ko) 고스트 이미지가 제거된 영상 획득이 가능한 3차원 스캐너
WO2017010440A1 (ja) 撮像装置、撮像光学系、撮像装置の製造方法および撮像方法
JP2022131325A (ja) 視線検出装置、及びその制御方法
JP2007114456A (ja) レンズユニットの識別装置およびそれを用いた内視鏡システム
JP6901022B2 (ja) 撮像装置
JP7014660B2 (ja) 内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体
US20220240756A1 (en) Endoscope calibration system, endoscope device, endoscope device calibration method, and computer-readable storage medium
US10620424B1 (en) Lens for use with imaging sensors
JP2008018254A (ja) カプセル型内視鏡
JP2016085414A (ja) 撮像装置及びそれを用いた内視鏡
JP6006633B2 (ja) 立体画像取得装置および立体画像取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant