CN103918013B - 图像处理装置、图像处理方法、及图像文件的数据结构 - Google Patents

图像处理装置、图像处理方法、及图像文件的数据结构 Download PDF

Info

Publication number
CN103918013B
CN103918013B CN201280054856.6A CN201280054856A CN103918013B CN 103918013 B CN103918013 B CN 103918013B CN 201280054856 A CN201280054856 A CN 201280054856A CN 103918013 B CN103918013 B CN 103918013B
Authority
CN
China
Prior art keywords
image
mentioned
sectioning
sectioning image
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280054856.6A
Other languages
English (en)
Other versions
CN103918013A (zh
Inventor
冈正昭
世古悟
冈本好喜
原雅明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Corp
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Computer Entertainment Inc filed Critical Sony Corp
Publication of CN103918013A publication Critical patent/CN103918013A/zh
Application granted granted Critical
Publication of CN103918013B publication Critical patent/CN103918013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/043—Arrangements of multiple sensors of the same type in a linear array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

在图像处理装置(20)中，图像数据生成部(30)的传感器输出数据取得部(42)从传感器组(12)取得层叠图像信息的数据。切片图像生成部(44)针对取得了分布的各切片平面分别生成二维图像数据。图像轴变换部(50)针对垂直于与传感器轴不同的轴的多个平面，生成同样的二维图像数据。显示处理部(32)的切片图像管理部(52)根据视点的位置等管理用于描绘的切片图像。描绘用存储器(56)依次存储描绘所需的图像数据。附加对象图像存储部(58)存储光标等要附加显示的对象的图像数据。图像描绘部(54)使用切片图像数据描绘三维对象。

Description

图像处理装置、图像处理方法、及图像文件的数据结构
技术领域
本发明涉及将对象物的信息可视化为图像的图像处理装置、及该装置所采用的图像处理方法。
背景技术
作为利用电子束、X射线、磁场等取得对象物的剖面形状或内容物的信息的技术，透射电子显微镜、CT(Computed Tomography：计算机断层扫描技术)、MRI(MagnaticResonance Image：核磁共振技术)等已被实用化。在该技术中，通过沿垂直于剖面的轴的方向取得对象物的各剖面的信息，而能将之保持为对象物整体的层叠图像信息。层叠图像信息不限定于通过如上文所述那样的较大规模的装置而获得的结果，还能通过利用了可视光或激光等的剖面形状计测装置等来获得。
发明内容
〔发明所要解决的课题〕
由于在如上述那样的技术中所获得的信息是由构成剖面的二维平面和垂直于它的轴构成的三维空间内的信息，故难以将它可视化为一般的二维图像，使得能容易理解它。可以考虑最简单地，一边变换轴方向的位置一边显示剖面的二维信息，但此时难以掌握轴方向上的对象物的大小和位置。此外，针对各体素(Voxel)分别取得数据，来进行体绘制(volume rendering)的方法也已被实用化，但存在数据的取得、存储、图像描绘所需的资源和处理负荷增大、并且数据加工和操作的自由度较低这样的问题。
本发明是鉴于这样的课题而研发的，其目的在于提供一种能容易地将层叠图像信息可视化的图像处理技术。
〔用于解决课题的手段〕
本发明的一个方案涉及图像处理装置。该图像处理装置的特征在于，包括：数据取得部，取得在预定轴上的不同位置以相同角度交叉的多个切片面上所获得的值分布信息；切片图像生成部，通过基于切片面上的各位置的值而决定包含α值的像素值，来针对各切片面分别生成将分布信息表现为图像的切片图像；以及图像描绘部，将切片图像排列于轴上的对应位置，并根据被输入的视点位置进行α混合描绘，由此将由多个切片面构成的三维空间显示为三维对象。
在此，“切片面上所获得的值”可以是由传感器等实际计测到的值或将该计测值进行某种运算后的值，也可以是通过CAD(Computer Aided Design：计算机辅助设计)或游戏等算出的计算值。因此，“切片面”可以是实际空间中的平面或曲面、或者虚拟空间中的平面或曲线的任意一者。
本发明的另一方案也涉及图像处理装置。该图像处理装置的特征在于，包括：切片图像存储部，存储将分布信息表现为图像的切片图像数据，该分布信息是在预定轴上的不同位置以相同角度交叉的多个切片面上所获得的值的分布信息，所述切片图像数据是通过针对该分布信息，基于切片面上的各位置的值，决定包含α值的像素值而生成的；切片图像管理部，根据所被输入的视点位置，将切片图像的数据从切片图像存储部载入到描绘用存储器；以及图像描绘部，与切片图像管理部的载入处理并行地、按被载入到描绘用存储器的顺序，将切片图像排列于轴上的对应位置，并进行α混合描绘，由此将由多个切片面构成的三维空间显示为三维对象。
本发明的另一个方案涉及图像处理方法。该图像处理方法的特征在于，包括：在图像处理装置中，取得在预定轴上的不同位置以相同角度交叉的多个切片面上所获得的值的分布信息的步骤；针对各切片面，分别基于切片面上的各位置的值，决定包含α值的像素值，由此生成将分布信息表现为图像的切片图像的数据的步骤；以及将各切片图像排列于轴上的对应位置，并根据从输入装置输入来的视点位置进行α混合描绘，由此使由多个切片面构成的三维空间作为三维对象而显示于显示装置的步骤。
本发明的另一方案涉及图像文件的数据结构。该图像文件的数据结构是使将分布信息表现为图像的切片图像的数据与轴的方向和轴上的位置建立对应的图像文件数据结构，所述分布信息是在预定轴上的不同位置以相同角度交叉的多个切片面上所获得的值的分布信息，所述切片图像数据是通过针对该分布信息，基于切片面上的各位置的值决定包含α值的像素值而生成的；在图像处理装置中，该图像文件为如下目的而被载入存储器：将切片图像排列于轴上的对应位置、并根据所被输入的视点位置进行α混合描绘，由此使由多个切片面构成的三维空间作为三维对象而显示于显示装置。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序等间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
根据本发明，能容易、且以较低的资源成本将层叠图像信息可视化为用户所希望的形式。
附图说明
图1是表示能适用本实施方式的图像处理技术的图像处理系统的构成例的图。
图2是示意性地表示在本实施方式中传感器组所计测到的结果、图像处理装置所取得的信息的形态。
图3是表示在本实施方式中由图像处理装置生成并由显示装置显示的图像的例子的图。
图4是详细表示本实施方式中的图像处理装置的结构的图。
图5是表示本实施方式中的图像数据生成部生成切片图像的数据的处理步骤的流程图。
图6是表示在图5的S12中，决定切片图像的α值的方法的例子的图。
图7是表示在图5的S12中，决定切片图像的α值的方法的另一例子的图。
图8是用于说明在本实施方式的α值设定时，抑制噪声产生的方法的图。
图9是表示在本实施方式中，显示处理部进行三维对象显示处理的处理步骤的流程图。
图10是示意性地表示在图9的S40中、图像描绘部进行α混合描绘的情况的图。
图11是表示在本实施方式中，求取屏幕上的点的RGB值的处理步骤的流程图。
图12是用于说明在图9的S34中、切片图像管理部根据视点决定所需的切片图像的数据的处理的图。
图13是用于说明在本实施方式中，决定用于切换切片图像的边界线的角度的方法的例子的图。
图14是用于说明在本实施方式中，描绘三维对象的另一方法的图。
图15是示意性地表示在本实施方式中，首先描绘附加对象，再描绘三维对象的处理步骤的图。
图16是示意性地表示在本实施方式中，描绘附加对象的另一方法的处理步骤的图。
图17是示意性地表示在本实施方式中，将三维对象显示为动图像时的切片图像数据的读取步骤的图。
图18是示意性地表示在本实施方式中，计测针对部分圆筒状的曲面或部分球面的分布时的切片图像的形状的图。
具体实施方式
图1表示能适用本实施方式的图像处理技术的图像处理系统的构成例。图像处理系统10包括：N个传感器组12，由分别进行预定计测的传感器12＿1、12＿2、…12＿N构成；图像处理装置20，从各传感器取得计测结果，并将之可视化；输入装置15，用于用户进行向图像处理装置20的指示输入；以及显示装置14，显示图像处理装置20所生成的图像。
可以用有线电缆连接图像处理装置20、传感器组12及显示装置14，也可以通过无线LAN(Local Area Network：局域网)等将之无线连接起来。还可以组合传感器组12、图像处理装置20、显示装置14的任意两者或它们全部，一体地装备它们。
此外，如后文所述那样图像处理装置20所进行的处理分为基于计测结果生成作为基础的二维图像数据的阶段和基于二维图像数据生成显示图像的阶段，由于能独立进行它们，故可以不同时连接图像处理装置20、传感器组12、显示装置14。显示装置14可以是液晶显示器或等离子显示器等单体显示图像的装置，也可以是将图像进行投影的投影器和屏幕这一组合等。
N个传感器12＿1、12＿2、…、12＿N分别将预定物理量作为在横切过对象物16的平面18等预定位置和朝向的多个平面内的分布来取得。在此，所谓预定物理量，只要是颜色、温度、含水、硬度等能通过一般的传感技术、利用可见光、X射线、磁、电、超声波等而求取到的信息即可，其种类不被限定。此外，本领域技术人员当理解，在图中，传感器12＿1、12＿2、…、12＿N的配置和形状仅为例示，可以根据所采用的传感技术而考虑多种方案。
图像处理装置20统合传感器组12所计测到的多个平面内的物理量的分布，并将该平面层叠后的计测空间可视化为三维的对象。使得能根据介由输入装置15接收到的来自用户的视点移动请求，从任意方向观看该对象。图像处理装置20还控制传感器组12取得物理量的对象平面，控制显示装置14中的显示等，统括地控制图像处理系统10整体。
此外，也可以在图像处理装置20之外另行导入包含传感器组12并具有控制传感器所进行的计测处理及层叠图像信息输出的机构的传感装置。并且，还可以使得该传感装置在其内部将传感器所计测到的物理量的分布图像化，并由图像处理装置20取得该图像数据。此时，不是得到传感器所计测到的物理量，而是得到RGB等像素值的分布，在以后的说明中，将这样的像素值也记为“物理量”，同样地进行处理。
显示装置14显示包括图像处理装置20所生成的、将物理量的分布可视化后的结果在内的三维对象图像。输入装置15除如上文所述那样从用户接收针对显示装置14所显示的三维对象的视点移动请求外，还接收传感器组12的物理量计测开始、计测结果的取得开始、图像和数据的加工、显示装置14的对象显示的开始等请求，并将之通知到图像处理装置20。输入装置15除图示的鼠标外，还可以是键盘、控制器、操控杆等一般的输入装置的任意一者，也可以是装于显示装置14的画面的触摸面板等。
图2示意性地表示了传感器组12所计测到的结果、图像处理装置20所取得的信息的形态。传感器组12所包含的各传感器如该图所示那样针对垂直于预定轴(z轴)的多个平面19a、19b、…、19n取得预定物理量的分布。假定平面19a、19b、…、19n处于相对于z轴所不同的位置，并且相对于与之垂直的xy平面，处于相同的范围内。
以下，将如该图的z轴那样使由传感器组12取得物理量分布的平面移动的方向称作“传感器轴”，并将该平面称作“切片平面”。可以设置传感器组12，使得能设定多个传感器轴。此情况下，针对各传感器轴设定多个切片平面组，以针对各平面获得物理量的分布。此外，在图2中，切片平面是垂直于传感器轴的，但根据所要计测的物理量和传感器的结构等，未必需要是垂直的。
由于“分布”是作为相对于这样的各切片平面内的位置坐标的值来获得的，故若如图1所示那样、传感器组12由N个传感器12＿1、12＿2、…、12＿N构成，则能获得N个针对某切片平面上的某个位置的值。其结果，图像处理装置20所取得的信息成为按针对各切片平面19a、19b、…、19n而设定的多个位置P1、P2、…，分别将其位置坐标(x，y)与由N个值构成的矢量值(V＿1，V＿2，…，V＿N)建立对应后的信息。
此外，关于位置P1、P2、…，实际上、可以按一般像素程度的间隔来设定，根据传感器的分辨能力等适当进行计测值的插值或间取，由此使得能针对各位置P1、P2、…获得相同维数的矢量值。传感器组12可以按预定时间间隔反复进行计测，图像处理装置20可以在各时刻取得图2所示的信息。此时，最终所显示的三维对象成为随着时间推移而变化的动图像。
图3表示由图像处理装置20生成并且由显示装置14显示的图像的例子。图像例4是将图2内所示的计测信息可视化后的结果，并且被显示为在表示计测空间的三维对象6的内部存在对象物16的状态。用户能通过操作输入装置15来移动虚拟视点，使得三维对象6旋转到所需的角度，故能确认到对象物的背面和侧面。
此外，还能通过用户的操作改变三维对象6中的、对象物16以外的区域、对象物16的区域等所需区域的透射率，使之成为透明或半透明。由此，即使存在多个对象物，也能从所希望的方向观察到它们的位置关系和大小。在将三维对象内的、对象物以外的区域显示成透明的情况等时，成为无法目视到三维对象、而仅能目视到对象物的状态。在以后的说明中，包括这样的透明区域在内，将之记作“三维对象”。在使三维对象6成为了动图像的情况下，能观测到对象物移动和新对象物的生成等。此外，还能以进入到三维对象6的内部的形式显示箭头形状的光标8等计测结果以外的对象。
图4详细表示了图像处理装置20的结构。在图4中，关于被记载为进行各种处理的功能块的各要素，从硬件上说，能由CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Porcessing Unit：图形处理单元)、存储器、其它LSI构成，从软件上说，由进行图像处理的程序等来实现。
因此，本领域技术人员当理解，这些功能块能仅由硬件、仅由软件、或它们的组合以多种形式或由它们的组合以多种形式来实现，并不限定于某一种。此外，图像处理装置20如上文所述那样进行与图像处理系统10内其它装置的数据收发控制等，但这样的处理能适用一般的技术，故此处省略了图示。
图像处理装置20包括取得来自传感器的输出信息、生成用于显示的二维图像数据的图像数据生成部30，及使用该二维图像数据描绘三维对象的显示处理部32。此外，如上文所述那样，图像数据生成部30所进行的处理和显示处理部32所进行的处理能独立实施，故可以不将两者设置在同一装置内，而使之成为分别具备各自功能的独立装置。
图像数据生成部30包括：传感器输出数据取得部42，取得来自传感器组12的输出数据；切片图像生成部44，按取得分布后的各切片平面分别生成二维图像数据；图像轴变换部50，针对不同于传感器轴的轴和具有预定角度的多个平面生成同样的二维图像数据；矢量值信息存储部46，存储传感器输出数据取得部42所生成的数据；切片图像存储部48，存储切片图像生成部44和图像轴变换部50所生成的数据。
传感器输出数据取得部42从传感器组12针对各切片平面分别取得物理量的分布信息，并生成图2中所示那样的将位置坐标与矢量值建立对应后的矢量值信息。将矢量值信息与切片平面的识别信息建立对应地临时存储在矢量值信息存储部46中，并将该情况通知给切片图像生成部44和图像轴变换部50。在此，切片平面的识别信息是由传感器轴的方向和该传感器轴上的位置等构成的。
切片图像生成部44基于矢量值信息存储部46所存储的矢量值信息，针对各切片平面分别生成作为三维对象的基础的二维图像的数据。以后，将这样的二维图像称作“切片图像”。对于切片图像，针对各像素除分别保持颜色空间信息外、还保持表示透射率的α值。在图像显示阶段，将切片图像沿传感器轴方向排列，并进行α混合描绘，由此表现出能透视到三维对象内部的形式。之后详细叙述颜色空间信息及α值的设定方法。将所生成的切片图像的数据与切片平面的识别信息建立对应地存储于切片图像存储部48。此外，还有基于切片图像的像素值计算α值的方法，此时，若描绘部计算α值，并将之用于混合，则无需将α值存储于切片图像存储部。
图像轴变换部50针对不同于传感器轴的预定轴，例如如图2那样以z轴为传感器轴时、针对与其正交的x轴和y轴，分别产生与之形成预定角度的多个平面，并针对各平面，生成与图2中所示一样的矢量值信息。即，通过从传感器组12所计测到的切片平面上的物理值中，选出对应于朝向不同的平面上的各位置的值，来将数据重构成针对该平面的分布。
然后，通过与切片图像生成部44一样的处理，生成对应于各平面的二维图像的数据。以后，将该二维图像也称作“切片图像”，但将针对此时的平面的轴记为“图像轴”，以与“传感器轴”相区分。还将图像轴变换部50所生成的切片图像的数据与图像轴的方向和在该轴上的位置建立对应地存储于切片图像存储部48。
显示处理部32包括：切片图像管理部52，根据视点的位置等管理用于描绘的切片图像；描绘用存储器56，依次存储描绘所需的图像的数据；附加对象图像存储部58，存储光标等要附加显示的对象的图像数据；以及图像描绘部54，使用切片图像的数据来描绘三维对象。
切片图像管理部52随着视点的移动而切换用于描绘的切片图像的轴，并将所需的切片图像的数据从切片图像存储部48读出到描绘用存储器56。此外，在基于图像数据生成部30所生成的切片图像即时地生成对象的情况等下，切片图像存储部48可以兼作描绘用存储器56。此外，在将切片图像的数据全部存储于二次存储装置等所安装的切片图像存储部48中，在显示阶段、凭另外的机会将之载入描绘用存储器56的方式中，按描绘所需的顺序一边逐渐载入数据一边进行描绘处理。
在描绘三维对象时，基本上按距视点由远到近的顺序将切片图像通过α混合处理进行重叠。因此，基本上也按该顺序进行向描绘用存储器56的切片图像数据的载入。由此，即使因视点移动等而需要其它切片图像，也能抑制至显示出来的延时。该载入处理可以由切片图像管理部52所控制的存储器控制器等来进行。
切片图像管理部52还根据视点与三维对象的距离的缩短，进行切片图像间的插值。切片图像是针对传感器轴或图像轴上的离散位置而生成的，当视点靠近对象时，就容易视认到其不连续性。因此，生成具有用于针对轴上的位置将相邻的切片图像的像素值进行插值的像素值的新切片图像。将所生成的切片图像插入原来的切片图像之间，缩小切片图像的间隔，由此使得不连续不明显。可以与距视点的距离成反比地逐渐增加、也可以根据距离与阈值的比较阶段性地增加所插入的切片图像的个数。
图像描绘部54在从切片图像管理部52取得所需的切片图像数据被载入到描绘用存储器56中的意思的通知时，使用该数据描绘三维对象。基本上，将各切片图像排列于轴上的各位置，并将之从距视点远的切片图像起依次投影成屏幕坐标，来进行重叠。所这样表示的计测空间的三维对象通过α值的设定，例如未存有对象物的空间等成为透明或半透明的状态。因此，图像描绘部54还在这样的空间中描绘光标等附加对象。
关于附加对象，由用户介由输入装置15使之运动或追随对象物地运动或产生。因此，图像描绘部54根据其模式计算出附加对象的显示位置后，将图像数据读出到描绘用存储器56，来进行描绘。此外，图像描绘部54也可以针对多个视点进行同样的三维对象描绘处理，由此实现立体视觉。能根据要导入的立体视觉的方式适当决定此时的视点的相对位置等。
接下来，说明能由如上述那样的结构实现的图像处理装置20的工作。图5是表示图像数据生成部30生成切片图像的数据的处理步骤的流程图。首先，传感器输出数据取得部42按照介由输入装置15的用户指示等从传感器组12取得针对传感器轴的多个切片平面的N个物理量的分布，来生成将各平面上的位置与由物理量集构成的矢量值建立对应后的矢量值信息(S10)。
在该处理中，矢量值信息所包括的矢量值也可以不是从传感器组12发送来的N个物理量本身。例如可以根据欲最终显示的信息等，讲不需要的物理量从要素中排除掉，也可以将用不同的物理量彼此进行运算后获得的值追加为矢量值的新要素。此外，还可以进行若某个物理量超过了阈值、则将另一物理量记为0等基于阈值判定的掩蔽(masking)。例如在仅显示某温度以下的对象物时等，该方法是有效的。
可以生成多种像这样操作计测值而获得的矢量值信息，通过显示时的操作来切换显示对象。物理量的具体加工规则由用户来决定等，并将之作为附加数据预先存储到未图示的存储器等中，由传感器输出数据取得部42在矢量值信息生成时进行参照。
然后，切片图像生成部44针对设定于各切片平面的二维排列的各像素，分别基于矢量值决定α值(S12)。α值的具体决定方法将在后面叙述。此外，切片图像生成部44基于矢量值，针对各该像素分别决定颜色信息，由此生成将颜色信息和α值保持为像素值的切片图像数据，并将之存储于切片图像存储部48(S14)。RGB、YCbCr等颜色信息的色彩表现系统不被限定。此外，如上文所述那样，在图像描绘部54描绘时基于切片图像生成α值的情况下，不需要由切片图像生成部44设定α值，故不将α值存储于切片图像存储部48。
按照根据物理量的种类和显示目的等预先设定的规则，来决定颜色信息。例如可以将3个传感器12＿1、12＿2、12＿3所计测到的值分别作为红色的亮度、绿色的亮度、蓝色的亮度来表示RGB。此时，在最终所显示的三维对象中，传感器12＿1计测的物理量较大的物质强烈显现出红色、12＿2计测的物理量较大的物质强烈显现出绿色、12＿3计测的物理量较大的物质强烈显现出蓝色，能根据物质区分颜色。
或者，也可以将某个传感器12＿1所计测到的一个值代入R、G、B全部，通过白色的亮度来表示物理量的大小等。α值及颜色信息的决定规则由用户根据显示内容和显示目的等适当决定，并将之预先存储于未图示的存储器等中。或者，可以一边确认实际的显示，一边介由输入装置15当场进行设定。
反复进行S12和S14的处理，直到生成针对传感器轴的所有切片图像(S16的N、S12、S14)。在生成了所有切片图像后，图像轴变换部50在物理量所被获得的位置准备多个针对预定图像轴的切片平面，针对各图像轴分别生成将各平面上的位置与由物理量集构成的矢量值建立对应后的矢量值信息(S16的Y、S18的N、S20、S10)。然后，与上文所述一样，反复进行针对设于各平面上的像素决定α值和颜色信息，生成、存储切片图像的处理，直到生成针对各轴的所有切片图像(S12、S14、S16的N)。
在针对所有图像轴生成所有切片图像(S18的Y)后，若是能通过其它传感器轴取得物理量的环境，则反复进行S10至S20处理(S22的N)。在所有传感器轴都生成切片图像后，结束处理(S22的Y)。在本实施方式中，为能适当地描绘要最终显示的三维对象，优选准备针对3个轴的切片图像。最简单来说，针对互相正交的x轴、y轴、z轴生成切片图像。可以将这3个方向的轴中的任意一者作为图像轴，也可以不含图像轴。
即，若能将该3个方向的轴作为传感器轴来计测，则图像轴变换部50也可以不进行处理。此外，在传感器轴仅是一个方向的情况下，由图像轴变换部50来生成针对其它图像轴的切片图像，就没有S22的分支了。在传感器轴是2个方向时，也可以将剩余1个方向作为图像轴，由图像轴变换部50生成切片图像等，根据能被设定为传感器轴的方向和其数量，适当改变图像轴的设定。
图6表示在图5的S12中决定切片图像的α值的方法的例子。该图上侧示意性地表示了某个切片平面19i中的矢量值信息，下侧示意性地表示了在对应的切片图像100a中设定的α值。在切片平面19i中，例如在存在对象物的区域102和其之外的区域104，其矢量值的至少一者会有较大程度的变化。该图中，用2种阴影表示了其差异。
由于要设定反映了该差异的α值，故进行如下这样的条件分支。
if max(V_1,V_2,…,V_N)<Th
A＝0；
else A＝1；
在此，Th是预先规定的阈值、A是赋予各像素的α值。即，若矢量值(V_1,V_2,…,V_N)中的最大值小于阈值Th，则使α值为0，若在阈值Th以上，则使α值为1。在图6的切片图像100a中，分别以白色、黑色表示区域102的α值为1、区域104的α值为0。在矢量值信息的切片平面中保持矢量值的位置与在切片图像中定义像素的位置可以不同，在此情况下，在前者的位置，决定α值，并将之适当插值，由此决定各像素的值。
在使用上文所述那样的条件的情况下，在构成矢量值的物理量的种类不同时，为统一比例(scale)而预先将所有值标准化。此外，也可以选中成为分支判断的对象的物理量后，再进行条件分支。若在将对象物的范围内值较高的物理量包括在矢量值中后通过这样的条件分支赋予α值，则没有对象物的区域成为透明、存在对象物的区域成为不透明。其结果，在进行α混合(alpha blending)描绘时，成为仅没有对象物的区域能看到其对面侧这样的显示结果。
图7表示决定切片图像的α值的方法的另一例子。图的表示方法与图6一样。将此情况下的条件分支如下这样设定。
if max(V_1,V_2,…,V_N)<Th
A＝0；
else A＝max(V_1,V_2,…,V_N)；
在矢量值(V_1,V_2,…,V_N)中，若最大值小于阈值Th，则将α值定为0，这一点与图6相同，但在最大值在阈值Th以上时，使该最大值本身成为α值。在此，构成矢量值的各物理量已被标准化。在该图的切片图像100b中，用渐变(gradation)来表示区域102的α值在Th≦A≦1范围内变化。
通过这样的条件分支，例如能通过颜色的透射率来表示对象物内部的物理量的变化。此外，与图6所示的例子相比，能使对象物的轮廓附近的α值缓缓地变化，故即使在轮廓处产生锯齿或噪声，其也不会明显。
作为基于矢量值决定α值的条件，除此之外还可以考虑多种。例如也可以与图7的情况相反，设定如下这样的条件分支。
if max(V_1,V_2,…,V_N)<Th
A＝max(V_1,V_2,…,V_N)；
else A＝1；
根据该设定，在没有对象物的区域等中，能根据构成矢量值的物理量的大小来改变α值。例如能通过颜色的透射率来表示对象物的周边温度或周围的湿度等。
此外，若仅关注构成矢量值的物理量中的1个物理量V＿i，也可以考虑如下这样的条件分支。
if V_i<Th
A＝0；
else A＝1；
或者
if V_i<Th
A＝0；
else A＝V_i；
上文所述的2个条件分支中，除以1个物理量V＿i作为分支判断的对象外，与图6和图7所示一样。例如，能在因物质而不同的物理量变高时，切换作为对象的物理量V＿i，由此切换要显示为对象物的物质。
此外，也可以设定Th1、Th2(Th1＜Th2)这2个阈值，设定如下条件分支。
if max(V_1,V_2,…,V_N)<Th2||min(V_1,V_2,…,V_N)>Th1
A＝0；
else A＝1；
即，在矢量值(V_1,V_2,…,V_N)中的最大值小于较大的阈值Th2、或其最小值大于较小的阈值Th1的情况下，即矢量值在预定的中间范围内的情况下，将α值定为0，使之透明化。该例子能适用于如下这样的情况：在对象物区域，某传感器所取得的物理量变小，另一传感器所取得的物理量变大的状况下，只要任意一个传感器有反应，就欲将其都作为对象物显示出来。
在如图6、图7所示那样根据阈值Th与矢量值的最大值的大小关系而改变α值的设定的情况下，在对象物的轮廓附近等最大值接近阈值Th的部分，α值的设定会因矢量值的微小变化而较大地变化，故在显示时容易产生噪声。图8是用于说明在α值的设定中抑制这样的噪声的产生的方法的图。
首先，在左上部分的图表中，将矢量值中的最大值表示于横轴，并将以参照图7所示的条件分支而决定的α值A表示于竖轴。在该方法中，按照预定规则变换由条件分支决定的α值，由此决定最终的α值A。因此，如该图所示那样将该图表中的α值定为暂定值。如图表所示那样，在矢量值的最大值小于阈值Th时，α值A的暂定值为0。在该最大值变得与阈值Th相等时，α值A的暂定值成为该最大值Th。
为抑制这样急剧的α值变化，利用该图右上方所示那样的函数f(A)的作用，算出最终的α值A。函数f(A)例如是在比阈值Th小预定幅度ΔA的α值的暂定值中，从0起缓慢地增大，并且在暂定值比阈值Th大预定的幅度ΔA的期间达到1这样的函数。使基于这样的函数获得的值乘以α值A的暂定值后，成为该图下方所示的图表那样。
即，在横轴所示的矢量值的最大值小于阈值Th时，与暂定值一样，α值A为0。在该最大值变得与阈值Th相等时，使f(Th)乘以暂定值Th后，α值A被抑制得小于该暂定值。其结果，α值不会因矢量值最大值的微小变化而急剧变化。根据实际的显示图像中的噪声的产生率等，预先将函数f(A)最优化。此外，也可以使将α值A的暂定值代入函数f后输出的值定为α值A。
至此的α值设定方法是基于条件分支的较简单的形式。在想用更复杂的方式设定α值时，例如可以针对由构成矢量值的N个物理量构成的N维空间中的位置坐标，预先准备α值。可以想到例如在按构成矢量值的各物理量而不同的阈值来设定α值时，条件分支会变得复杂。
因此，预先制作将针对所有条件的α值与N维空间中的位置坐标、即N个值的组合建立对应后的表。这样，不经过条件分支处理等，仅参照该表，就能从矢量值直接引出α值。
此外，在以构成矢量值的物理量的任意一者或组合为变量来计算预定的函数，并利用其结果决定α值时等也一样，针对矢量值的N个值的所有组合预先计算出α值，将之准备为表。由此，即使在用复杂的方式求取α值的情况下，也能抑制处理时的负荷和至决定的所需时间。
图9是表示显示处理部32进行三维对象的显示处理的处理步骤的流程图。首先，在用户介由输入装置15输入开始显示这一指示后(S30)，切片图像管理部52将为显示三维对象的初始图像而预先设定的视点坐标设定为初始视点，并将从该视点描绘三维对象所需的切片图像的数据载入描绘用存储器56(S32、S34)。实际上，能如上文所述那样从所需的切片图像起依次进行载入，并与以后的对象的描绘处理并行进行。
然后，切片图像管理部52根据视点与三维对象的距离，调整切片图像的数量(S36)。在新生成了插值用的切片图像的情况下，将之存储于描绘用存储器56。此时，为能识别插入的位置，将图像数据本身插入前后的切片图像的数据之间、或将之与轴上的位置建立对应。
然后，图像描绘部54按照介由输入装置15由用户输入的指示等，描绘应表现于三维对象内部的附加对象(S38)。附加对象如上文所述那样是随着用户的操作而移动的光标、与对象物相接地显示的标记、表示对象物的轨迹的线等，使得能由用户选择。图像描绘部54基于用户的指定和通过边缘抽取处理而求出的对象物的轮廓线等决定要显示附加对象的位置后，使用载入到描绘用存储器56中的图像数据来描绘附加对象。
然后，图像描绘部54将载入描绘用存储器56中的切片图像按距视点由远及近的顺序利用α混合进行重叠，由此描绘表示计测空间的三维对象(S40)。此外，如后文所述那样，S38的附加对象描绘处理与S40的α混合描绘可以同时进行。
若用户使用输入装置15进行了移动视点的操作(S44的Y)，则对应视点的变化地反复进行S34至S40的处理。在未进行视点移动或显示停止的操作的期间，继续进行该时点的显示(S44的N、S46的N)，若进行了显示停止的操作，则结束处理(S46的Y)。
图10示意性地表示在图9的S40中，图像描绘部54进行α混合描绘的情况。从距视点114较近者起，依次为屏幕116、与对象对应的切片图像110a、110b、…、110n、背景118。此时，被投影于屏幕116内的某个点115的像成为使通过视点114和点115的视线119、与切片图像110a、110b、…、110n及背景118的交点112a、112b、…、112n、117的像从距视点114较远者起重叠后的结果。在该图的情况下，是交点117、112n、…、112b、112a的顺序。
图11是表示求取图10中所示的屏幕上的点115处的RGB值的处理步骤的流程图。首先，准备变量Ri、Gi、Bi(i是－1以上的整数)，并将背景118的交点117处的RGB值、Rb、Gb、Bb分别代入R-1、G-1、B-1(S50)。若将距视点最远的切片图像110n上的交点112n的RGB值和α值记为(R0、G0、B0、A0)，则将背景118的交点117和切片图像110n上的交点112n重叠时，RGB值如下(S52、S54、S56、S58)。
R＝Kr×A0×R0+(1－Kr×A0)×R-1
G＝Kg×A0×G0+(1－Kg×A0)×G-1
B＝Kb×A0×B0+(1－Kb×A0)×B-1
…(式1)
在此，Kr、Kg、Kb在根据颜色调整切片图像所保持的α值的情况下，是分别与红色、绿色、蓝色相乘的α值的系数，根据需要，在0＜K＜1这一范围内进行设定。在不需要基于颜色的调整时，Kr＝Kg＝Kb＝1。使上式的R、G、B成为新的R0、G0、B0，使i增量，按靠近视点的方向依次进行该处理，直到最后的切片图像(i＝nslice－1)的交点(S60的Y、S62)，由此，能得到允许透明、半透明状态地使nslice个切片图像的交点全部重叠后的RGB值(S60的N)。
但是，描绘的处理步骤不限定于此。例如也可以考虑如下这样求取RGB值。即，若将式1一般化成重叠到第k+1个切片图像(i＝k)时的RGB值，则成为下文那样。
R’k＝Kr×Ak×Rk+(1－Kr×Ak)×R’k-1
G’k＝Kg×Ak×Gk+(1－Kg×Ak)×G’k-1
B’k＝Kb×Ak×Bk+(1－Kb×Ak)×B’k-1
…(式2)
在式2中，将重叠后的RGB值记为(R’k，G’k，B’k)，与第k+1个切片图像自身的RGB值(Rk，Gk，Bk)区分开。利用式2的关系，将重叠到最后的切片图像(i＝nslice－1)时的最终RGB值回溯展开至背景的RGB值后，能如下这样以各个切片图像的RGB值的线性结合来表示该最终的RGB值(R’nslice－1，G’nslice－1，B’nslice－1)。
在此，(Bri，Bgi，Bbi)是第i+1个切片图像的RGB值(Ri，Gi，Bi)的系数，基于切片图像的α值而算出。因此，在描绘前就决定出所有切片图像的α值的方案中，可以根据视点先求出系数(Bri，Bgi，Bbi)后，采用式3算出最终的RGB值。
图12是用于说明在图9的S34中，切片图像管理部52根据视点决定所需的切片图像数据的处理的图。如上所述，切片图像是将相对于预定的轴离散的位置的物理量的分布图像化后的结果。在传感器轴为该图中纵向的z轴时，基本上，所生成的切片图像是如切片图像组120那样构成xy平面的互相平行的多个面。在使用该切片图像组120显示从该图上方或下方观看时的三维对象126的情况下，进行图10所说明那样的重叠，由此能描绘出没有不自然感的图像。
此外，在将视点设置于距该图横向的x轴和深度方向的y轴较近的位置时，会看到切片图像间的空间。因此，如上文所述那样，针对不同于传感器轴的图像轴生成切片图像、或针对多个传感器轴计测物理量，来针对多个轴生成切片图像组，并根据视点的移动而切换所使用的切片图像组。在该图的例子中，准备有以x轴为图像轴的切片图像组122和以y轴为图像轴的切片图像组124。
然后，将应显示的三维对象126周围的三维空间进行划分，根据视点处于哪个分区内而切换到描绘所要使用的切片图像组。例如如该图的虚线所示那样，从三维对象126的各顶点起设定与形成该顶点的三维对象126的3个边形成预定角度的边界线。然后，将以这些边界线为侧面的边、并以三维对象的各面为上面的大致台形的空间设为1个分区。
例如在该图中，当视点存在于三维对象126的上面或下面的分区内时，视线最接近z轴，故将以z轴为轴的切片图像组120用于描绘。同样地，在视点处于三维对象126的左面或右面的分区内时，视线最接近x轴，故将以x轴为轴的切片图像组122用于描绘。在视点处于三维对象126的近身面或远身面的分区内时，视线最接近y轴，故将以y轴为轴的切片图像组124用于描绘。
图13是用于说明决定边界线的角度的方法的例子的图。首先，考虑以正交的2个方向为轴的切片图像组，在图12的例子中是以x轴、y轴为轴的切片图像组。该图表示将以x轴为轴的切片图像组122(虚线)和以y轴为轴的切片图像组124(实线)排列于同一xy平面上，并从z轴方向进行观看时的情况。在图中，在从左上方观看三维对象的情况下，经过顶点v的视线随着视点的位置如箭头128、129、130那样变化。
关于具有与各视线的交点的切片图像组的个数，按以x轴为轴的切片图像组122、以y轴为轴的切片图像组124的顺序分别如下。
箭头128的视线：4个、6个
箭头129的视线：6个、6个
箭头130的视线：7个、6个
即，在箭头129的视线的情况下，无论使用哪一个切片图像组的数据，都会进行相同次数的α混合处理，故会获得相同的显示图像。因此，通过以箭头129的方向为边界线，切换前后的显示图像连续地相连接。在将以x轴为轴的切片图像组122的图像的间隔记为Wx、将以y轴为轴的切片图像组124的图像的间隔记为Wy的情况下，箭头129的角度θ满足|tanθ|＝Wy/Wx，故按以下条件切换切片图像组。
在|tanθ|≧Wy/Wx时，切换到以y轴为轴的切片图像组
在|tanθ|＜Wy/Wx时，切换到以x轴为轴的切片图像组
在将上述情况扩展到三维，将视线矢量记为(X，Y，Z)，并将以z轴、x轴、y轴为轴的切片图像组分别标记为Sz、Sx、Sy的情况下，成为如下切换条件。
在|Z/X|≧Wz/Wx且|Z/Y|≧Wz/Wy时，切换到Sz
在|Z/X|＜Wz/Wx且|X/Y|≧Wx/Wy时，切换到Sx
在|Z/Y|＜Wz/Wy且|X/Y|＜Wx/Wy时，切换到Sy
成为上述条件的边界的视线矢量对应于图12的虚线所示的边界线。由此，即使根据视点的变化切换用于显示的切片图像组，也能使得切换前后无缝衔接。此外，在图12、13的例子中，传感器轴或图像轴是垂直于切片图像的，但如上述那样，本实施方式不限定于此。例如在切片图像不垂直于传感器轴的计测系统的情况下，可以重构其计测值，由图像轴变换部50生成的切片图像也可以不垂直于图像轴。传感器轴与图像轴也可以不正交。在这些情况下，也能根据与上述一样的理论设定边界线，与视点相应的切片图像的切换和α混合描绘的处理也是一样的。
图14是用于说明描绘三维对象的另一方法的图。在该图的情况下，同时使用针对x轴、y轴、z轴的切片图像组作为3方向的纹理图像。根据视点132的位置描绘在各面贴有纹理的三维对象136的方法能应用于一般的计算机图形的描绘处理。此外，在本实施方式的情况下，如上述那样，各方向的切片图像具有α通道，故需要从距视点132远的像素起重叠。
但是，在同时使用3个方向的切片图像的情况下，难以按距视点由远到近的顺序确定切片图像的组合。因此，如该图所示那样，按3方向的切片图像组将三维对象136划分成网格状。在图中，三维对象136中所表示的互相交叉的直线表示各切片图像的边缘。若以通过这样的划分而获得的较小的立方体的三维排列为对象，则能容易地确定距视点132由远到近的顺序。
该图的箭头138示意性地表示了这样的顺序。然后，按该箭头138的顺序使用构成各立方体的面的切片图像的像素值，重叠于屏幕上，由此能可透明、半透明状态地表现三维对象136。在该方案的情况下，切片图像管理部52与视点位置无关地载入3个方向的切片图像组的数据。
接下来，说明在图9的S38时，图像描绘部54描绘附加对象的方法。为以浮于三维对象的半透明的空间中这样的状态描绘附加对象，需要考虑与三维对象的α混合描绘的描绘顺序。图15示意性地表示了作为其中的一个方法，先描绘附加对象，再描绘三维对象的处理步骤。
首先，根据视点的位置，准备用于最终描绘三维对象的虚拟立方体142，并用一般的方法在该立方体142内部的所需位置描绘附加对象140(S70)。在该图的例子中，附加对象140是箭头状的光标图形。然后，按上述方法使用切片图像描绘三维对象(S72)。通过先描绘附加对象140，在α值接近0的透射率较高的区域，附加对象140成为原样存留的状态。
然后，在至距视点最近的切片图像重叠完成后，能描绘出光标作为附加对象140浮于三维对象146内的状态(S74)。例如通过使光标指向存在于三维对象146内的对象物148，能恰当地进行利用了显示的说明会等。在将对象物随着时间的推移而移动的形态显示为动图像的情况下，还可以显示对象物的轨迹。此外，还可以在基于所观测到的数据预测出的位置人工地表现其它对象物(生成物)。在该情况下，可以另行进行生成物位置的计算，用户也可以将之作为输入值而输入。
图16示意性地表示了描绘附加对象的另一方法的处理步骤。该例子是并行进行使用了切片图像的三维对象的描绘和附加对象的描绘的方法。首先，将使用了切片图像的α混合描绘进行到要描绘附加对象的位置(S80)。然后，描绘应处于从在该时点位于最上方的切片图像150a至下一切片图像的空间内的附加对象部分152a(S82)。
接下来，将位于切片图像150a之后的切片图像150b重叠(S84)。然后，描绘应处于从该切片图像150b至下一切片图像的空间内的附加对象部分152b(S86)。在该图的情况下，在该阶段，描绘出了附加对象整体。然后，继续将其余的切片图像重叠，由此，与图15一样，能描绘出光标作为附加对象140浮于三维对象146内的状态(S88)。
图17示意性地表示了将传感器组12以预定频率进行计测的结果作为三维对象的动图像来进行显示时的切片图像数据的读出步骤。在该情况下，在切片图像存储部48中，针对各计测时刻t＝0、1、…、T分别生成切片图像组。实际上，是针对各时刻生成3个方向的切片图像组，但在此处省略了图示。
在使用这样的切片图像显示动图像时，尤其需要追随于视点和时间这两者的参数变化地载入新的切片图像数据来进行描绘，故希求各处理的高效化。不显示动图像，仅按视点的移动来改变显示的情况也是一样。在将切片图像存储部48作为2次存储装置来构成时，向描绘用存储器56的数据传送处理容易成为描绘延迟的原因。
因此，切片图像管理部52按描绘所需的切片图像的顺序将之载入描绘存储器56中。例如确定距视点位置最远的切片图像，从该切片图像的数据起依次进行载入。此时，可以根据作为传送路径的总线的带宽等形成由多个切片图像构成的载入单位，按该载入单位进行载入。在该图的例子中，以粗线框所示的3个切片图像数据为载入单位同时载入。
在最初的切片图像数据被载入后，图像描绘部54将切片图像数据从描绘用存储器56依次读出，来逐步实行α混合描绘。与该描绘处理并行地，切片图像管理部52按载入单位载入以后的切片图像数据。在t＝0的切片图像组的载入结束后，同样地载入t＝1的切片图像组。在本实施方式中，依次将切片图像重叠来描绘三维对象，故能采用这样的并行处理，进而能提高针对视点移动请求的响应性，实现顺畅的动图像显示。
根据上文所述的本实施方式，基于按平行的多个平面取得对象物的剖面信息后的层叠图像信息，来生成具有α通道的切片图像，并进行α混合描绘，由此以三维对象表现计测空间。由此，能使用一般的图像处理功能，不增加处理负荷和所需资源地、容易地以可直观理解的形态将对象物和其周围的状态可视化。
在生成切片图像的阶段，能使α值和颜色信息的决定规则有多种变化，故制作图像的用户自身容易施以与显示内容和显示目的相应的加工。此外，即使最初取得的层叠图像信息是针对一个轴的结果，也预先生成针对多个轴的切片图像，在三维对象显示时，根据视点的位置切换所使用的切片图像。进而，根据视点的远近调整切片图像的量。通过这些结构，即使源数据是离散的二维图像，也能全方位无不自然感地显示三维对象。此外，针对多个轴的切片图像能在描绘需要时生成。这样，能缩减存储切片图像的存储器的容量。
此外，能在三维对象内生成透明、半透明的空间，故能将光标等附加对象显示于三维对象内。其结果，能容易地进行指示对象物、附加追随对象物的标记物、或使轨迹可视化这样的事情，在说明会等时，能实现适当的显示。
此外，在显示三维对象时，能根据视点的位置确定要使用的切片图像的顺序，故若按该顺序进行从二次存储装置向存储器的数据载入，则能使载入处理和描绘处理并行进行。由此，在移动视点、或使三维对象显示为动图像这样切片图像数据的载入频率较高的状况下，也能抑制至显示的时延(latency)。其结果，能不增加存储器容量地实现顺畅的显示变化。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解上述实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包括在本发明的范围内。
例如本实施方式的切片平面是与传感器轴或图像轴成预定角度的平面，但其不限定于平面，也可以是球面或由起伏的曲面等曲面。图18示意性地表示了计测针对部分圆筒状的曲面或部分球面的分布时的切片图像的形状。在该图中，传感器组208测定对象物216所存在的计测空间，此时的计测值的分布是针对以该图的纵向z轴为传感器轴，以其为中心的平行的多个曲面210a、210b、…、210n的结果。在该图的情况下，以穿过传感器轴的剖面中的扇形曲线来表示这些曲面。
切片图像生成部44与实施方式所述同样地针对这样的切片曲面210a、210b、…、210n生成切片图像，但此时所生成的切片图像是与切片曲面相同的曲面状。通过将切片图像作为纹理来处理，不论其形状是平面还是曲面，都能进行同样的处理。此外，图像轴变换部50准备多个以预定角度横切过切片曲面210a、210b、…、210n的平面或曲面，抽取该面上的计测值，来生成朝向不同于切片曲面210a、210b、…、210n的切片图像组。
在该图的例子中，针对垂直地横切过切片曲面210a、210b、…、210n的、相对于附图垂直的平面212a、212b、…、212n，生成切片图像组。还生成沿该图的深度方向排列的切片图像组。使用这样生成的3个方向的切片图像组进行描绘，由此能显示出部分圆筒或部分球形状的三维对象。此时，按照以各方向的切片图像组来划分出的较小的各立方体，按与图14所示一样的顺序依次进行描绘。
如上文所述那样，在本实施方式中，不论切片图像的形状如何，只要将图像作为纹理来处理，就能通过一般的计算机图形处理技术来描绘三维对象。因此，不论其形状或交叉的角度如何，只要它们是已知的，就能同样且容易地将计测结果可视化。
〔标号说明〕
10图像处理系统、12传感器组、14显示装置、15输入装置、20图像处理装置、30图像数据生成部、32显示处理部、42传感器输出数据取得部、44切片图像生成部、46矢量值信息存储部、48切片图像存储部、50图像轴变换部、52切片图像管理部、54图像描绘部、56描绘用存储器、58附加对象图像存储部。
〔工业可利用性〕
如上所述，本发明能适用于计算机、图像处理装置、计测装置等信息处理装置。

Claims (10)

1.一种图像处理装置，其特征在于，包括：
数据取得部，取得在预定轴上的不同位置以相同角度交叉且横切过对象物的多个切片面上的各位置上计测到的多种物理量的分布信息，
切片图像生成部，通过基于上述切片面上的各位置的上述多种物理量，将各位置的颜色信息以及α值决定为像素值，来针对各上述切片面分别生成将上述多种物理量的分布信息表现为图像的切片图像，以及
图像描绘部，将上述切片图像排列于上述轴上的对应位置，并根据被输入的视点位置进行α混合描绘，由此将由上述多个切片面构成的三维空间显示为三维对象，
上述切片图像生成部基于上述各位置的上述多种物理量中的至少一者与预定阈值的大小关系，按照规定的规则决定该位置的α值，或者，将针对上述各位置的上述多种物理量的组合所预先设定的α值决定为该位置的α值。
2.如权利要求1所述的图像处理装置，其特征在于，
上述切片图像生成部还从上述分布信息中抽取出相对于与所述预定轴方向不同的轴成预定角度且位置不同的多个面上的各位置的值，由此针对各该面分别生成上述切片图像；
上述图像描绘部根据视点位置切换所使用的切片图像的轴。
3.如权利要求1或2所述的图像处理装置，其特征在于，
还包括切片图像管理部，根据视点与上述三维对象的距离的缩短，对在上述排列中相邻的上述切片图像的对应像素的像素值进行插值，生成新的切片图像，由此在切片图像间进行插值。
4.如权利要求1所述的图像处理装置，其特征在于，
上述图像描绘部将针对以预定角度交叉的3个方向的轴的上述切片图像同时进行排列，并按由各切片图像的面所划分出的立体单位、按距视点由远到进的顺序进行α混合描绘，由此显示上述三维对象。
5.如权利要求1或2所述的图像处理装置，其特征在于，
上述图像描绘部在根据视点位置而确定的上述三维对象内部的空间描绘预先以规定的形状准备了图像的数据的附加对象后，通过α混合描绘来描绘上述三维对象。
6.如权利要求1或2所述的图像处理装置，其特征在于，
上述图像描绘部通过用被排列后的切片图像面分割预先以规定的形状准备了图像的数据的附加对象的模型，来生成该附加对象的描绘单位，并在描绘夹着一个描绘单位的切片图像中的一者后，先描绘该描绘单位再描绘另一切片图像，由此来将上述附加对象描绘于上述三维对象的内部。
7.如权利要求1或2所述的图像处理装置，其特征在于，
上述图像描绘部描绘针对具有预定位置关系的多个视点的多个上述三维对象，并同时或依次进行显示，由此使该三维对象立体视觉化。
8.如权利要求1所述的图像处理装置，其特征在于，
上述数据取得部取得与多个轴对应的多个上述分布信息；
上述切片图像生成部按照针对该多个轴的上述多个切片面，分别生成切片图像；
上述图像描绘部根据视点位置切换所使用的切片图像的轴。
9.一种图像处理装置，其特征在于，包括：
切片图像存储部，存储将分布信息表现为图像的切片图像数据，该分布信息是在预定轴上的不同位置以相同角度交叉且横切过对象物的多个切片面上的各位置上计测到的多种物理量的分布信息，所述切片图像数据是通过针对上述多种物理量的分布信息，基于上述切片面上的各位置的上述多种物理量，将各位置的颜色信息以及α值决定为像素值而生成的，
切片图像管理部，根据所被输入的视点位置，将上述切片图像的数据从上述切片图像存储部载入到描绘用存储器，以及
图像描绘部，与上述切片图像管理部的载入处理并行地、按被载入到上述描绘用存储器的顺序，将上述切片图像排列于上述轴上的对应位置，并进行α混合描绘，由此将由上述多个切片面构成的三维空间显示为三维对象，
关于上述α值，基于上述各位置的上述多种物理量中的至少一者与预定阈值的大小关系，按照规定的规则决定该位置的α值，或者，将针对上述各位置的上述多种物理量的组合所预先设定的α值决定为该位置的α值。
10.一种图像处理方法，其特征在于，包括：
在图像处理装置中，取得在预定轴上的不同位置以相同角度交叉且横切过对象物的多个切片面上的各位置上计测到的多种物理量的分布信息的步骤，
针对各上述切片面，分别基于上述切片面上的各位置的上述多种物理量，将各位置的颜色信息以及α值决定为像素值，由此生成将上述多种物理量的分布信息表现为图像的切片图像的数据的步骤，以及
将各切片图像排列于上述轴上的对应位置，并根据从输入装置输入来的视点位置进行α混合描绘，由此使由上述多个切片面构成的三维空间作为三维对象而显示于显示装置的步骤，
在生成所述切片图像的数据的步骤中，基于上述各位置的上述多种物理量中的至少一者与预定阈值的大小关系，按照规定的规则决定该位置的α值，或者，将针对上述各位置的上述多种物理量的组合所预先设定的α值决定为该位置的α值。
CN201280054856.6A 2011-11-10 2012-10-23 图像处理装置、图像处理方法、及图像文件的数据结构 Active CN103918013B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011246279A JP5866177B2 (ja) 2011-11-10 2011-11-10 画像処理装置および画像処理方法
JP2011-246279 2011-11-10
PCT/JP2012/006767 WO2013069215A1 (ja) 2011-11-10 2012-10-23 画像処理装置、画像処理方法、および画像ファイルのデータ構造

Publications (2)

Publication Number Publication Date
CN103918013A CN103918013A (zh) 2014-07-09
CN103918013B true CN103918013B (zh) 2017-10-20

Family

ID=48289080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280054856.6A Active CN103918013B (zh) 2011-11-10 2012-10-23 图像处理装置、图像处理方法、及图像文件的数据结构

Country Status (5)

Country Link
US (1) US9466146B2 (zh)
EP (1) EP2779109B1 (zh)
JP (1) JP5866177B2 (zh)
CN (1) CN103918013B (zh)
WO (1) WO2013069215A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9754169B2 (en) * 2011-12-16 2017-09-05 Nec Corporation Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof
JP5988088B2 (ja) * 2012-06-08 2016-09-07 富士通株式会社 描画プログラム、描画方法、および、描画装置
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
JP5665068B1 (ja) * 2014-09-05 2015-02-04 株式会社Ｌｉｖｅ２Ｄ プログラム、情報処理装置、制御方法及び記録媒体
DE112015006312T5 (de) * 2015-04-15 2017-12-28 Olympus Corporation Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
JP6738631B2 (ja) * 2016-03-29 2020-08-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
CN106127862B (zh) * 2016-06-16 2019-02-26 财付通支付科技有限公司 图形的处理方法和装置
CN106210693A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种图像显示的方法、电子设备及电子装置
KR101947692B1 (ko) * 2017-06-23 2019-04-29 주식회사 맥스로텍 3d 모델 슬라이싱 장치 및 방법
US20200388032A1 (en) * 2019-06-04 2020-12-10 JelloX Biotech Inc. Three dimensional histopathology imaging method and system thereof
CN110505465B (zh) 2019-08-30 2022-08-23 京东方科技集团股份有限公司 数据传输方法、三维图像显示方法、装置及电子设备
EP4042378A1 (en) * 2020-01-24 2022-08-17 St. Jude Medical, Cardiology Division, Inc. System and method for generating three dimensional geometric models of anatomical regions
CN114489315B (zh) * 2020-11-12 2023-12-19 幻景启动股份有限公司 图像处理系统以及图像处理装置
KR102353500B1 (ko) * 2020-11-25 2022-01-20 한국전자기술연구원 공차 오류 문제를 해결하기 위한 3d 프린팅 슬라이싱 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266215A (ja) * 1992-03-18 1993-10-15 Toshiba Corp 画像表示装置
WO2001063561A1 (en) * 2000-02-25 2001-08-30 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
JP2003263651A (ja) * 2002-03-12 2003-09-19 Inst Of Physical & Chemical Res ボリュームレンダリング方法とそのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297799B1 (en) * 1998-11-12 2001-10-02 James Knittel Three-dimensional cursor for a real-time volume rendering system
JP3529759B2 (ja) * 2001-01-26 2004-05-24 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
US7043701B2 (en) * 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
JP2004141514A (ja) * 2002-10-28 2004-05-20 Toshiba Corp 画像処理装置及び超音波診断装置
JP3960382B2 (ja) * 2003-06-18 2007-08-15 独立行政法人産業技術総合研究所 テンソルボリュームデータの実時間可視化方法及び装置
US7154500B2 (en) 2004-04-20 2006-12-26 The Chinese University Of Hong Kong Block-based fragment filtration with feasible multi-GPU acceleration for real-time volume rendering on conventional personal computer
US8330763B2 (en) * 2007-11-28 2012-12-11 Siemens Aktiengesellschaft Apparatus and method for volume rendering on multiple graphics processing units (GPUs)
US8044971B2 (en) * 2008-01-31 2011-10-25 Arm Norway As Methods of and apparatus for processing computer graphics
DE102009042327A1 (de) * 2009-09-21 2011-04-07 Siemens Aktiengesellschaft Effiziente Visualisierung von Objekteigenschaften mittels Volume Rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266215A (ja) * 1992-03-18 1993-10-15 Toshiba Corp 画像表示装置
WO2001063561A1 (en) * 2000-02-25 2001-08-30 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
JP2003263651A (ja) * 2002-03-12 2003-09-19 Inst Of Physical & Chemical Res ボリュームレンダリング方法とそのプログラム

Also Published As

Publication number Publication date
JP2013105188A (ja) 2013-05-30
EP2779109A1 (en) 2014-09-17
EP2779109B1 (en) 2020-04-22
EP2779109A4 (en) 2016-06-01
JP5866177B2 (ja) 2016-02-17
US9466146B2 (en) 2016-10-11
US20140306952A1 (en) 2014-10-16
CN103918013A (zh) 2014-07-09
WO2013069215A1 (ja) 2013-05-16

Similar Documents

Publication Publication Date Title
CN103918013B (zh) 图像处理装置、图像处理方法、及图像文件的数据结构
CN101584589B (zh) 图像处理装置以及图像处理方法
EP0311081B1 (en) Displaying method and apparatus for three-dimensional computer graphics
US7496222B2 (en) Method to define the 3D oblique cross-section of anatomy at a specific angle and be able to easily modify multiple angles of display simultaneously
CN112704516B (zh) 三维超声流体成像方法及系统
US7714872B2 (en) Method of creating texture capable of continuous mapping
US20130187903A1 (en) Image processing method and system
CN107924580A (zh) 在医学成像中的表面体积混合模块的可视化
CN110458959B (zh) 体三维显示仿真方法、装置、设备及计算机可读存储介质
EP1775685B1 (en) Information processing device and program
KR101353303B1 (ko) 그래픽 처리 유닛, 그래픽 처리 유닛을 갖춘 영상 처리 장치 및 그래픽 처리 유닛을 이용한 영상 처리 방법
KR20170134592A (ko) 가상 육면체 모델에 기초한 가상 3차원 모델 생성
CN111325825B (zh) 确定体积数据集的照明效果的方法
CN111047506A (zh) 环境图生成和孔填充
CN101275993A (zh) 基于纹理的快速dt-mri张量场可视化系统和方法
JP2012190428A (ja) 立体映像視覚効果処理方法
US20150062119A1 (en) Image processing device, 3d-image display device, method of image processing and program product thereof
Kaufman et al. A survey of architectures for volume rendering
Noon A volume rendering engine for desktops, laptops, mobile devices and immersive virtual reality systems using GPU-based volume raycasting
Kalarat et al. Real-time volume rendering interaction in Virtual Reality
Al-Oraiqat et al. Generalized 3D voxel image synthesis architecture for volumetric spatial visualization
JP6106293B2 (ja) 画像処理装置、画像処理システム、および画像処理方法
Williams A method for viewing and interacting with medical volumes in virtual reality
JP2007066055A (ja) ３次元オブジェクト内で３次元的に分布するテンソル量を表示するコンピュータプログラム及びテンソル量表示画像データ生成方法
EP0549183B1 (en) System for displaying solid cuts for surfaces of solid models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant