CN106576183A - 发射信号处理装置及方法、接收信号处理装置 - Google Patents
发射信号处理装置及方法、接收信号处理装置 Download PDFInfo
- Publication number
- CN106576183A CN106576183A CN201580011795.9A CN201580011795A CN106576183A CN 106576183 A CN106576183 A CN 106576183A CN 201580011795 A CN201580011795 A CN 201580011795A CN 106576183 A CN106576183 A CN 106576183A
- Authority
- CN
- China
- Prior art keywords
- stream
- image
- view data
- resolution
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title abstract description 52
- 238000003672 processing method Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 64
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 241001269238 Data Species 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 4
- 241000219739 Lens Species 0.000 description 60
- 210000000695 crystalline len Anatomy 0.000 description 60
- 230000002159 abnormal effect Effects 0.000 description 59
- 230000004075 alteration Effects 0.000 description 51
- 210000001519 tissue Anatomy 0.000 description 31
- 230000008859 change Effects 0.000 description 30
- 239000000463 material Substances 0.000 description 22
- 238000001514 detection method Methods 0.000 description 19
- 239000000835 fiber Substances 0.000 description 19
- 238000009826 distribution Methods 0.000 description 15
- 125000000449 nitro group Chemical group [O-][N+](*)=O 0.000 description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 12
- 208000034699 Vitreous floaters Diseases 0.000 description 11
- 238000002372 labelling Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 241000894007 species Species 0.000 description 9
- 238000002835 absorbance Methods 0.000 description 8
- 238000001727 in vivo Methods 0.000 description 8
- 230000011278 mitosis Effects 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 7
- 239000008280 blood Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000032823 cell division Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 108091060290 Chromatid Proteins 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 5
- 210000004756 chromatid Anatomy 0.000 description 5
- 210000000349 chromosome Anatomy 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000178 monomer Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000004497 NIR spectroscopy Methods 0.000 description 4
- 230000008033 biological extinction Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000031700 light absorption Effects 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 210000002230 centromere Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005194 fractionation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 102000029749 Microtubule Human genes 0.000 description 2
- 108091022875 Microtubule Proteins 0.000 description 2
- 101150020251 NR13 gene Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 241000439496 Varanus dumerilii Species 0.000 description 2
- AEEAZFQPYUMBPY-UHFFFAOYSA-N [I].[W] Chemical compound [I].[W] AEEAZFQPYUMBPY-UHFFFAOYSA-N 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000033115 angiogenesis Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002415 kinetochore Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000004688 microtubule Anatomy 0.000 description 2
- 238000002715 modification method Methods 0.000 description 2
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 108020004414 DNA Proteins 0.000 description 1
- 241000876446 Lanthanotidae Species 0.000 description 1
- JCXJVPUVTGWSNB-UHFFFAOYSA-N Nitrogen dioxide Chemical class O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 241000053227 Themus Species 0.000 description 1
- 241000876466 Varanus bengalensis Species 0.000 description 1
- 241000857212 Varanus nebulosus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004206 stomach function Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- -1 tungsten halogen Chemical class 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本实施例关于发送信号处理装置及发送信号处理方法，并且将应用范围扩展至发送和接收超精细图像数据的系统，能够以各种方式收看节目。本实施例中，编码装置将同一摄影棚内不同角度放置的多个摄影机拍摄得到的多个摄影图像数据进行编码。流化装置将编码的图像数据分别流化；分辨率设定装置决定每个流内图像数据的分辨率。流选择装置从多个流中，在容量允许范围内，选择一个或多个流；流合成装置将选择的流和传输控制信号的流合并为一个流，并将合成的流输出。
Description
技术领域
本发明涉及发送信号处理装置及方法、接收信号处理装置及方法。
背景技术
数字电视播放系统发送图像数据，图像数据水平分辨率为1920像素，垂直分辨率为1080像素。这类分辨率的图像数据一般称为2k1K(有时也仅仅称为2K)。
最近新开发出了一种图像数据处理系统，这类图像数据水平分辨率为3840像素，垂直分辨率为2160像素。这类分辨率的图像数据一般称为4k2k(有时也仅仅称为4K)。
另外，人们还开发出了一种图像数据处理系统，这类图像数据水平分辨率为7680像素，垂直分辨率为4320像素。这样分辨率的图像数据一般称为8k4k(有时也仅仅称为8K)。另外人们还开发出了一种图像数据处理系统，这类分辨率图像数据达到16K。
目前超高分辨率图像数据处理系统不断被开发出来，人们也迫切希望这一技术得到普及。
【已有技术文献】
【专利文献】
【专利文献1】日本专利申请公开第2791310号
【专利文献2】日本专利申请公开第2014-3491号。
发明内容
【发明拟解决的问题】
为了使上述超高精细的图像数据组成的节目能够通过卫星播放系统进行播放，这方面研究在不断深入。然而，节目的内容并不一定都需要超高精细图像数据。另外，虽然已经开发出播放超高精细图像的播放设备及接收器，但是并不是所有的使用者都需要观看8K、4K的超高精细图像组成的节目。
本实施例的目的是：扩展了接受发送超高精细图像系统的使用范围；为了使各种形态的节目都能观看，提供了播送信号处理装置及方法，接收信号处理方法。而且将本实施例延伸到医疗诊断领域，并提供了播送信号处理装置及方法，接收信号处理方法。
【解决问题的方式】
本实施例中，同一物体经不同的角度的摄影机拍摄得到多个图像数据，将所述图像数据分别流化后得到多个流，从所述的多个流中任意选择流，将选择的流线和多个控制信号传输后合并为1个流，生成合成的流，发送信号产生装置将所述合成流作为发送信号输出。
另外，其它的实施例中包括第1流线、第2流线、接收及复原器、分解通路、第1及第2复原器、按钮设定部、系统控制装置。第1流传输第1分辨率设定的符号化的第1图像数据、第2流传输第1分辨率和第2分辨率设定的符号化的第2图像数据；接收及复原器接收和复原合成流；所述的第1图像数据和第2图像数据是被摄物在相同摄影空间的不同角度拍摄得到的图像数据，分解电通路将上述第1流线和第2流线分离；第1及第2复原器将分离的第1和第2图像数据复原，得到第1图像数据和第2图像数据；为了将所述第1和第2图像数据中的第1和第2图像按照设定的显示模式配置到显示器的显示区域，显示模式处理所述第1和第2图像数据，然后输出至所述显示器；为了从上述显示模式中选择多个模式，能够与移动监视器通信、接受处理操作信号，系统控制装置控制上述显示模式设定部。
附图说明
图1为实施例，显示了音乐会大厅转播时数码照相机的配置方法。
图2显示了发送设备的构成，发送设备对图1数码摄影机获得的影像信号进行处理。
图3A使用图2的播放设备，举例说明了负责播放节目组合的编辑操作便携监视器。
图3B使用图2的播放设备，举例说明了负责播放节目组合的编辑操作便携监视器。
图3C使用图2的播放设备，举例说明了负责播放节目组合的编辑操作便携监视器。
图4显示了接收发送信号的接收装置(电视接收装置、机顶盒、记录重放装置、转播装置)的组成。
图5A举例说明用户使用便携监视器对图4的接收装置进行操作。
图5B举例说明用户使用便携监视器对图4的接收装置进行操作。
图5C举例说明用户使用便携监视器对图4的接收装置进行操作。
图5D举例说明用户使用便携监视器对图4的接收装置进行操作。
图5E举例说明用户使用便携监视器对图4的接收装置进行操作。
图6A举例说明用户使用便携监视器对图4的接收装置进行操作。
图6B举例说明用户使用便携监视器对图4的接收装置进行操作。
图6C举例说明用户使用便携监视器对图4的接收装置进行操作。
图6D举例说明用户使用便携监视器对图4的接收装置进行操作。
图6E举例说明用户使用便携监视器对图4的接收装置进行操作。
图7A举例说明用户使用便携监视器对图4的接收装置进行操作。
图7B举例说明用户使用便携监视器对图4的接收装置进行操作。
图7C举例说明用户使用便携监视器对图4的接收装置进行操作。
图8为便携监视器的构成示意图。
图9为系统构成图，显示了图像数据发送装置11、图像数据接收装置12、显示器440及便携显示器460的关系。
图10A显示了便携监视器460的画面。
图10B显示了便携监视器460的画面。
图11A进一步说明了其它的实施例。
图11B进一步说明了其它的实施例。
图12A进一步说明了其它的实施例。
图12B进一步说明了其它的实施例。
图13为示意图，说明了图像数据11以流的方式发送至接收装置12。
图14简略的说明了2K的图像数据(像素群)构成4K的的图像数据(像素群)，4K的图像数据(像素群)构成8K的的图像数据(像素群).
图15为第1整体光学说明图，显示了可见光范围和近红外范围同时观察活体内图像。
图16说明了钨卤素光源的光波长特性。
图17A说明了使用广范围波长时的色差修补方法。
图17B与图17A共同说明了使用广范围波长的色差修补方法。
图17C与图17A及图17B共同说明了使用广范围波长的色差修补方法。
图18说明了可见光范围摄像部的内部构造。
图19为第2整体光学说明图，显示了可见光范围和近红外范围同时观察活体内图像。
图20为图19中光路导向沿着XX的截面图。
图21说明了纯水随着温度变化近红外吸收光谱也发生变化。
图22为细胞在M期中期时内部构造图。
图23说明了水分子层的吸收峰值。
图24为第1应用实施例说明图，显示了近红外光范围摄像部的内部构造。
图25(a)～(e)为第2应用实施例说明图，显示了近红外光范围摄像部的内部构造。
图26为含有特殊信息的机体内影像生成例。
具体实施方式
下面对本发明的实施方案做简略说明。
本实施例中的发射机(即图像数据发送装置)中，编码装置将相同摄影空间内不同角度的多个照相机拍摄得到的多个摄影图像数据分别编码。分辨率设定装置决定了图像数据的分辨率。
流化装置由上述分辨率设定，将编码的多个编码图像数据分别流化。流选择装置在传输处理容量的允许范围内，从所述编码数据传输的多个流中，选择一个或多个流线。流合成装置将选择的流和控制信号传送的流合成为一个流，输出为合成流。发送信号生成装置将上述合成流作为发送信号输出。
此外，接收机(即图像数据接收装置)中，接收及复原器接受第1流(第1流传送第1分辨率设定的编码的第1图像数据)、第1流(第2流传送第2分辨率设定的编码的第2图像数据)以及合成的流并进行复原。此处的所述第1图像和第2图像数据为同一摄影空间对被摄物在不同的角度摄影得到的影像。
分解通路将第1流线和第2流线分离。第1和第2复原器将分解的上述第1和第2流线的图像数据复原，得到第1图像数据和第2图像数据。
为了将所述第1和第2图像数据中的第1和第2图像通过设定的模式，配置到显示区域，显示模式设定部将所述第1和第2图像数据输出到上述显示器。系统控制装置与便携显示器通信，接受到操作信号，从上述模式中选择多个模式，控制上述显示模式设定部。
下面参照具体的图示对实施例说明。图1的例子中，将摄影机VCM1-VCM6如图配置，转播音乐会大厅。摄影机VCM1-VCM6输出的是8K的图像数据。
摄影机VCM5、VCM6由摄像人员手持，在舞台10或者观众席进行摄影。其它的摄影机配置在近似的位置。摄像人员能够任意改变摄影机的方向。
监控室(即发送设备)20一边监控各个摄影机VCM1-VCM9的摄影状况，一边制作节目，而且生成播放信号。
图2显示了上述监控室(即播放设备)20的内部。
摄影机VCM1-VCM9产生的8K图像信号，通过界面111输入编码装置112。图像数据并不限定于8K，也可以是4K或2K的图像数据，它们也可以是组合。
各图像数据经过编码装置112编码为指定的格式。此时编码装置112与分辨率设定装置113一同工作。所述分辨率设定装置113决定了图像数据的分辨率。分辨率设定装置113的动作控制通过后述的系统控制装置140传来的信号控制。
编码的图像数据输入流设备114。流设备114为了使编码的图像数据通过打包(即小包)的方式运送，将图像数据流化。所述流中，也含有控制信号的小包。所述实施例中产生了九种流。
9种流基于记录重放控制部121，记录在记录再生装置122。记录重放控制部121的记录开始、重播重放开始通过专用操作装置123进行控制。记录重放装置122内记录的所有(9种)流，能够以最高分辨率记录。此外，记录重放装置122内记录的流也可以将九个流全部记录。
通过流转运过来的图像数据，通过分辨率设定装置113，可以调整为8K开始的任意分辨率。首先各流的图像，分别通过监视器1-9，能够被编辑监控。监视器1-9配置在显示器放置棚130。
监视器1-9显示的所有九种流可以使用最高的图像分辨率来显示。也就是说，监视器1-9显示的所有(9种)流通过后述的分辨率设定可以调整图像数据分辨率。也可以根据设定的分辨率，显示图像的分辨率也是可以的。
编辑对操作设备(即便携监视器)151进行操作。便携监视器151通过USB线缆与系统控制装置140连接，还可以通过近距离无线通信系统与系统控制装置140相互通信。
这里所说的移动显示器，显示面可以是触屏输入，也可以是操作装置。移动显示器151将显示器放置棚130内的监视器1-9以图标(图像符号，或者简称符号)1-9表示。此外，任意拖放和移动各图标1-9，能够在设置框架15内设置成希望的15A、15B、15C、15D。
也就是说，便携监视器151的设定框架15用来确定需要发送的流。所述设定框架15含有使图标下降的15A、15B、15C、15D。编辑点击想要发送的摄影角度的监视器图标，对范围15A、15B、15C、15D设定。编辑决定想要发送的摄影角度的图像后，能够参考显示器1-9。
移动显示器151的设定情报通过系统控制装置140输入。此时，便携监视器151的设定情报含有流的图像的分辨率。也就是说，编辑任意选择便携显示器151上显示的分辨率按钮B2、B4、B8，能够对范围15A、15B、15C、15D设定的流图像的分辨率设定。例如，将指针移动至范围15A、15B、15C、15D，在分辨率按钮B2、B4、B8选择任意一种，能够设定流的图像的分辨率。
系统控制装置140基于设定信息控制分辨率装置113和流选择装置115，流选择装置115将选择的流输出至流合成装置116。
上述装置中，编辑在范围15A中拖动图标1，分辨率按钮选择B2，按下决定按钮BD。于是，显示器1显示的流的图像数据的分辨率被设定为2K，并输出至流合成装置116。此时，范围15A中设定信息(即鉴别信息)与图标1(显示器1)设定的分辨率为2K的图像数据对应进行显示(如1-2K表示)。图2中，范围15A、15B、15C、15D分别与显示器3、8、5对应，图像的分辨率分别设定为2K、2K、2K。此时，发送流数为4。如果播放系统的播放节目信号的1个频道最大容量为8K，上述合成流的整体图像数据为8K。
上述设定信息(鉴别信息)指的是编辑(用户)选择的流情报，所述流传送的图像数据的分辨率、监视器编号(照相机鉴别编号)。
如上所述编辑一边参照监视器1-9(不同角度的图像)，将希望角度的图像数据按照指定的分辨率传送。
流合成装置116将需要发送的流合成，生成合成流，此外为了使接收侧能更加容易分离各角度的流，在合成流中添加流分离情报。
合成流通过发送信号生成装置117转变为播放信号，所述播放信号传递至接收机118，转变为播放信号输出。
此外500为接收机，与监视器15连接。所述接收机500和监视器15用于确认发送的流图像数据。接收机会在后面详细叙述。
图3A－3C显示了编辑将需要的角度的图像数据设定为希望的分辨率的操作方法。编辑使用能够触屏输入的便携监视器151，能够更方便的进行上述操作。
3A中，显示了范围15B中与监视器1对应，图像数据的分辨率设定为4K，此外范围15C与显示器3对应，图像数据的分辨率设定为2K。另外范围15D与监视器4对应，图像数据的分辨率设定为2K。此时发送流数量为3。
图3B例中，范围15A中与监视器1相对应，图像数据的分辨率设定为4K。此外与范围15C的监视器5对应，图像数据的分辨率设定为4K。此时发送流数量为2。
图3C的例子中，范围15A中与监视器1对应，图像分辨率设定为8K。此时发送流的数量为1。
图4为接收机的构成，输入端400接受卫星播放天线或地上波天线。接收机401受到系统控制装置450控制，从播放信号中选择希望的频道，能够转换所述频道的频率。频率转变后的中间频率信号，输入至复原器402。复原器402进行数字复原，转变为合成流。
接收机401输出的合成流输出至流分离通路403。流分离通路403将不同角度的流分离，提供至第1～第4流复原器411-415。
流分离回路403将各流中的控制情报分离，输出至系统控制装置450。系统控制装置450根据对控制信号的分析，掌握接收的流数、各传输图像数据的分辨率数据以及每个画面的显示时间。此外，系统控制装置450根据控制信号450，判断各图像数据的编码方式。
图3A-图3C中显示了多种发送流，如果流的数量为4，最少需要发送1个流。各流内的图像数据与传送的图像数据的编码方式对应，进行解密。
复原的图像数据分别输出至对应的缓冲通路421-424。缓冲器通路421-424为了能够在同一时间分别图像数据，需要进行延迟调节。
缓冲通路421-424的输出图像输入至显示模式设定部430。显示模式设定部430含有显示RAM1、2、3、4。显示用RAM1-4根据选择器430a的选择，与缓冲通路421-424发生关联。
选择器430a能够将缓冲器电路421-424的输出图像数据写入显示用RAM1、2、3、4。此外，缓冲器电路421的输出图像数据能够写入显示用RAM2、3、4中任意一个。也就是说，根据使用者的操作，选择器430a能够使任意缓冲通路与显示用RAM关联。因此，1个缓冲通路能够与两个显示用RAM关联。
显示用RAM1、2、3、4根据写入器430b的写入信号，写入图像数据，读取器430c根据读出的信号，读出图像数据。显示用RAM1、2、3、4产生的图像数据输入至显示器440。
流分离通路输入的合成流根据记录重放控制部441的控制，记录至记忆装置442。记忆装置442由硬盘，半导体和光驱组成。
流分离通路403分离的各流通过系统控制装置450，输入至显示器用图像数据生成部451，转变为图像数据。
显示器用图像数据输入至操作设备460(即操作装置、移动设备或移动监视器)。移动监视器460与智能手机一样可以输入操作。于是，携带显示器460与系统控制装置450和USB线缆连接，与系统控制装置450相互通信，或者通过近距离无线通信系统与系统控制装置450相互通信。
携带显示器460从菜单显示画面开始，选择流选择按钮后，能够转移至流选择画面。移动显示器460的显示画面是在下侧显示监视器的图像，上侧显示领域DSA。显示领域DSA中显示分割线DL。便携监视器460作为显示器440的显示任务使用。
上述流选择画面中，移动监视器460能够显示监视器图像P11-P14(即显示器模块)。显示器图像P11-P14显示监视器用图像数据生成部451生成的监视器图像P11-P14。
图中，表示了监视器影像p11-P14，每个影像下方都有指示器。途中，监视器影像的分辨率都为2K。此外明知是其中含有音频设置按钮Au1-Au4。对任意一个音频设定按钮Au1-Au4接触后，颜色发生变化(由白变红)，说明当前所选显示器的影像的音频从音频系统输出。
图4中，当前的接受状态如图2所述，一共有4个流传送，每个流的图像数据的分辨率为2K。
利用者在分割线DL划分的多个范围中，设定哪个领域的哪个流的图像需要显示。所述的设定操作如图2、图3A-图3D的说明，通过拖动操作进行。
此外分割线DL划分的多个范围中存在各种模式(即分割模式)。通过操作模式选择按钮DB1，可以变更所述分割模式。
图5A-图5E、图6A-图6E、图7A-图7C显示了各种分割模式。图5A将显示范围DSA分为4份。使用者将监视器影像P11移动至左上领域，监视器影像P12移动至左下领域、将监视器影像P13移动至右上领域、将监视器影像P14移动至右下领域，按下决定按钮。音频选择影像P11的音频。
图5B将显示范围DSA分为3份。使用者将监视器影像P12移动至左上领域，监视器影像P13移动至右上领域、将监视器影像P14移动至下方领域，按下决定按钮。音频选择影像P12的音频。
图5C将显示范围DSA分为2份。使用者将监视器影像P11移动至左领域，监视器影像P14移动至右领域，按下决定按钮。音频选择影像P11的音频。
图5D将显示范围DSA分为3份。使用者将监视器影像P11移动至上领域，监视器影像P12移动至左下领域、将监视器影像P13移动至右下领域，按下决定按钮。音频选择影像P11的音频。
图5D将显示范围DSA分为2份。使用者将监视器影像P12移动至上领域，监视器影像P13移动至下领域，按下决定按钮。音频根据选择影像P12的音频。
图6A-图6E的接收的流一共有3个，1个流转移为4K图像数据，另外两个转移为2K图像数据。
图6A将显示范围分为3份。分别为左侧领域、右侧上方领域和右侧下方领域。使用者将监视器影像P11移动至左领域，监视器影像P12移动至右上领域、将监视器影像P13移动至右下领域，按下决定按钮BD。音频选择影像P11的音频。
图6B将显示范围分为2份。分别为左侧领域和右侧领域。使用者将监视器影像P11移动至左领域，监视器影像P13移动至右领域按下决定按钮BD。音频选择影像P11的音频。
图6C将显示范围分为3份。分别为左侧上方领域、左侧下方领域和右侧领域。使用者将监视器影像P11移动至右领域，监视器影像P12移动至左上领域，监视器影像P13一佛那个至左下领域，按下决定按钮BD。音频选择影像P11的音频。
图6D将显示范围分为1份。使用者选择监视器影像P11-P13中任意一个，移动至1个领域，按下决定按钮BD。音频选择影像P11的音频。
图6E将显示领域分为上下两个范围。使用者将监视器影像P11移动至下领域，监视器影像P12移动至左领域，按下决定按钮BD。音频选择影像P11的音频。
图7A-图7C发送的流一共有两股，分别传送的是4K的图像数据。
图7A将显示范围分为2份。分别为左侧领域和右侧领域。使用者将监视器影像P11移动至左领域，监视器影像P12移动至右领域，按下决定按钮BD。音频选择影像P11的音频。
图7B将显示范围分为2份。分别为上方领域和下方领域。使用者将监视器影像P11移动至上领域，监视器影像P12移动至下领域，按下决定按钮BD。音频根据选择影像P11的音频。
图7C将显示范围分为1份。使用者从监视器影像P11-P12内选择任意一个，移动至领域，按下决定按钮BD。音频选择影像P11的音频。
如上所述，便捷监视器460显示监视器影像和显示器的显示面板的模拟影像。于是使用者使用便携显示器460，通过选择显示器上的显示面板能够方便的进行设定，而且使用者能够非常容易的辨别任何领域中任何监视器影像的分辨率。
此外，如上所述，根据按键确定音频，可以输出至放映厅内所有的音频装置(麦克风)。然而，没有输出至音频装置(麦克风)的其他角度的影像音频，也可以通过耳机进行收听。
图8显示了便携监视器460的组成，便携显示器460通过发送接收机4611与系统控制装置450相互通信。便携显示器460通过切换工作模式，能够与英特网、电话连接。发送接收机4611能够与数据处理部4612相互进行数据传输。
数据处理部4612基于控制部4613的控制，驱动显示面板4615。显示面板4615与触屏操作面板为一个整体。显示面板4615在显示画面时，显示面板4615向数据处理部4612提供画面，给驱动4614提供驱动信号。
控制部4613含有监视器模块生成部4613-1、分割线处理部4613-2、触屏输入判断部4613-3、显示器画面范围设定部4613-4。显示器模块生成部4613-1根据接收生物显示器画面数据，生成显示器影像P11-P14，提供给显示面板4615。
分割线处理部4613-2用于显示分割线DL，根据模式选择按钮DB1的操作，可以显示各种模式的分割线DL。因此能够显示所述分割线。
触屏操作输入判断部4613-3根据显示面板输入的信号，能够判断影像(图标)的鼠标拖动操作、设定分割线DL的输入操作和确定输入操作。
分割线确定后，监视器图像范围设定部4613-4设定显示面板4615上的分割显示区域。
本发明并不限定于上述事实例。上述实施例说明了根据便携监视器151的操作，选择需要发送的流。然而，需要发送的流的分辨率如果频繁变更，利用者会对接收器上的显示模块感到混乱，可能会显示出并非使用者想要的角度的影像。因此，当编辑切换节目时，最好在长时间商业广告期间变更设定。
本发明并不限定于上述实施例。上述实施例参照图2说明了将合成流做成实时影像。然而如前面所述，9个流根据记录再生控制部121的控制，记录在记录重放装置122中。
因此，记录重放控制部121根据专用操作装置123，能够独立控制记录开始、重放开始等。记录再生装置122记录的所有(9个流)能够以最高分辨率记录。
因此，当天摄影结束后，将记录重放控制部121和记录重放装置122与流化装置144连接，设定分辨率设定和选择流。此时，编辑操作专用操作装置123和便捷监视器151，合成需要的流。因此，实施例并不限定于播放信号的发送和接受，可以更广泛的适用于发送信号的发送接受、编辑装置等范围。
上述实施例中，摄影机可以是二次元(2D)摄影机、三次元(立体或者3D)摄影机、或者两种混合。
本案例在相关发明者(村上)的发明专利2791310号的基础上也是适用的。
本项技术是统一控制多个摄影机的摄影环境的技术。本技术适用的范围包括，向主3D摄影机传递摄影条件的信号、向其他多个3D数码摄影机分配摄影控制信号。因此，主3D摄影机摄像的位置和其它多个3D摄影机摄像的位置一致。因此上述被摄像的摄影物从多个角度被拍摄。于是编辑(切换员)在切换角度时，观众不会发现3D影像的不自然。比如说，3D摄像物从第1角度切换为第2角度时，如果远近距离发生明显的变化，观众会感到不自然。不过使用以上技术后，3D被摄影像从第1角度切换为第2角度时，不会感到3D影像的远近距离变化。
上述技术用于图1、图2时，多个角度的3D(或者2D)的画面影像能够从发送装置同时传递给接收装置。其结果为，使用者使用图8所示的便携监视器(或者末端设备)能够任意选择多个角度3D(或者2D)画面进行观看。
本发明对几种实施例进行了说明，这些实施例仅作为提示，并没有限定发明的范围。这些新的实施例，可以以其他各种各样的形式实施，只要不偏离发明的主旨，可以进行省略、替换和变更。这些实施例及其变形例，包含了发明的范围和主旨，与权力要求所述的范围均等。
根据上述接受信号处理装置和发送信号处理方法在各种场合具有很高的利用价值。比如对花样滑冰选手摄影时，大的区域可以用来显示全体和其中的选手，小的第1表示范围用于展示选手的足部，小的第2显示区域也可以用于展示选手的足部。
上述场合时，更小的第3显示区域还可以展示教练的表情，而且选手足部不同角度的影像可以分别在多个区域展示。
而且，上述情况下，多个显示区域也可以使用3D视差影像。也就是说，一个区域使用右眼影像，另一个区域使用左眼影像。
根据上述发送信号处理装置和发送信号处理方法，选择多个发送信号(多个流)时，编辑(选择)操作非常容易。使用带有触屏操作功能的操作设备(编写监视器)151，通过拖动和点击，编辑作业非常容易。此外，接受信号装置处也使用触屏输入操作功能的便携监视器460，使用者能够容易的操作装置。
上述系统可以灵活的运用到多个景点。比如说，在景点进行风景摄影时可以使用图1、图2所示的系统。于是能够从多个角度拍摄景点的风景，此外影像能够发送。
此外上述的说明中，发送信号机118将播放信号传送。然而，便携监视器460如果携带大容量记忆棒、硬盘驱动和光驱，也能够记录合成流。此时如图4所示，可以配置第2接受信号机，接受信号装置接收便携设备传来的合成流。或者通过USB将便携监视器460与接收信号装置连接，将记忆装置442内的合成流传送过来。
此外其他的实施例中，如图2所示，摄影后的多个流(多角度影像数据)记录在记录重放装置122(可以含有记录重放控制部121)，记录重放装置122与摄影系统为可拆卸安装结构。此时记录重放装置122可以用作图4的记忆装置442。此时，图4的接收信号装置可以与流分离，配备多个分辨率变换器。
上述的说明将整体的发送信号统一为8K，从单一角度或多个角度发送影像信号。但是随着发送方法、发送信号能力和发送信号方法的改善，现在能够传送分辨率为16K或以上的信号。因此上述的照相机数量、监视器数量和显示区域数量、分辨率数值仅仅是举例，并不要限定于上述的例子。发送方法可以使用发送信号组合方式，播放频道组合方式、播放信号与英特网推送组合方式。此外播放频道的组合不限定于1家电视台，多个电视台可以将上述不同角度的影像信号发出。
上述系统可以用于各种商业活动。
例如如图2所示，操作摄影系统的摄影师可以为每个摄影机寻找赞助商。此外可以将记录多个流(多角度影像数据)的影像重放装置122(含有记录重放控制部)贩卖给签约赞助商。使用者根据合约，能够从不同的角度观看影像。此外使用者可以根据合约将收看的流进行组合。
上述实施例中，如图2所示播放设备处(图像数据发送装置侧)通过便携监视器151控制需要发送的流，同时需要发送的流根据如图4通过接收装置侧(图像数据接收装置侧)的便携监视器460进行选择和控制。
图9显示了图像数据发送装置11、图像数据接收装置12、显示器440和便携监视器460的相互关系。图像数据发送装置11和图像数据接收装置12内的模块关系，使用模块符号显示。
所述系统中，便携监视器含有发送信号控制模式用于控制图像数据发送装置11。接着，便携监视器460通过图像数据接收装置12，控制图像数据发送装置11。于是，便携监视器460能够控制图像数据发送信号装置11发送的流数量，控制分辨率。
图像数据接收装置12传递至图像数据发送装置11的控制信号的传输方法有很多种，比如有线的方法、无线的方法和英特网等方法。
图9显示了便携监视器460的画面。便携监视器460将图像数据发送信号装置11设定为控制模式。便携显示器460根据用户的操作，将图像数据发送信号装置11发送的流数控制为9。图像数据发送信号装置根据传送容量和指定流数，确定每个这相机获得的图像数据的压缩率，传递9个流。
从图像数据发送信号装置11发送的9个流的压缩图像数据在图像数据接收装置12恢复信号，显示在便携监视器460。多个图像数据可以同时显示在显示器440。
便携监视器460屏幕上显示了1-9个小图像(也可以成为样本图像)。用户可以选择感兴趣的图像。比如按下操作按钮460a，进入画面选择模式。图9显示了用户用左手大拇指触碰操作按钮460a。接着用户选择感兴趣的画面。用户选择的小画面变为粗线框(或者别的图标，或者图像闪烁)，这样的框能区别选择的画面。图9显示了选择小图像5、7、9。此外操作按钮460b为取消选择的操作键，按下操作按钮460b，选择需要取消的小图像，选择就取消了。此时用户选择下一步NEXT键。
图10A显示了按下下一步NEXT键后的画面。所述画面显示了确定分割画面的选择键DB1。此外显示了设定分辨率的分辨率设定按钮B2、B4、B8。
图10B根据模式选择按钮DB1的操作，显示了分割线DL。
分割线DL显示的场合时，小画面5、7、9位于便携监视器460的下侧。此时用户能够对小画面5、7、9设定分辨率。例如用左手大拇指按压显示在左侧的5号，右侧会出现B2、B4、B8的选择，然后可以对小画面5设定分辨率2K、4K、8K中的任意一种。小画面7、9也可以设定为需要的分辨率。
用户设定分辨率后，如图9所示，所述指定情报根据图9所示的图像数据接收信号装置12的系统控制装置450的控制，传送至图像数据接收信号装置11的系统控制装置140。图像数据发送信号装置11根据指定的情报，将小画面5、7、9对应照相机的摄影图像数据处理为指定的分辨率，变换图像数据的流，接着将图像数据发送给接收信号装置12。于是各小图像5、7、9设定的分辨率为2K、4K或8K，如图5A-7C所示。
用户如图10B所示将小画面5、7、9如图5A-图7C的说明拖动至期望的分割区域。于是与便携监视器460的屏幕相同，显示了显示器440的画面。
上述说明中，图像数据接收信号装置12处的便携监视器460通过图像数据接收信号装置12控制图像数据发送信号装置11。但是这不是局限的，便携监视器460可以通过因特网直接控制图像数据接收信号装置。
图11A、图11B是其它的实施例。所述实施例中，便携监视器460或151能够滚动照相机CM1、CM2、CM3、CM4获得的图像A、B、C、D。所述实施例中，被摄物体(房间的内部)通过多个照相机CM1、CM2、CM3、CM4摄影，图像数据发送信号装置11将图像A、B、C、D构成的图像数据分别流化传递至图像数据接收信号装置12。
4个图像数据的画面A、B、C、D沿水平方向连续排列，被图像数据接收信号装置12处理。如果数据被便携监视器460和显示器440显示时，1个或2个画面被收容在便携监视器460和显示装置40中。用户通过滚动画面A、B、C、D，能够看到4个图像数据。实施例中，4个角度的图像都能观察到，能够观看到360度的图像。
图12A、12B为其它的实施例。基本的想法与图11A、图11B说明的实施例相同。比如所述实施例中，以被摄物(家的外侧)为多个照相机CM1、CM2、CM3、CM4摄影。所述实施例中，用户对画面A、B、C、D滚动，能够看到4个图像数据。
图13显示了将数据从图像数据发送装置11发送至图像数据接收信号装置12时使用的流格式。
流基本上含有MainPCK header、ScbPCK header和数据部。内容在搬运过程中使用数据部。每个流量包的一个数据部含有符号化的2K图像数据。2个流量包构成4K图像数据。4个流量包构成8K图像数据。
摄影机拍摄得到的8K图像数据，根据频率数范围分解，每个范围的图像数据被编码压缩，收容在数据包中。将每个数据包范围内的数据恢复信号，恢复的各图像数据又合成为8K的图像数据。
为了再次播放，数据包头部的SubPCK Header中记录着摄影机编号(也可以成为角度编号)、数据ID。图1所示的就是照相机的识别号码。数据ID识别SubPCK Header内数据部的内容种类。数据部的内容为控制数据、图像数据、音频数据、文本数据及其他数据(例如应用数据)。
内容为图像数据时，用于鉴别图像数据的数据ID后含有图像符号化情报(什么种类的符号化方式进行符号化)、分别率为2K、4K或8K的设定情报。此外，含有图像数据为2D、3D的右侧还是左侧的情报数据。此外是否为播放的图像数据，是否为再次播放的图像数据、是否为观察的图像数据，以及时候为这些图像数据的组合等各种鉴别信号。
编码情报能够显示图像数据没有编码化(例如表示为0000……00)。本系统根据要求，生成的数据以数据包传送。
流含有MainPCK Header。MainPCK Header含有管理数据包的数据。于是mainPCKHeader至少含有数据包的管管理情报。mainPCK Header记录MainPCK header ID、流ID、符号化方式。此外含有预留领域。流ID记录所述Mainhead管理的流、控制数据、图像数据、音频数据、文本数据、其他数据(例如应用数据、实时数据、重放数据)是否传送。流ID显示为实时数据时，表示为实时播放节目的流，重放数据时是从记录媒体重放时的流。
而且，当内容为图像数据时，数据ID用于识别图像数据，其后面的数据为图像编码信息(显示使用何种编码方式编码)、分辨率情报(分辨率为2K、4K、8K)中的一种。此外还含有图像数据为2D、3D的右侧或是3D的左侧等信息。此外，含有各种识别情报，判断播放的是图像数据、重放的是图像数据、还是正在观察的数据或者是这些图像数据的组合。
图像数据接收装置12解读上述数据包头部的内容，复原数据部的数据。此外决定数据部的数据传输地址。
图14简略的显示了2K的图像数据构成了4K的图像数据，4K的图像数据构成了8K的图像数据。图14的圆形记号为像素。图14显示了第1框架沿水平方向的像素和像素之间，插入第2框架的像素的方法。所述方法仅仅为举例，并没有做限定。例如在第1框架的模块内的多个像素和第2框架的模块内的多个像素按照指定公式进行计算，可以产生新的像素数量不同的模块。
上述实施例中主要对电视台的节目制作场所或音乐会同时摄影获得的多个图像数据进行说明。然而本实例中，也可以利用内窥镜或导尿管对机体内部摄影，获得多个摄影图像数据，然后可以对所述多个摄影图像数据信号处理或发送信号。摄像机使用小型摄像机，如带有3D功能的内窥镜或腹腔镜。例如图11A、图12A显示的被摄物为机体的患病部位或脏器。接着图像数据接收装置12一边观察便携监视器460和显示器440，方便医生对体内的患部或器官进行诊断。
医生或者使用者有时需要患部或脏器的原始图像(没有编码和解码的数据)。此时，医生或使用者通过操作便携监视器460，向图像数据发送装置11提出需要原始数据。
医生或用户即使与图像数据接受装置12相隔很远，也能够从图像数据发送装置11鲜明的观察到患者和患部实时的样子。此外医生或用户通过便携监视器460从希望的角度观察患部。
以下对适用于医疗领域的实施例做具体说明。图1和图2已经说明了从多个角度摄影获得3D图像数据的方法。与此相同内窥镜和导尿管等机体内摄影装置为了能够从多个角度摄影，可以将相邻的多个检测光学设备(即与此对应的多个接物镜)插入体内，获得体内3D图像数据。接着通过后面所述的方法，能够获得精细的(高分辨率)3D图像数据。也就是说将较小NA值(Numerical Aperture)的较高聚焦深度的两个物镜在体内并列放置，分别配置通过接物镜的光的光路导向。于是能够沿深度方向在前后距离获得大范围的3D图像数据。而且通过焦点深度相对较浅能够获得较大NA的目镜和高精细(分辨率高)的2D图像数据。对2D图像数据和上述3D图像数据做图像处理(图像修补处理)，即使在不同深度方向也能够获得高精细(分辨率高)的图像。
先前实施例中获得多个摄影图像数据的方法主要是在不同角度和不同位置取得摄影图像数据。但是本应用实施例及所述应用例并不限定与此，也可以通过其他方法获得多个图像数据。例如，从同一角度同一位置摄影，收集频率范围不同的摄影图像数据也是可以的。或者分析特定的摄影图像数据，根据分析结果生成新的图像数据，将分析结果图像数据和分析前的原图像数据合并得到多个图像数据也是可以的。此时，将显示分析结果的图像数据与分析前的摄影图像数据以及其他摄影图像数据同时表示也是可以的。此外同时显示方法中，在同一画面内并列放置相互不重叠也是可以的。一部分或者全部与其他的图像重叠显示也是可以的。此时，上述一部分或者全部为半透明图像也是可以的。
图15和图19为实施例，显示了将摄影图像数据按照波长范围分割，得到多个图像数据的方法。图15显示了应用实施形态，光路导外侧覆盖坚固的圆筒(光路固定材料NR9)，不会发生变形。图19的实施例中，光路导向可以变形。
本实施例的特征在于，将现有的可见光和超过可视光范围的波长光同时照射机体内部，分别取得可见光和超出可见光波长范围的摄影图像数据。可视光的波长范围一般在400nm-700nm之间。波长小于400nm的光线被称为紫外光，波长大于700nm的光被称为红外光。下面所示的实施例中还使用了红外光中与可视光波长范围接近的近红外光，本实施并不做限定，紫外光，可视光，近红外光，中红外光，远红外光，量子光以及任意组合都是可以的(例如将不同波长的可见光相互组合则称为同样的名字，即波长范围内的组合)。
图15和图19使用的光源NR15为碘钨灯，当可见光和紫外光组合时，光源使用氙气灯。根据岩元等的文献(岩元睦夫等：近红外分光法入门(1994年、幸书房)5.1.1节)记载，碘钨灯作为光源产生的光波长特性如图16所示，含有波长400nm-700nm的可见光和700nm-2500nm的近红外光。因此将碘钨灯产生的光(摄影观测光NR5)照射机体需观察部位后，能够同时获得可见光和近红外光两类图像数据。
上述光源15产生的摄影观察光NR5通过聚光镜头NR13变为平行光，平行光经半透明反射镜NR11反射，经过色差修正镜头NR7和物镜NR3，光束聚集到机体被观察部位NR1。图15省略了详细的记载，为了使NR15的发光位置在空间范围内变得更广，摄影观察光NR5广范围地照射在机体内被观察部位NR1的附近。
接着机体内被观察部位NR1反射的摄影观察光NR5通过接物镜NR3后，经色差修正镜头NR7进行光路修正。图15所示本实施例如图16所示，为了使用好友广范围波长领域的摄影观察光NR5，需要对广范围使用波长领域进行色差修饰，这是重要的特征。
关于广范围色差修正方法参照图17A-图17C进行说明。如图17A所示，机体内被观察部位NR1内的特定位置α产生漫反射，其中含有摄影观察光NR5中具有指定波长的光NR5-1。光NR5-1经过凸透镜NR21变为平行光，所述凸透镜NR21的材料为光学玻璃或透明塑料，。为了维持正常的散射特性，此处通过的波长越短折射率越大。因此比指定波长光NR5-1波长更长的NR5-2同时通过凸透镜NR21时，如图17B所示，NR5-2会变为发散光。这种光线通过后根据光的波长，光学特性发生变化的现象称为凸透镜NR21的“色差”。所述色差的修正方法如图17C所示，在摄影观察光NR5的光路中添加凸透镜NR23。其结果是，所述摄影观察光NR5通过凸透镜NR23后，上述指定波长光NR5-1以及波长更长的NR5-2共同变为平行光。本方法用于色差修正的物镜NR3如图15所示为高折射率硝基材料NR3-1和低折射率硝基材料NR3-2粘合结构。图15中，物镜NR3整体作为凸透镜使用，高折射率硝基材料NR3-1和低折射率硝基材料NR3-2的交界面如图17c所示，在交界面进行色差补正。
在400nm-700nm的范围和1000nm-1500nm的范围等比较狭小范围进行色差修正时，高折射率硝基材料NR3-1和低折射率硝基材料NR3-2构成的物镜NR3单体就能充分进行色差补正。然而，如本实施例所示，在可见光范围和红外光范围同时获得影像数据时，所述物镜NR3单体的色差修正变得不充分。为了解决这一问题，本实施例在摄影观察光NR5的光路中单独放置色差修正用物镜NR3和色差修正用NR7。
也就是说如上所述，物镜NR3整体为凸透镜属性，NR7整体为凹透镜属性，如图17C所示在广范围波长进行色差修正。用于色差修正的NR7为高折射率硝基材料NR7-1和低折射率硝基材料NR7-2拼接而成。因此高折射率硝基材料NR7-1和低折射率硝基材料NR7-2的交界面具有凸透镜特性，能够在狭小范围内进行色差修正。
如上所述，本实施例的波长范围在400nm-700nm之间和1000nm-1500nm之间的狭窄范围进行色差修正，色差修正分别在物镜NR3和NR7单体内部进行，可见光和近红外之间的广范围色差修正由接物镜NR3和接物镜NR7组合修正。
但是本实施例没有局限，例如可视光和近红外光之间广范围的色差修正可以在低折射率的硝基材料NR7-1、NR3-2和高折射率硝基材料NR7-2、NR3-1的物镜NR3单体内部和色差修正用透镜NR7单体内部进行，波长400nm-700nm或1000nm-1500nm之间狭小范围色差修正使用物镜NR3和色差修正物镜NR7的组合。于是能够在可见光到近红外光广范围色差修正，可见光和近红外光都能同时得到非常鲜明(色差很小)的摄影图像数据。此外物镜NR3和色差修正物镜NR7之间的位置若果发生偏离，会产生色差特性变差的问题。这一问题的解决方法是在物镜NR3和色差修正用透镜NR7内部的空洞部配置光路固定材料NR9。通过光路固定材料NR9能够防止物镜NR3和色差修正物镜NR7之间的位置偏离，确保长期的色差修正效果。
摄影观察光NR5通过所述色差修正物镜NR7后，经过半透镜NR11，分色镜NR17将其分为可见光和近红外光。也就是说可见光经分色镜NR17反射到达可见光摄影部NR30，近红外光通过NR17到达近红外摄影部NR40。
上述可见光摄影部NR30的构造如图18所示，所述分色镜NR17将可见光分为淡蓝光、绿光和红光，这些光线分别在摄像面NR35-1、NR35-2、NR35-3得到摄像图像数据。也就是说可见光中的淡蓝光被分色镜NR31反射，在成像透镜NR33-1处形成摄影面NR35-1。此外图18种为了简化图示在摄影面NR35-1上的1点标记为集光，具体是在摄影面NR35-1上成像。绿色光和红色光都穿过分色镜NR31，绿色光经分色镜NR32反射后，通过成像透镜NR33-2在摄影面NR35-2上成像。接着红色光通过分色镜NR32，经成像透镜NR33-3在摄影面NR35-3上成像。
本实施例将可见光分割为浅蓝色光/绿色光/红色光，分别在摄影面NR35-1～NR35-3得到摄影图像数据。通过这种方法能够观察到机体内被检查部位的彩色图像，手术实施者和诊断者能很容易的看懂图像。
本实施例还能利用淡蓝色光得到的摄影图像数据，方便地鉴别出癌细胞。
图19说明了本实施例的一种应用形式，光路可以改变。因为本实施例的光路导向能够变化，所以能够通过导管观察食道和胃，也可以用内窥镜观察肠道。图15中，光路固定材料NR9包围光路导向，光路导向中间形成空洞部NR19。图19的实施例中，光路导向部NR63由具有柔韧性的纤维束组成。光源NR15产生的摄影观察光NR5经过具有柔韧性的照射光导向纤维NR67，被引导至接物镜NR3，所述照射光导向纤维NR67也构成了光路导向部NR63的一部分。
图20显示为图19光路导向部NR63沿着XX的截面图。光路导向部NR63的中心部配置了上述照射光导向纤维NR67。光路导向纤维NR67的周围配置纤维束NR61，纤维束NR61由多根光路导线纤维NR65组成，光路导向纤维NR65引导机体被观察部位NR1反射的摄影观察光NR65。
此外如图19所示，多光路导向纤维NR65在中途分支，分别朝向可见光检测部NR75和近红外光检测部NR77。在近红外光检测部NR77中，光路导向用纤维NR65再次分支，分别朝向多个近红外光对应摄影面NR73-1～NR73-7。
上述实施例中，多根光导向纤维NR65在中途分支，分别朝向可见光摄影面NR71和近红外光摄影面NR73-1～NR73-7。然而各光导向限额日NR65中途分支，可以朝向不同的摄影面NR71、NR73-1～NR73-7。此外在其它的实施例中，光导向纤维NR65的一部分仅仅朝向摄影面NR71或NR73-1～NR73-7中的几个，其余的光导向纤维部NR65在中途分支，分别朝向可见光摄影面和近红外光摄影面NR73-1～NR73-7也是可以的。此处与各摄影面NR71、NR73-1～NR73-9领接的光导向纤维的一端NR79-1～NR79-8分别为特殊的光学涂层，摄影观察广NR5指定波长的光才能通过。(也就是说形成了通过波长非常狭窄的带通色滤镜)。其结果为，可见光摄影面NR71和近红外光摄影面NR73-1～NR73-7分别能够检出摄影观察光NR5内特定的波长成分。
如图15和图17-图17C的说明一样，图19的接物镜NR3和色差修正透镜NR7组合在可见光至近红外光范围进行色差修正。并且不仅限定于色差修正，球面象差、慧形象差、像面弯曲、歪象差、非点象差等各种象差和高次象差都可用接物镜NR3和色差修正透镜NR7组合修正。而且一定程度的象高的象差修正也可以在上述象高范围内保证成像模式的鲜明度。体内被观察部位NR1和色差修正物镜NR7出口的瞳面之间的摄影观察光NR5的振幅特性为相互傅里叶变换关系，而且色差修正物镜NR7出口的瞳面上施加绝对值乘2的特性，每个光强度得到保证，通过光导向纤维NR65运送至摄影面NR71、NR73-1～NR73-7，每个光导向纤维NR65传输的光在可见光对应摄影面71和近红外光对应摄影面NR73-1-NR73-7检测出相应的光量。此处可见光对应摄影面NR71和近红外光对应摄影面NR73-1～NR73-7为CCD或CMOS感应器能够在2次元检测出光，所述各图像的光强度信号能够被检测出。因此对可见光对应摄影面NR71和近红外光对应摄影面NR73-1～NR73-7得到的光强度模式信号运算，得出机体内被观察部位NR1上指定波长的光强度分布特性。
接下来对指定波长的每个光强度分布的计算方法(演算处理方法)做一说明。如前所述，机体内被观察部位NR1的摄影观察光NR5的振幅频率经傅里叶变换显示在色差修正透镜NR7出口的瞳面上。接着将色差修正透镜NR7出口的瞳面上的振幅分布做逆傅里叶变换，得到机体内被观察部位NR1的振幅分布。色差修正透镜NR7出口的瞳面上的摄影观察光NR5的强度分布是摄影观察光NR5内所有波长光的强度相加值。因此色差修正透镜NR7出口的瞳面上显示的指定波长成分的强度分布模式，分别投影在可见光对应摄影面NR71或近红外光对应投影面NR73-1～NR73-7。因此将可见光对应摄影面NR71或近红外光对应投影面NR73-1～-7上强度分布模式对应的像素做平方根计算得出振幅分布，然后做逆傅里叶变换后将振幅分布乘以2，得出机体内被观察部位NR1上指定波长的光强度分布特性。
本实施例中，在机体被观察部位NR1中自动筛选出异常部位，根据自动筛选出的结果，将机体内被观察部位NR1中可见光对应的摄影图像数据(NR15的可见光摄影部NR30和图19的可见光检出部得到)的显示图像数据能够做部分变更，于是手术者和这段这能够方便的发现异常部位，有利于早期治疗。
下面的实施例中机体被观察部位NR1为异常部位，是癌组织等早期病变部位。但是这不是限定的，异常部位也可以是色素沉着部位或良性息肉或是周围组织。此外本实施例将癌组织作为病变部位进行检测，但是这不是限定的，任何种类的病变部位都是可以检出的。
此外本实施例中，利用异常部位特有的光学特性，自动筛选鉴别出机体内被观察部位NR1的异常场所。也就是说利用癌组织的特征：
(1)毛细血管密集(血管新生场所)
(2)温度高于周围部位
(3)细胞分裂频繁(有丝分裂)
检测局部的光学特性具有以上特征部位。癌组织原来的鉴定方法是使用特定波长光吸收的色素和结合的抗体，该方法将抗体注入体内，抗原抗体反应后沉积在癌组织，利用颜色变化(指定波长光的吸收场所)筛选出癌组织。但是上述方法需要将吸收特定波长的色素和抗体这两种异物同时注入体内。与之相比，本实施例不需要将异物注入体内，能够保护患者的健康。此外本实施例中，能够同时检出多个地方，并且具有非常高的精确度。
首先对上述“(1)血管密集(血管新生场所)”的光学检测方法做说明。红细胞含有血红素。上述血红素在绿色光和淡蓝色光的波长范围内具有大的吸收峰，在750nm-850nm有小的吸收峰。因此将淡蓝色光照射毛细血管密集处，蓝色光被吸收局部颜色变暗，将浅蓝色光检出后，能够预测出照射表面存在的密集的毛细血管。利用这一现象能够预测出癌组织存在的场所。下面对利用这一现象检测癌组织存在场所的方法做说明。与图15机体内被观察部位NR1表面乱反射的摄影观察光NR5相对，如图18所示，仅用分色镜NR31将蓝色光抽出在摄影面NR35-1上摄影。因此摄影面NR35-1检出的摄影图像数据在照射表面的毛细血管密集处颜色变暗。偶尔机体内被观察部位NR1表面存在微细的凹凸不平形状，或者说机体内被观察部位NR1表面存在倾斜，摄影面NR35-2上摄影的绿色光的摄影图像数据和摄影面NR35-3上摄影得到的红色光的摄影图像数据也会变暗。因此将摄影面NR35-2和摄影面NR35-3得到的摄影图像数据与摄影面NR35-1得到的淡蓝色光的摄影图像数据比较(仅抽出比较两者不同之处)，能够更好的检测出照射表面附近毛细血管密集的场所(疑似癌组织)。
如果上述场合仅使用可见光时，摄影观察光NR5发生乱反射，隐藏在表面深处的癌组织很难预测和抽检。本实施例为了解决上述问题，利用血红素在波长750nm-850nm具有小吸收峰的特性。一般来说近红外光比可见光在机体内的透过率更高，因此能够检测出机体深处乱反射的光。具体来说，将图15的近红外摄影部NR40和图19的近红外光检出部NR77得到的还有波长750nm-850nm的近红外光的摄影观测光抽出。与前面所述方法一样，将波长750nm-850nm的近红外光的摄影图像数据与可见绿色光和红色光得到的摄影图像数据比较(仅抽出两者明亮不同的区域)，这样抽出的部位具有更高的癌组织可能性，通过选择性的抽出波长750nm-850nm的近红外光的摄影图像数据，能够预测和抽出深处的癌组织。
也就是说本实施例中可见光和与可见光不同波长领域光得到的摄影图像数据，能够将可见光不能鉴别(隐藏在深处)的癌组织从异常部位检测出。
如前所述“(2)比周围组织温度高”的光学检出癌组织等异常部位的方法做一说明。一般情况下近红外光范围内水分子的吸光特性随着温度或pH等变化。尾崎等编写的近红外分光相关书(尾崎幸洋编写的使用分光法系列书(1)近红外分光法(1998年、(日本)IPC)p.9)中记载、前田等测定水的近红外光谱的温度变化((H.Maeda et.al.:J.NearInfrared Spectroscopy vol.3(1995)p.191)的集锦显示在图21。为了阅读方便，集锦的图21显示了水在5℃、35℃及85℃的特性，之间温度的变化也为连续的变化。图21所述的吸光度是在指定光通过指定长度的纯水时，光强度在透过前和透过后强度变化取对数值(常用对数的系数为1)。于是如21的特性图的特征为：
波长为1.44um时，即使温度变化吸光度也能维持
高温时吸收峰波长变为短波
波长1.49um时高温变化时，吸光度显著降低
波长1.41um时高温变化时，吸光度显著增加
于是通过检查机体被观察部位NR1所含水在近红外区域的上述波长光吸收量的变化(吸光光谱的变化)，能够监控机体内被观察部位NR1的温度分布。特别是与周围相比温度上升的部位抽出，这样能够鉴别癌组织等异常部位。下面对机体内被观察部位NR1的温度检测方法做说明。
仅抽样摄影观察光NR5中波长1.41μm附近和波长1.49μm附近的光，测定该光的吸光度是最简单的方法。但是本实施例并不限定与此。
将摄影观察光NR5不同的多个狭窄域光成分抽样，对各检出光演算处理推测温度，此时的演算处理方法为
将随着温度上升吸光度增加的波长域(例如波长1.41um附近)、吸光度降低的波长域(例如波长1.49μm附近)的检测光量做积分计算。
此时将抽样信号做积分运算，不受机体内被观察部位NR1表面形状的影响也能得到稳定的信号。也就是说机体内被观察部位NR1表面有细微的凹凸形状或表面倾斜，波长1.41μm附近光和波长1.49μm附近光的检出光量同时降低，此时对两者做积分运算，能够判断特定范围与周围的温度相比是升高还是下降。
如上述将不同的两个波长域的检出光量做积分运算。将所述积分值与周围部的积分值做高低判断，就能得出温度的高低。如果要进行高精度的温度测定时：
求得随着温度上升，吸光值增加的波长范围(例如波长1.41μm附近)和吸光值降低的波长范围(例如波长1.49μm附近)的检出光量。接着将上述检出光量与随着温度变化吸光度不发生变化的波长域(例如波长1.44μm附近)的检出光量做标准化处理(进行除法运算)后积分。
或者如图21所示，测定水的吸收带的周围波长的吸光度，预测基带WS1的特性。此外随着温度上升吸光度增加的波长范围(例如波长1.41μm附近)和降低的波长域(例如波长1.49μm附近)及不发生变化的波长范围(1.44μm附近)的吸光度进行基带修正(波长范围中产生的吸光值和基带值之间的积分值)。接着将随着温度上升吸光值增加/降低的波长范围和修正值不发生变化的波长范围的修正值做标准运算(除法运算)再进行积分也是可以的。
利用此方法，不受到机体内被观察部位NR1的表面形状，也能精确的测定指定部位的温度。
接着对上述“(3)细胞分裂活跃”的光学检出癌组织和异常部位的鉴别筛选方法做说明。如22显示了1个细胞在细胞分裂(有丝分裂)进行时(M期中期)的细胞内构造。细胞分裂(有丝分裂)时，细胞601内的姐妹染色单体(复制的染色体)603并列排列。此外每个姐妹染色单体(复制的染色体)603中在具有着丝点605，所述着丝点605和纺锤体极607之间通过着丝点微管609连接。构成所述姐妹染色单体(复制的染色体)603的DNA(Deoxytibonucleicacid)内的磷酸基团带有负电荷。所述磷酸基团的负电荷将周边的水分子拉拢过来，所述姐妹染色单体(复制的染色体)603的周边如图22所述形成了多层水分子层611。实际上，细胞分裂(有丝分裂)时细胞601内的水分子到处活动，不可能如图22所示存在固定的水分子层611。但是细胞分裂(有丝分裂)时细胞601的周围有相对较高的可能存在水分子，形成水分子层611。于是水分子层611内水分子很有可能与氢原子结合。其结果如图23所示形成了属于水分子的吸收峰WS3。于是通过能否检出属于水分子层的吸收峰WS3来判断测定对象是否发生活跃的细胞分裂(有丝分裂)，鉴别筛选出癌组织及异常部位。
为了识别抽取上述癌组织等异常部位，使用图15的近红外范围摄影部NR40得到的情报，所述近红外范围摄影部NR40的内部构造如第1实施例的图24所示。在摄影观察光NR5中通过分色镜NR17筛选出近红外光中波长850nm的光(特别是波长在750nm-850nm之间摄影观察光NR5)，从分色镜NR81-1反射抽出。接着如图21所述将比近红外吸收带波长更长和更短的光分别通过分色镜NR81-1和NR81-2选出，接着将各分色镜NR81-1～NR81-3反射的光通过聚光透镜NR83-1～NR8-3成像在近红外光摄影面NR85-1～NR85-3上。此处近红外光摄影面NR85-1得到的情报用于预测上述隐藏在深处的癌组织等异常场所。近红外光摄影面NR85-2和NR85-3得到的情报用于检出上述基带WS1的特性。接着含有纯水的近红外吸收带范围内的波长的摄影观察光NR5通过分色镜NR81-1～NR81-3，再通过液晶滤镜NR87闪光化，再通过光栅NR91后分光，接着通过聚光透镜NR93在近红外光摄影面NR95上成像。此处液晶滤镜NR87中，存在缝隙部NR89，使沿着水平方向的光透过缝隙。接着缝隙部NR89随着时间推移移动至Y方向，通过缝隙部NR69的摄影观测光NR5在截面上发生变化。通过缝隙部NR89的摄影观察光NR5在闪光化的光栅NR91出波长分割(闪光化的光栅91使通过光的前进方向发生变化)。也就是说本应用实施例中光栅NR91的表面呈微微倾斜，1次光衍射效率很高。其结果是到达近红外光摄影面NR95的摄影用观测光NR5的位置在Y方向存在差异，在Y方向的近红外官摄影面的到达光量分布在图21或图23所述得到近红外吸收光谱。此外如前所述，近红外光摄影面NR95上在Y方向的光强度分布，与机体内被观察部位NR1位傅里叶变换关系。因此将液晶透镜NR87上的缝隙部NR89移动温和，上述方法(逆傅里叶变换方法)能够得出机体被观察部位NR1的成像模式。
接下来参照图25对第2实施例中近红外光摄影部的内部构造做一说明。所示第2实施形态没有图示，没有图24所示的液晶透镜NR87。上述摄影观察光NR5通过闪光化的光栅NR91进行波长分割，机体内被观察部位NR1的成像模式在Y方向形成重叠的模式，此时属于水分子层的吸收波长WS3的中心波长光的异常场所的成像模式NR101如图25(b)所述，异常部位的成像颜色最暗。相反属于水分子层的吸收峰WS3，从中心波长偏离的摄影观察光NR5的成像模式NR103、NR105如图25(a)、25(c)并不是十分暗。因此近红外光摄影面NR95上得到的光强度合成模式NR107如图25(b)所示，为图25(a)～图25(()c)的重叠图像。
此处图25(e)显示了图25(d)光强度分布。图25(d)可以知道，从Y方向光强度最低的位置开始，能够判断癌组织等异常位置。
本实施例使用图26说明含有特殊情报的机体内图像生成的例子，从图15的可见光摄影部NR30得到的信号，在可见图像生成部701生成了可见光领域的摄影图像数据。可见图像生成部701也可以从图19中可见光检出部NR75内配置的可见光对应摄影面NR71得到的信号中，生成可见光领域摄影图像数据。接着色差信号抽出部703从可见图像生成部701得到的在可见光领域的摄影图像数据中，抽出每个像素的色差信号。另一方面如图15所示，使用图24所述的近红外领域摄影部NR40得到信号，在异常图像生成部711生成异常部位的摄影图像数据。此外同时在异常部位种类判定部713判定异常部位的种类，异常部位的可靠度算出部715计算出异常部位的信赖度。此处所述异常部位的种类是癌组织？良性肿瘤？息肉？还是简单的色素沉着？将周围组织与变异组织比较后判断变异的种类。将此处的判断与上述的可见光的一部分(如浅蓝色)或近红外光的一部分检出结果综合推断。此外按照癌组织的判断基准
(1)毛细血管密集(新生血管处)
(2)比周围温度高
(3)细胞分裂活跃(有丝分裂)
进行说明。上述任何基准中任何种类如果符合，计算上述异常部位的可靠度。此外这并不是局限的，事先可以设定每个判断基准的权重，根据项目的权重计算出异常部位的可靠度也是可以的。而且这仅仅是癌组织诊断方法的一个例子，本应用实施例也可以计算出异常部位(如良性肿瘤或息肉的可靠度)。此时与上述一样事先设定判断基准的权重。此外异常部位图像生成部711、异常部位的种类判断部73和异常部位的可靠度计算部715除了使用近红外光摄影部NR40的摄影图像数据，如图19所示也可以使用近红外光检出部NR77内各近红外光对应摄影面NR73-1～NR73-&得到的摄影图像数据。
本实施例中上述异常部位的显示方法包括
异常部位的颜色的变化显示方法和
异常部位标记的显示方法
用户可以进行选择，此外还可以在标记时选择标记处形状(如圆形还是星星)。图26的异常部位的显示形式设定部721是用户交互界面，用户在此选择。该异常部位的显示形式设定部721的具体形态也可以使用触屏、键盘、触摸感应器或声音识别部。此外这也不是局限的，也可以通过无线信号接收部从智能手机或平板电脑输入。这样异常部位的显示方法能够柔性选择，不仅仅能够根据诊断中、手术中或是相应情况选择合适的显示方式，还可以根据用户的喜好，吸引用户的注意，首先对异常部位的颜色变化方法说明，上述异常部位显示设定部721中可以事先设定癌组织时颜色变为浅蓝色，良性息肉时颜色变为绿色等变色方法。接着异常部位的种类判断部713根据判断结果使其变色，异常部位的可靠度计算部715根据计算得到的可靠度(例如100％为癌组织时颜色变为浅蓝色，可靠度比较低时颜色变为蓝色)选择变色的程度。此时变色后的颜色根据上述色差信号集中部703得到的色差信号，并且考虑到可靠度做积分运算得到。接着对上述异常图像生成部711抽出的异常图像施加变色处理。这些都是在异常部位色差信号生成部727内进行。接着生成的异常部位色差信号在图像合成部741内与原来图像生成部701的图像合成，显示在图像的显示部743。)
接下来对异常部位的标记方法说明，用户使用异常部位的显示形式设定部721，事先设定癌组织为两个圆圈表示，良性组织正方形表示等标记方法。于是异常部位的种类判断部713根据判断结果改变标记形状。此外本实施例中，异常部位根据可靠度算出部715计算出的信赖度控制标记的对比度。具体来说可靠度接近100％异常部位为标记不透明的(标记线在可见光领域图像看不到)实线表示。此时为了更好的看到异常部位，将异常部位用标记包围起来。此外随着可靠度下降，透明度增加(标记线在可见光领域的图像一部分可见)，线条逐渐变细，同时变为虚线。该标记形状和标记线的状况在异常部位图像生成部731中设定。一方面异常部位图像生成部711仅生成的异常部位图像，运用异常部位领域范围尺寸计算部723和异常部位的中心位置计算部725计算他的尺寸和中心，在可见光范围内标记异常部位形状。异常部位在可见光范围的图像内不会超出标记线，这样用户可以不受标记的影响观察异常部位的详细形状。接着利用异常部位领域尺寸计算部723和异常部位的中心位置计算部725的结果，在异常部位图像生成部731中设定标记的形状或配置场所或尺寸及线的粗细/线的形状。这里生成的异常部位标记可以在图像合成部741与可见光领域的摄影图像数据合成，显示在图像显示部743。
上述在可见光范围内将图像重叠，显示了癌组织等异常部位作为特殊信息显示。但是本实施例并不限定于特殊情报，也可以用于显示患者的脉搏和血压、呼吸状况等身体状态、或者输血及点滴的残留量、手术使用工具的准备状况(手术刀或手术钳)，现在的时间等环境状况，以及手术室的出入人员等外部情况。此外上述说明是在可见光范围显示图像的特殊情报。本实施例也可以使用其它的显示方法。具体来说将显示部分分割，一部分显示可见光范围内的图像，另一部分显示特殊情报。而且可见光范围内图像和特殊情报可以重叠。
上述实施例中
(1)相同的摄影空间内在不同的位置放置多个摄影机，编码装置将摄影得到的多个摄影图像数据分别编码、分辨率设定装置决定图像数据的分辨率、流化装置设定上述分辨率，并且将编码的多个图像数据流化、流选择装置从上述符号化图像数据传输过来的多个流中，在传送处理容量的容许范围内，选择一个或多个流，流合成装置将选择的流和控制信号传来的流合成为1个流、并将合成流输出，发送信号生成装置将上述合成流作为发送信号输出。
(2)其他的实施例中，上述(1)中便携监视器控制上述分辨率设定装置、流选择装置，选择发送信号的流，决定上述选择的流的分辨率。上述便携监视器监控上述多个摄影图像数据，显示逻辑具有与多个显示器对应的多个模块，用于显示第1图像，显示模块从上述多个模块中选择模块的设定情报，显示在第2图像，上述选择在实行时，通过对上述第1图像内的任意模块触摸操作，可以对第2图像拖动，显示上述设定情报。
(3)其他的实施例中，上述(1)中上述合成流含有立体显示的图像数据。
(4)此外其他的实施例中，还含有第1流、第2流、接受信号和复调节器，第1流将第1分辨率设定的编码的第1图像数据传输，第2流将第1分辨率或第2分辨率设定的符号化的第2图像数据传送，接受信号和复调器接受合成的流。这里的第1图像数据和第2图像数据是被摄影物在相同摄影空间的不同角度摄影得到的图像数据)。接着配置有将上述第1流和第2流分离的分离电路，将分离的上述第1和第2流的图像数据解码，得到上述第1流和第2流的解码器，将上述第1和第2图像数据中的第1和第2图像按照设定显示模式配置在显示器的显示区域，将上述第1和第2图像数据输出至上述显示器的显示模式设定部，为了从上述显示模式中选择，使便携监视器通信，接受操作信号，控制上述显示模式设定部的系统控制设定部。
(5)其他的实施例中，上述(4)的便携监视器配饰触屏输入操作的显示面板，上述显示面板中，多个显示逻辑显示上述第1和第2流的图像，设定多个显示区域，对上述多个模块中对任意模块触屏操作，在上述多个显示区域任意拖动，设定显示模式。
(6)其他的实施例中，上述(5)的合成流中含有显示立体的图像数据。
(7)其他的实施例按照以下方法实施。也就是说形成发送信号装置的模块中，
相同摄影空间内不同场所的多个照相机拍摄得到的多个图像数据分辨编码，确定图像数据的分辨率，设定上述分辨率，并且将编码的多个图像化的图像数据分别流化，上述符号化的图像数据传输的多个流中，在传输容量允许的范围内，选择1个多福讴歌流，学案则的流和控制信号合成为1个流，然后将合成的流输出，上述合成流作为发送信号输出的发送信号处理方法。
(8)其他的实施例中使用便携显示器，设定装置设定上述分辨率，控制流选择装置，选择需要发送的流，决定上述选择的流的分辨率。
使用上述便携监视器，第1图像将上述多个监视上述摄影图像数据的监视器对应的多个模块显示，第2图像将上述多个模块中选择模块设定情报显示，上述选择在实行时，对上述第1图像内的任意模块接触操作，对上述第2图像拖动，能够显示上述特定情报。
【符号说明】
CM1-CM9.摄像机、111.界面、112.编码装置、113.分辨率设定装置、114.流化装置、115.流选择装置、116.流合成装置、117.播送信号产生装置、118.发射器、121.记录重放控制部、122.记录重放装置、130.监视器安置棚、140.系统控制装置、151.便携监视器、401.接收机、402.复原器、403.流分离通路、411-412.流复原器、421-424.缓冲通路、430.显示模式设定部、441.记录重放控制部、442.记忆装置、450.系统控制装置、451.显示器图像数据部、460.便携监视器、601.细胞分裂(有丝分裂)中的细胞、603.姐妹染色单体(复制的染色体)、605.着丝点、607.纺锤体极、609.着丝点微管、611.水分子层、701.可见图像产生部、703.色差信号抽样处、711.异常部分图像生成部、713.异常部分种类判断部、715.异常部分可靠度计算部、721.异常部分显示形式设定部、723.异常部分范围尺寸计算部、725.异常部分中心位置计算部、727.异常部分的色差信号生成部、731.异常部分图像生成部、741.图像合成部、743.图像显示部、NR1.机体内被观察部位、NR3.接物镜、NR3-1.高折射率硝基材料部、NR3-2.低折射率硝基材料部、NR5.摄影观测光、NR5-1.摄影观测光内的指定波长光、NR5-2.摄影观测光内的指定波长光更长的光、NR7.色差修正物镜、NR7-1.低折射率硝基材料部、NR7-2.高折射率硝基材料部、NR9光路固定材料、NR11.半透镜、NR13.聚光透镜、NR15.光源、NR17.分色镜、NR19.空洞部、NR21.凸透镜、NR23.凹透镜、NR30.可见光范围摄影部、NR31、NR32.分色镜、NR33-1～NR33-3.成像透镜、NR35-1～NR35-3.摄影面、NR40.近红外范围摄影部、NR61.纤维束、NR63.光导向部、NR65.光导向用纤维、NR67.照射光导向纤维、NR71.可见光对应摄影面、NR73-1～NR73-7近红外光对应摄影面、NR75.可见光检出部、NR77.近红外光检出部、NR79-1～NR79-8.光导向用纤维面、NR81-1～NR81-3.分色镜、NR83-1～NR83-3.聚光镜、NR85-1～NR85-3.近红外光摄影面、NR87.液晶百叶窗、NR89.缝隙部、NR91.闪光化的光栅、NR93.聚光透镜、NR95.近红外光摄影面、NR101.异常部分的成像样式、NR103、NR105.异常部分的成像样式、NR107、合成样式、WS1.基带、WS3.水分子层的吸收峰。
Claims (13)
1.一种发送信号处理装置，其特征在于，包括编码装置、分辨率设定装置、流化装置、流选择装置、流合成装置和发送信号产生装置；所述编码装置将同一摄影棚内不同角度放置的多个摄影机拍摄得到的多个摄影图像数据进行编码；所述分辨率设定装置与所述编码装置共同工作，设定图像数据的分辨率；所述流化装置将设定为所述分辨率并且编码的多个编码图像数据分别流化；所述流选择装置从接收到的所述编码图像数据的多个流中，选择一个或多个流；所述流合成装置将选择的流和传输控制信号的流合并为1个流，并将合成的流输出；所述发送信号产生装置将所述合成的流作为发送信号输出。
2.根据权利要求1所述的发送信号处理装置，其特征在于，便携监视器控制所述分辨率设定装置和流选择装置，选择需要发送并且设定好分辨率的流；所述便携监视器包括第1显示模块、第2显示模块，所述第1显示模块在监视所述多个摄影图像数据时，将多个监视器对应的多个模块显示为第1图像；所述第2显示模块从所述多个模块中选择的模块至少含有监视器编号，并将设定情报显示为第2图像，执行所述选择时对上述第1图像内任意模块触屏操作，对第2图像内任意模块拖动，显示上述设定情报。
3.根据权利要求1所述的发送信号处理装置，其特征在于，所述合成流还包括用于三维显示的图像数据。
4.根据权利要求1所述的发送信号处理装置，其特征在于，所述摄影机用于拍摄患病部位。
5.根据权利要求1所述的发送信号处理装置，其特征在于，所述分辨率设定装置的分辨率设定和所述流选择装置的流选择通过远程控制信号控制。
6.一种接收信号处理装置，其特征在于，包括第1流、第2流、接收及复原器、分离通路、第1和第2复原器、显示模式设定部、系统控制装置；所述第1流传输设定为第1分辨率并编码的第1图像数据；所述第2流传输设定为第2分辨率并编码的第2图像数据，所述第1图像数据和第2图像数据是被摄物在同一摄影棚的不同摄影角度得到的图像数据；所述接收及复原器接收合成流并复原；所述分离通路分解所述第1流和所述第2流；第1及第2复原器将分离的所述第1和第2流的图像数据复原，得到所述第1图像数据和所述第2图像数据；为了使所述第1和第2图像数据中的第1和第2图像按照设定的显示模式配置在显示器的显示区域，所述显示模式设定部将所述第1和第2图像数据输出至所述显示器；为了从所述显示模式中选择多个模式，所述系统控制装置与显示监视器通信，接受操作信号，控制所述显示模式设定部。
7.根据权利要求6所述的接收信号处理装置，其特征在于，所述便携监视器含有显示面板，所述显示面板为触屏输入面板；所述显示面板的多个模块显示所述第1和第2流的图像，以及多个设定区域；对所述多个模块中任意模块触屏操作后，拖动所述多个显示范围中任意显示范围，设定所述显示模块。
8.根据权利要求6所述的接收信号处理装置，其特征在于，所述合成流还包括用于三维显示的图像数据。
9.根据权利要求6所述的接收信号处理装置，其特征在于，所述系统控制装置将所述便携监视器的操作信号发送至发送装置，生成所述合成流。
10.根据权利要求6所述的接收信号处理装置，其特征在于，所述同一摄影棚的被摄物为患病部位。
11.根据权利要求6所述的接收信号处理装置，其特征在于，控制部接受所述监视器的操作数据，将信号发送至发送处，生成所述第1流和所述第2流。
12.一种发送信号处理方法，其特征在于，形成发送装置的模块将同一摄影棚的不同角度的多个摄影机拍摄得到的摄影图像数据分别编码，决定图像数据的分辨率，设定所述分辨率，并将将编码的多个编码图像数据分别流化，从传输所述编码图像数据的多个流中选择一个或多个流，将选择的流及传送控制信号的流合成为1个流，并将合成的流作为发送信号输出。
13.根据权利要求12所述的发送信号处理方法，其特征在于，使用便携监视器，控制设定所述分辨率的设定装置和流选择装置，选择已经设定分辨率并且需要发送的流；所述便携监视器在监视所述多个摄影图像数据时，将多个监视器对应的多个模块显示为第1图像；从所述多个模块中选择至少含有监视器编号的模块，并将设定情报显示为第2图像，执行所述选择时，任意对上述第1图像内模块做触屏操作，任意拖动对第2图像内模块，显示所述设定情报。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-058155 | 2014-03-20 | ||
| JP2014058155 | 2014-03-20 | ||
| JP2014239978A JP2015195562A (ja) | 2014-03-20 | 2014-11-27 | 送信信号処理装置及び方法、受信信号処理装置 |
| JP2014-239978 | 2014-11-27 | ||
| PCT/JP2015/052714 WO2015141296A1 (ja) | 2014-03-20 | 2015-01-30 | 送信信号処理装置及び方法、受信信号処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106576183A true CN106576183A (zh) | 2017-04-19 |
Family
ID=54144276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580011795.9A Pending CN106576183A (zh) | 2014-03-20 | 2015-01-30 | 发射信号处理装置及方法、接收信号处理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20170013284A1 (zh) |
| EP (1) | EP3122054A4 (zh) |
| JP (1) | JP2015195562A (zh) |
| CN (1) | CN106576183A (zh) |
| WO (1) | WO2015141296A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108111920A (zh) * | 2017-12-11 | 2018-06-01 | 北京小米移动软件有限公司 | 视频信息处理方法及装置 |
| CN109752736A (zh) * | 2018-12-28 | 2019-05-14 | 北京邮电大学 | 一种卫星测试信号生成方法、装置、电子设备及存储介质 |
| CN111031899A (zh) * | 2017-06-28 | 2020-04-17 | 新泽西州立罗格斯大学 | 用于心血管健康评估以及个性化健康和健身干预的评价系统 |
| CN113243113A (zh) * | 2018-12-17 | 2021-08-10 | 株式会社创佳医疗 | 医疗影像分发系统和医疗影像分发方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611213A (zh) * | 2016-01-04 | 2016-05-25 | 京东方科技集团股份有限公司 | 一种图像处理方法、播放方法及相关的装置和系统 |
| EP3466317A4 (en) * | 2016-05-24 | 2020-01-08 | Kairos Co., Ltd. | ENDOSCOPIC APPARATUS |
| US20190311697A1 (en) * | 2016-12-01 | 2019-10-10 | Lg Electronics Inc. | Image display device and image display system comprising same |
| JP2018107729A (ja) * | 2016-12-27 | 2018-07-05 | 由希子 岡 | 接続デバイスおよび画像表示システム |
| JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JP2021006070A (ja) * | 2017-09-10 | 2021-01-21 | カイロス株式会社 | 内視鏡システム |
| CN114402191A (zh) * | 2019-10-09 | 2022-04-26 | 松下知识产权经营株式会社 | 摄影装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003018583A (ja) * | 2001-07-05 | 2003-01-17 | Sony Corp | 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ |
| JP2005303932A (ja) * | 2004-04-15 | 2005-10-27 | Roland Corp | 映像編集プログラム |
| JP2012169948A (ja) * | 2011-02-16 | 2012-09-06 | Brother Ind Ltd | 通信端末、通信方法、及び通信プログラム |
| US20130141543A1 (en) * | 2011-05-26 | 2013-06-06 | Lg Cns Co., Ltd | Intelligent image surveillance system using network camera and method therefor |
| CN103518368A (zh) * | 2011-05-19 | 2014-01-15 | 索尼电脑娱乐公司 | 动图像拍摄装置、信息处理系统、信息处理装置、及图像数据处理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2791310B2 (ja) * | 1996-08-27 | 1998-08-27 | 幹次 村上 | 多角度撮影用の撮像装置 |
| US20070107029A1 (en) * | 2000-11-17 | 2007-05-10 | E-Watch Inc. | Multiple Video Display Configurations & Bandwidth Conservation Scheme for Transmitting Video Over a Network |
| US8717339B2 (en) * | 2008-09-26 | 2014-05-06 | Kyocera Corporation | Image display apparatus |
| US8340654B2 (en) * | 2009-05-26 | 2012-12-25 | Lextech Labs Llc | Apparatus and method for video display and control for portable device |
| JP2014010263A (ja) * | 2012-06-29 | 2014-01-20 | Mitsubishi Electric Corp | マルチディスプレイシステム |
| GB2522670A (en) * | 2014-01-31 | 2015-08-05 | Sony Corp | Computing device |
-
2014
- 2014-11-27 JP JP2014239978A patent/JP2015195562A/ja active Pending
-
2015
- 2015-01-30 WO PCT/JP2015/052714 patent/WO2015141296A1/ja active Application Filing
- 2015-01-30 EP EP15765890.7A patent/EP3122054A4/en not_active Withdrawn
- 2015-01-30 CN CN201580011795.9A patent/CN106576183A/zh active Pending
-
2016
- 2016-09-19 US US15/269,735 patent/US20170013284A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003018583A (ja) * | 2001-07-05 | 2003-01-17 | Sony Corp | 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ |
| JP2005303932A (ja) * | 2004-04-15 | 2005-10-27 | Roland Corp | 映像編集プログラム |
| JP2012169948A (ja) * | 2011-02-16 | 2012-09-06 | Brother Ind Ltd | 通信端末、通信方法、及び通信プログラム |
| CN103518368A (zh) * | 2011-05-19 | 2014-01-15 | 索尼电脑娱乐公司 | 动图像拍摄装置、信息处理系统、信息处理装置、及图像数据处理方法 |
| US20130141543A1 (en) * | 2011-05-26 | 2013-06-06 | Lg Cns Co., Ltd | Intelligent image surveillance system using network camera and method therefor |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111031899A (zh) * | 2017-06-28 | 2020-04-17 | 新泽西州立罗格斯大学 | 用于心血管健康评估以及个性化健康和健身干预的评价系统 |
| US11330986B2 (en) | 2017-06-28 | 2022-05-17 | Rutgers, The State University Of New Jersey | Evaluation system for cardiovascular health assessment and individualized health and fitness interventions |
| CN108111920A (zh) * | 2017-12-11 | 2018-06-01 | 北京小米移动软件有限公司 | 视频信息处理方法及装置 |
| CN113243113A (zh) * | 2018-12-17 | 2021-08-10 | 株式会社创佳医疗 | 医疗影像分发系统和医疗影像分发方法 |
| CN109752736A (zh) * | 2018-12-28 | 2019-05-14 | 北京邮电大学 | 一种卫星测试信号生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3122054A4 (en) | 2017-12-06 |
| WO2015141296A1 (ja) | 2015-09-24 |
| JP2015195562A (ja) | 2015-11-05 |
| US20170013284A1 (en) | 2017-01-12 |
| EP3122054A1 (en) | 2017-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106576183A (zh) | 发射信号处理装置及方法、接收信号处理装置 | |
| CN102197985B (zh) | 电子内窥镜系统 | |
| CN103458759B (zh) | 荧光观察装置 | |
| CN102188226B (zh) | 电子内窥镜系统、电子内窥镜处理器和获取血管信息的方法 | |
| CN103648353B (zh) | 内窥镜系统、其处理器装置和图像显示方法 | |
| CN102036599B (zh) | 用于组合的全色反射和近红外成像的成像系统 | |
| CN102958426B (zh) | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 | |
| CN103491850B (zh) | 荧光观察装置及其图像显示方法 | |
| CN103796566B (zh) | 内窥镜系统和图像显示方法 | |
| CN102201114A (zh) | 图像处理装置和图像处理方法 | |
| CN108109134A (zh) | 图像处理装置及其工作方法 | |
| CN101400294A (zh) | 生物体观测装置 | |
| CN103140160A (zh) | 图像管理装置、方法、程序以及胶囊型内窥镜系统 | |
| JP2011194151A (ja) | 電子内視鏡システム | |
| CN103919521B (zh) | 内窥镜装置及其操作方法 | |
| CN103654700A (zh) | 荧光内窥成像系统及成像方法 | |
| CN106901683A (zh) | 一种荧光内窥成像系统 | |
| JP2011217798A (ja) | 電子内視鏡システム | |
| CN103251370A (zh) | 内窥镜系统、该内窥镜系统的处理器装置和图像生成方法 | |
| CN103997946A (zh) | 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法 | |
| JP6770587B2 (ja) | 内視鏡システム、及び画像表示装置 | |
| CN107566751A (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN102860812A (zh) | 电子内窥镜系统、光源装置、及电子内窥镜系统的控制方法 | |
| US20110267444A1 (en) | Endoscope apparatus, method, and computer readable medium | |
| CN104756493B (zh) | 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170419 |
|
| WD01 | Invention patent application deemed withdrawn after publication |