CN110989284A - 视频呈现装置、视频呈现方法以及程序 - Google Patents

视频呈现装置、视频呈现方法以及程序 Download PDF

Info

Publication number
CN110989284A
CN110989284A CN201911153702.2A CN201911153702A CN110989284A CN 110989284 A CN110989284 A CN 110989284A CN 201911153702 A CN201911153702 A CN 201911153702A CN 110989284 A CN110989284 A CN 110989284A
Authority
CN
China
Prior art keywords
image
motion
video
component
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911153702.2A
Other languages
English (en)
Inventor
河边隆宽
西田真也
丸谷和史
泽山正贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN110989284A publication Critical patent/CN110989284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B25/00—Viewers, other than projection viewers, giving motion-picture effects by persistence of vision, e.g. zoetrope
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J13/00—Panoramas, dioramas, stereoramas, or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J21/00—Conjuring appliances; Auxiliary apparatus for conjurers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J5/02—Arrangements for making stage effects; Auxiliary stage appliances
    • A63J5/021—Mixing live action with images projected on translucent screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/32—Details specially adapted for motion-picture projection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供视频呈现装置、视频呈现方法以及程序。为了感知为对对象物给予运动，对该对象物重叠视频。该视频是包含与被给予该对象物的运动对应的亮度运动分量的视频。

Description

视频呈现装置、视频呈现方法以及程序
本发明是以下专利申请的分案申请：申请号：201580021244.0，申请日：2015年4月21日，发明名称：动态错觉呈现装置、动态错觉呈现方法、程序。
技术领域
本发明涉及带来视觉上的错觉的技术。
背景技术
例如在非专利文献1中，公开了通过相机对对象物(单一无彩色)的三维形状进行测量，对与对象物的三维形状配合而表现运动的视频进行投影，从而对对象物给予错觉上的运动的效果的技术。在非专利文献1中，以平板的单一无彩色的平面、和置于该平面的单一无彩色的汽车模型为对象物，将该对象物设为画布(canvas)，将模拟了汽车的车体的颜色、反射特性、汽车的周围的道路、汽车行驶的空间的日光的条件等的配色作为视频而向对象物进行投影，产生错觉以使作为对象物的汽车模型犹如在道路上行驶那样，对对象物赋予运动的效果。
现有技术文献
非专利文献
非专利文献1：Raskar,R.；Ziegler,R.；Willwacher,T.,"Cartoon Dioramas inMotion",International Symposium on Non-Photorealistic Animation and Rendering(NPAR),June 2002.
发明内容
发明要解决的课题
非专利文献1中，将对象物看作简单的画布，没有利用对象物具有的图案而对对象物给予运动的效果。本发明的课题利用对象物具有的图案而感知为对对象物给予运动。
用于解决课题的手段
为了感知为对对象物给予运动，对该对象物重叠视频。该视频是包含与被给予该对象物的运动对应的亮度运动分量的视频。
发明效果
由此，能够利用对象物具有的图案而感知为对对象物给予运动。
附图说明
图1是表示第一实施方式的视频显示装置的结构的框图。
图2是表示第一实施方式的视频显示装置的动作的流程图。
图3是表示第一实施方式的实施例的视频投影装置的结构的框图。
图4是表示第一实施方式的实施例的视频投影装置的动作的流程图。
图5是说明通过投影仪实现了第一实施方式的实施例的视频投影装置的投影部的情况下的投影视场角与对象物的关系的图。
图6是表示第二实施方式的视频显示装置的结构的框图。
图7是表示第二实施方式的视频显示装置的动作的流程图。
图8是表示第三实施方式的视频显示装置的结构的框图。
图9是表示第三实施方式的视频显示装置的视频生成部的动作的流程图。
图10是例示静止分量和运动分量的图。
图11是表示第四实施方式的视频显示装置的结构的框图。
图12是表示第四实施方式的视频显示装置的动作的流程图。
图13的A和B是用于例示处理的概要的概念图。
图14A以及图14B是用于例示处理的概要的概念图。
图15是例示实施方式的功能结构的框图。
图16是例示实施方式的处理的流程图。
图17是例示实施方式的处理的流程图。
图18A以及图18B是用于例示对图像加进亮度运动分量的方法的图。
图19是例示实施方式的功能结构的框图。
具体实施方式
说明本发明的实施方式。在以下说明的实施方式中，与现有技术不同，利用对象物的图案而使该图案的外形在错觉上变形。在各实施方式中，不是将对象物看作简单的画布，而是积极地利用对象物具有的图案而使得产生运动的错觉。因此优选对象物不是单一无彩色，而是设为有彩色或者灰阶(gray scale)。在各实施方式中，与现有技术不同，也可以不考虑对象物的三维性。例如，还能够使拍摄了静止对象物的图像的外形在错觉上变形。在现有技术中在对象物的移动、变形这样的侧面上照射光，但在各实施方式中，通过利用对象物具有的图案和与对象物重叠显示的视频的图像信息这双方，从而使对象物具有对象物原本不存在的质感、印象(液体感、面部表情)，在该点上与现有技术不同。此外，与简单地使所拍摄到的图像在画面上变形这样的技术不同，在各实施方式中，能够使对象物的质感印象变化通过视频的重合而给予视听者。由此，能够给予视听者与现有技术不同的感知体验。以下，详细说明各实施方式。另外，对具有相同的功能的构成部分赋予相同的序号，省略重复说明。
[第一实施方式]
以下，参照图1、图2，说明作为本发明的基本的结构例的第一实施方式的视频显示装置。图1是表示本实施方式的视频显示装置1的结构的框图。图2是表示本实施方式的视频显示装置1的动作的流程图。如图1所示，视频显示装置1包含显示部11。显示部11将有透过性的视频与对象物重叠显示。在此，“对象物”也可以是具备立体的形状的物(例如，花瓶、球、模型)，也可以是规定的平面(例如，纸、板、墙、屏幕)。在对象物为平面的情况下，期望其平面包含图案。作为平面中包含的图案的例子，例如，考虑在纸上印刷的照片、图像、投影到规定的平面的照片、图像。在将对象物设为显示器等的画面的情况下，作为图案的例子，可列举在显示器等的画面上显示的图像等。
作为将有透过性的视频与对象物“重叠显示”的方法，典型地说，存在通过投影仪等向对象物投影视频的方法。在该情况下，通过投影仪等投影的视频当然具有透过性。此外，例如还能够在对象物的前方设置透明的液晶画面，在该液晶画面中播放有透过性的视频，从夹着液晶画面而与对象物对置的观察者来看，将有透过性的视频与对象物“重叠显示”。在此，“视频”例如是在时间上切换持有具有低空间频率分量的失真分布的图像的视频。在本实施方式中视频是被预先准备，且设为从视频显示装置1的外部输入的视频。显示部11以该视频中包含的边缘与对象物的轮廓、或对象物中包含的边缘重合的方式显示视频。例如，在对象物为花瓶的情况下，显示部11以视频中包含的边缘与作为对象物的花瓶的轮廓、花瓶上描绘的花纹等花瓶中包含的边缘重合的方式显示视频。例如，在对象物为平面，且向该平面投影图像作为图案的情况下，显示部11以视频中包含的边缘与被投影到对象物的图像的花纹等对象物中包含的边缘重合的方式显示视频。
从而，显示部11将有透过性且在时间上切换持有具有低空间频率分量的失真分布的图像的视频，以视频中包含的边缘与对象物的轮廓、或对象物中包含的边缘重合的方式，与对象物重叠显示(S11)。
[第一实施方式的实施例]
以下，参照图3、图4说明作为本实施方式的一实施例的视频投影装置1a。图3是表示本实施方式的实施例的视频投影装置1a的结构的框图。图4是表示本实施方式的实施例的视频投影装置1a的动作的流程图。如图3所示，视频投影装置1a是包含投影部11a的结构。在本实施例中，设为对静止的对象物进行处置。前述同样，投影部11a将在时间上切换持有具有低空间频率分量的失真分布的图像的视频，以视频中包含的边缘与对象物的轮廓、或对象物中包含的边缘重合的方式，重叠投影到静止的对象物(S11a)。投影部11a例如能够通过投影仪等来实现。例如，在投影部11a为投影仪的情况下，需要如图5所示那样使从投影仪投影透镜中心来看的对象物9的水平方向的视角θ、垂直方向的视角
Figure BDA0002284241980000041
与所投影的视频的水平、垂直方向的视角一致。
另外，选择投影部11a作为显示部11的实施例在后述的第二、三、四实施方式等中也能够同样，在表示后述的实施方式的各装置的各框图中，记载包含投影部11a作为显示部11的实施例的情况。
在非专利文献1的技术中，给予看成在对象物的周围的媒介(例如空气、水、水蒸气)不规则地晃动的特殊的错觉是不简单的。为了应用非专利文献1的技术而给予上述那样的特殊的错觉，需要进行用于模拟媒介的波动、光线的折射等的庞大的计算。根据本实施方式的视频投影装置1a，能够以较少的计算量对对象物赋予特殊的错觉。此外，根据本实施方式的视频投影装置1a，能够对平面形状的对象物、立体形状的对象物、有彩色的对象物、以及无彩色且具有深浅的对象物也赋予错觉。
[第二实施方式]
以下，参照图6、图7说明在装置内包含视频生成功能的第二实施方式的视频显示装置2。图6是表示本实施方式的视频显示装置2的结构的框图。图7是表示本实施方式的视频显示装置2的动作的流程图。如图6所示，视频显示装置2包含与第一实施方式相同的显示部11、拍摄部21、视频生成部22。
拍摄部21对对象物进行拍摄而取得原图像(S21)。视频生成部22根据原图像而生成多个不同的窄带图像，生成所生成的多个不同的窄带图像以在时间上平滑地连接的方式排列的视频(S22)。显示部11与前述同样，将所生成的视频与对象物重叠显示(S11)。
窄带图像是保持原图像中包含的边缘的信息且使图像整体的空间频带比原图像的空间频带窄的图像，且是有透过性的图像。
作为视频生成部22的实现例，也可以例如参考文献1中记载的那样，通过相位相差180度的方位滤波器对图像进行卷积，将卷积后的图像间在时间上平滑地连接而生成在错觉上带来运动印象的视频。
(参考文献1：Freeman,W.T.,Adelson,E.H.,&Heeger,D.J.(1991).Proceedingsof the 18th annual conference on computer graphics and interactivetechniques,27-30.)
[第三实施方式]
以下，参照图8、图9说明在装置内包含视频生成功能的第三实施方式的视频显示装置3。图8是表示本实施方式的视频显示装置3的结构的框图。图9是表示本实施方式的视频显示装置3的视频生成部32的动作的流程图。如图8所示，视频显示装置3包含与第二实施方式相同的显示部11、拍摄部21、和与第二实施方式不同的视频生成部32。视频生成部32包含变形视频生成部321、傅里叶变换部322、分离部323。变形视频生成部321对拍摄了对象物的原图像施加动态的变形，从而制成静止对象图像变形的视频(S321)。变形通过像素移动来表现。该像素移动基于预先计算的算法。例如在想要对对象物附加液体印象的情况下参考参考文献2、以及在本申请申请时未公开的专利申请即特愿2013-132609号的算法。
(参考文献2：Kawabe,T.,Maruya,K.,&Nishida,S.(2013).Seeing transparentliquids from dynamic image distortion.Journal of Vision,13(9)：208.)
以下，公开基于特愿2013-132609号的算法的变形视频生成部321的实现例。首先，变形视频生成部321生成多个基于失真分布而调制了原图像的调制图像。此时，为了强烈地感知透明液体流动的印象，期望将失真分布(失真地图)的空间频率成为3cpd(cycles perdegree)以下的失真调制到原图像。换言之，若将邻接像素间的失真量的差变小那样的较大的失真施加给原图像，则能够更强烈地感知透明液体的印象。另外，也可以对原图像使用具有同一较低的空间频率分量(例如3cpd以下)的失真分布来进行调制，也可以使用具有不同的较低的空间频率分量(例如一方为2cpd以下，另一方为3cpd以下)的失真分布来进行调制。此外，设为对调制图像赋予二维以上的失真方向。失真的种类只要是旋转失真、平行移动失真、随机的失真等二维的几何学上的失真，则可以是任意。
接着，变形视频生成部321基于根据原图像而生成的多个调制图像，生成视频。例如变形视频生成部321也可以生成赋予顺序的调制图像串作为视频，以使在时间上切换呈现根据原图像而生成的多个调制图像。调制图像串在调制图像串对视听者来说不是静止图像的序列而是能够作为运动图像来视听的范围内设定各图像的呈现时间(帧速率)，即，是“在时间上排列调制图像从而构成的视频”。此外，例如变形视频生成部321也可以进行对根据原图像而生成的多个调制图像的各个进行切换而呈现的控制。各图像的呈现间隔控制为在对视听者来说不是静止图像的序列而是能够作为运动图像(视频)来视听的范围即可。例如，各图像的呈现时间设为超过0.05(sec)的范围，或设为20Hz以上的帧速率即可。
接着，傅里叶变换部322对由变形视频生成部321制成的视频进行三维(时空间)傅里叶变换(S322)。分离部323通过时间滤波而分离DC分量(静止分量)和运动分量，仅将运动分量作为视频来输出(S323)。
在其他表现中，变形视频生成部321基于规定的算法而生成将移动原图像的像素而得到的多个图像组以在时间上平滑地连接的方式排列的视频(S321)。傅里叶变换部322对所生成的视频进行三维(时空间)傅里叶变换(S322)。分离部323基于傅里叶变换结果而分离静止分量和运动分量，仅将运动分量作为视频来输出(S323)。
图10表示由上述的步骤S321～S323提取的静止分量(DC分量)和运动分量的例子。运动分量主要由高空间频率分量构成。如图5所示，以与对象物相同的视角将运动分量作为视频而与对象物重叠显示，从而两者的相位关系与原来的动态图像一致。在该条件下，对象物的空间构造由于运动分量而在错觉上被捕捉。作为其结果，可看见对象物运动。
[第四实施方式]
以下，参照图11、图12说明在装置内包含在对象物上显示的原图像的生成功能的第四实施方式的视频显示装置4。图11是表示本实施方式的视频显示装置4的结构的框图。图12是表示本实施方式的视频显示装置4的动作的流程图。如图11所示，本实施方式的视频显示装置4包含与第三实施方式相同的显示部11、拍摄部21、视频生成部32、和在第三实施方式中没有的原图像显示部41。拍摄部21、视频生成部32与第三实施方式同样，分别执行步骤S21、S32。原图像显示部41将在步骤S21中拍摄对象物而取得的原图像显示(投影)在其他静止介质(例如，显示器、屏幕等)(S41)。显示部11对这样对静止介质显示的原图像重叠显示(投影)视频。由此，得到与上述同样的效果。此时，视频也可以如第二实施方式所示通过方位滤波器对图像进行卷积而制成，也可以如第三实施方式所示对图像施加变形从而制成。在其他静止介质中显示的情况下，能够对对象物印刷原图像，或通过其他投影仪投影，或在电子纸上显示。
对象物的拍摄使用外部相机。相机为尽可能空间分辨率高的相机较好。若除去计算时间，则能够即时对眼前的静止对象附加错觉上的运动。能够使用投影仪作为作为本实施方式的一实施例的视频投影装置4a的投影部11a。该投影仪也可以是市场上销售的投影仪，但在明亮的房间中使用的情况下，需要设为亮度高的投影仪。
根据对象物的尺寸，理想的视听距离不同。例如在使用本方式的方式对16cm四方的视频附加了运动的情况下，需要1.5m左右的视听距离。对象越大，则越需要增加视听距离。
在对三维的对象物投影视频的情况、没有考虑对象物投影面的纵深而投影的情况、对象物投影面的纵深差大的情况下，存在视频与对象物的构造产生偏差的情况。若使用可投影在不产生偏差的范围内的、投影面的纵深差比较小的对象物，则更适合。此外，在对纵深大的三维对象物投影视频的情况下，通过掌握对象物的三维形状，与该形状配合而对所投影的视频进行变形，从而能够将向纵深方向倾斜的面在错觉上变形。
根据本方式的视频显示装置，例如能够使静止的面部图像的表情在错觉上变化，或将视线方向改变。此外，通过变更运动的图案，从而能够产生错觉以使对象物看起来波动，或产生错觉以使存在于流动的液体下。在将印刷物那样的二维介质作为对象物，向该对象物投影视频的情况下，介质内的对象物具有的亮度的动态范围一般来说较窄，但在本方式中，将与对象物相比高动态范围的视频重叠投影到对象物，因此能够使对象物的外观高画质且对该对象物附加错觉上的运动。此外，根据本方式的视频显示装置，若除去处理时间，则能够对由相机拍摄到的图像即时地附加运动的的错觉上的效果。
本方式的视频显示装置能够应用为美术馆、博物馆中的展示方法、娱乐设施中利用的加演节目的要素技术。例如，能够将在纸等静止介质上印刷的面向小孩的角色在视觉上移动。
在现有技术中，为了呈现动态图像，需要与该动态图像的时间频率相应的色差运动分量。以下，说明不使用规定的大小以上的时间频率的色差运动分量，产生错觉以使在该大小以上的时间频率上像运动的方式。
人通过时空间滤波那样的功能从动态图像内检测局部的运动分量(参考文献3：Watson,A.B.,&Ahumada,A.J,“Model of human visual-motion sensing,”Journal ofthe Optical Society of America,(1985),A,2,322-342.)。与此同样的功能能够由通过时间频率滤波器等从动态图像内分离提取运动分量和静止分量这样的图像信息处理来实现。
已知人将以颜色、亮度对比度来定义的静止图像分量靠近亮度运动分量而感知(“参考文献4：Ramachandran,V.S.,“Interaction between colour and motion in humanvision,”Nature(1987),328,645-647.”以及“参考文献5：Anstis,S.,“Kinetic edgesbecome displaced,segregated,and invisible,”In D.M.-K.Lam(Ed.),Neuralmechanisms of visual perception,Proceedings of the Second Retina ResearchFoundation Conference,Texas(1989)：Portfolio Press,247-260.”)。认为能够根据该视觉特性，通过动态图像内的亮度运动分量来调制图像的外形。
人的视觉系统对以颜色信号来定义的运动信号迟钝，另一方面，对以亮度信号来定义的运动信号敏感(参考文献6：Ramachandran,V.S.,&Gregory,R.L,“Does colourprovide an input to human motion perception？”Nature(1978),275,55-56.)。此外，人对于以一定以上的速度运动的对象的空间分辨率比对于静止的对象的空间分辨率低(参考文献7：Kelly,D.H.(1979).Motion and vision.II.Stabilized spatio-temporalthreshold surface.Journal of the Optical Society of America,69,1340-1349.)。即，即使从动态图像的运动分量去除了颜色分量，也不会大幅降低被人感知的视频的质量。
在各实施方式中，考虑以上那样的人的感知特性，对包含绝对值比零大的空间频率分量而“时间频率的绝对值为第一值以下的像”加进“时间频率的绝对值为第二值以上的亮度运动分量”。另外“亮度运动分量”是与“像”相应的分量，“第二值”比“第一值”大。“包含绝对值比零大的空间频率分量”意味着包含非零的空间频率分量。例如，若设为“第一值”为F1，“第二值”为F2，则满足0≤F1＜F2的关系。也可以是F1＝0，也可以是F1＞0。F1的例子是感知为“像”停止的时间频率的绝对值(例如，零的附近)。其中，F1也可以是感知为“像”运动的时间频率。在F1＝0的情况下，“时间频率的绝对值为第一值以下的像”是静止的像。在F1＞0的情况下，“时间频率的绝对值为第一值以下的像”保持具有大小为第一值以下的频率分量的运动，是与“时间频率的绝对值为第二值以上的亮度运动分量”相比缓慢地运动的像。“像”也可以仅具有单一的时间频率分量(例如0Hz)，也可以具有多个时间频率分量(即，也可以合成多个时间频率的像)。以下，将“时间频率的绝对值为第一值以下的分量”称为“低时间频率分量”，将“时间频率的绝对值为第二值以上的分量”称为“高时间频率分量”。期望“像”不一致，包含绝对值比零大的空间频率分量(非零的空间频率分量)。也可以是“像”的色差分量以及亮度分量这双方包含绝对值比零大的空间频率分量，也可以是仅色差分量或亮度分量的一方包含绝对值比零大的空间频率分量。看到对这样的“像”加进了“亮度运动分量”的视频的人产生错觉以使“像”以比“第一值”的大小的时间频率高的时间频率运动(动态错觉)。例如，在对静止的“像”加进了“亮度运动分量”的情况下，人产生错觉以使该“像”运动。另外，“频率α比频率β高”意味着频率α的绝对值|α|比频率β的绝对值|β|大。
“像”也可以是仅包含亮度分量的无彩色(灰阶)的像，也可以是包含有彩色(彩色)的像。特别是，在对后者的像加进了亮度运动分量的情况下，尽管不包含比低时间频率分量高的色差分量，但能够产生错觉以使有彩色的像以比低时间频率分量高的频率运动。“像”也可以是成为信息处理的对象的图像(图像信息)，也可以是在对象物的表面表现的像。在对象物的表面表现的“像”的例子是“印刷”“描绘”“显示”或“投影”到对象物的表面的图像、照片、基于构成对象物的表面的素材的色调的花样、花纹、基于对象物的表面的形状的图案(例如，花纹、边界线、深浅)等。“对象物的表面”也可以是平面，也可以是曲面，也可以是凹凸面。“对象物”也可以是具备立体的形状的物体(例如，花瓶、球、模型、建筑物)，也可以是在用途上看作平面的物体(例如，纸、板、墙、屏幕、画面、透过型显示器)。
为了带来较大的动态错觉，期望“像”以及“亮度运动分量”对应于同一“动态图像”。例如，“像”对应于“动态图像”的“多个帧”中的时间频率成为零(时间频率＝0Hz)或零的附近的分量，“亮度运动分量”对应于该“多个帧”中的时间频率的绝对值成为正(|时间频率|＞0Hz)的亮度分量。特别是在“动态图像”包含“周期性的或反复性的运动分量”的情况下，能够期待更大的效果。“周期性的运动分量”严格来说不仅意味着进行周期运动的分量，还意味着进行周期性高的运动的分量。同样，“反复性的运动分量”不仅意味着进行严格的反复运动的分量，还意味着进行反复性高的运动的分量。在“动态图像”包含“周期性的或反复性的运动分量”的情况下，“像”也可以对应于该“动态图像”中包含的任意的帧的静止图像。“A对应于B”也可以是A为B，也可以是B来源于(基于)A，也可以是A来源于B。“B来源于A”也可以是从B得到A，也可以是从B的复制得到A，也可以是从近似B得到A。例如，也可以从“动态图像”、其复制提取“像”以及“亮度运动分量”，也可以根据由相机、扫描仪获取的静止的“像”生成“动态图像”，也可以从该“动态图像”提取“亮度运动分量”。
对于一定值以上的亮度对比度的运动视觉的功能是稳态的(参考文献8：Pantle,A.,&Sekuler,R.(1969).Contrast response of human visual mechanisms sensitiveto orientation and direction of motion.Vision Research,9,397-406.)。此外，运动视觉的空间分辨率与对于静止图像的感知的空间分辨率相比更低(参考文献7)。也就是说，即使对从动态图像提取的亮度运动分量的空间分辨率、对比度进行操作而丢失运动信息本身的质量，也保持所感知的运动图像的质量。因此即使将降低了“动态图像”中包含的亮度运动分量动态图像的高空间频率分量、对比度的分量作为“亮度运动分量”，也能够引起充分的动态错觉。由此，基本不会降低动态错觉的程度，能够削减信息量。
“对像加进亮度运动分量”例如是“对像合成亮度运动分量”“对像重合亮度运动分量”“对像整合亮度运动分量”“对像追加亮度运动分量”“使像反映亮度运动分量”“对像加入亮度运动分量”或“对像的像素值和亮度运动分量的像素值至少作用包含加法或乘法或幂的运算”。关于用于“对图像加进亮度运动分量”的具体的方法在后面叙述。
[第五实施方式]
在本方式中，从动态图像M1提取“低时间频率分量”和“高时间频率分量”。将“低时间频率分量”设为“图像(像)”，将从“高时间频率分量”提取的亮度分量设为“亮度运动分量”。不使用“高时间频率分量”的色差分量。进行对“图像”整合(加进)“亮度运动分量”的运算，显示由此得到的动态图像M2(图13A)。由此，在看到动态图像M2的人的视觉系统中整合“图像”和“亮度运动分量”，带来“图像”以比“低时间频率”高的时间频率而运动的错觉。像这样，即使从动态图像M1去除“高时间频率分量”的色差分量也保持感知的视频的质量。
＜结构＞
如图15所例示，本方式的动态图像分量提取装置51具有低时间频率分量提取部511(第一处理部)、亮度运动分量提取部512(第二处理部)、以及输出部513。本方式的动态错觉呈现装置52(错觉呈现装置)具有输入部521、运算部522、以及显示部523。动态图像分量提取装置51以及低时间频率分量提取部511例如是通过在具备CPU(中央处理单元(central processing unit))等处理器(硬件处理器)、RAM(随机存取存储器(random-access memory))·ROM(只读存储器(read-only memory))等存储器、显示器等显示装置等的通用或专用的计算机中读入规定的程序而构成的装置。该计算机也可以具备一个处理器、存储器，也可以具备多个处理器、存储器。该程序也可以被安装于计算机，也可以预先记录至ROM等。此外，也可以使用不使用程序地实现处理功能的电子电路来构成一部分或全部处理部，而不是如CPU那样读入程序从而实现功能结构的电子电路(circuitry)。此外，也可以是构成一个装置的电子电路包含多个CPU。
＜处理＞
使用图16说明本方式的处理。本方式的动态图像M1是包含有彩色的彩色动态图像，由表示R通道、G通道、B通道的强度变化的像素值构成(式(1))。
【数1】
Figure BDA0002284241980000121
其中，{R(x，y，t)}、{G(x，y，t)}、{B(x，y，t)}分别是具有以像素值R(x，y，t)、G(x，y，t)、B(x，y，t)为要素的空间二维、时间一维的信息的三维矩阵。像素值R(x，y，t)、G(x，y，t)、B(x，y，t)分别表示水平位置x、垂直位置y、帧序号t时的R通道、G通道、B通道的强度。x，y，t分别是表示以三维坐标系表现了动态图像的情况下的水平位置、垂直位置、帧序号的整数。将水平位置的下限以及上限设为xmin以及xmax(xmin＜xmax)，将垂直位置的下限以及上限设为ymin以及ymax(ymin＜ymax)，将帧序号的下限以及上限设为tmin以及tmax(tmin＜tmax)。x，y，t满足xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax。期望动态图像M1包含具有绝对值比零大的空间频率分量(非零的空间频率分量)的帧(不一致的帧)。
构成动态图像M1的像素值R(x，y，t)、G(x，y，t)、B(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)被输入至动态图像分量提取装置51(图15)的低时间频率分量提取部511以及亮度运动分量提取部512。
低时间频率分量提取部511根据像素值R(x，y，t)、G(x，y，t)、B(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)而得到静止分量Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)并进行输出。在本方式中，将像素值R(x，y，t)、G(x，y，t)、B(x，y，t)的时间平均值分别设为Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)(式(2))。
【数2】
Figure BDA0002284241980000122
其中，Mean[x(t)]a≤t≤b表示x(a)，…，x(b)的平均值。
低时间频率分量提取部511输出由以Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)(其中，xmin≤x≤xmax、ymin≤y≤ymax)为要素的二维矩阵{Rstatic(x，y)}、{Gstatic(x，y)}、{Bstatic(x，y)}构成的静止的图像Mstatic(式(3))。
【数3】
Figure BDA0002284241980000131
图像Mstatic是动态图像M1的多个帧t(tmin≤t≤tmax)中的时间频率成为零的分量，在将“第一值”设为0的情况下的“时间频率的绝对值为第一值以下的像”的一例。期望图像Mstatic包含绝对值比零大的空间频率分量，此外期望包含有彩色(步骤S511)。
亮度运动分量提取部512将像素值R(x，y，t)、G(x，y，t)、B(x，y，t)设为Roriginal(x，y，t)、Goriginal(x，y，t)、Boriginal(x，y，t)(步骤S5121)，将它们根据各颜色对亮度贡献的程度而进行加权加法，得到动态图像M1的亮度分量Yoriginal(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)(步骤S5122)(式(4))。
Yoriginal(x,y,t)＝αRRoriginal(x,y,t)+αGGoriginal(x,y,t)+αBBoriginal(x,y,t) (4)
其中，αR、αG、αB是权重系数(常数)(例如，αR＝0.299，αG＝0.587，αB＝0.114)。
进而亮度运动分量提取部512从各帧t的亮度分量Yoriginal(x，y，t)减去亮度静止分量Ystatic(x，y)从而得到亮度运动分量Ymotion(x，y，t)并进行输出(式(5))。亮度静止分量Ystatic(x，y)是对亮度分量Yoriginal(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)进行时间平均从而得到。
Ymotion(x,y,t)＝Yoriginal(x,y,t)-Ystatic(x,y) (5)
亮度运动分量Ymotion(x，y，t)是动态图像M1的多个帧t(tmin≤t≤tmax)中的时间频率的绝对值成为正的亮度分量，是“时间频率的绝对值为第二值以上的亮度运动分量”的一例。该亮度运动分量是与像相应的分量，第二值比第一值大(步骤S5123)。
图像Mstatic以及亮度运动分量Ymotion(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)被输入至输出部513，从该处被传送至动态错觉呈现装置52。图像Mstatic以及亮度运动分量Ymotion(x，y，t)被输入至动态错觉呈现装置52的输入部521，被传送至运算部522。运算部522得到对图像Mstatic加进了亮度运动分量Ymotion(x，y，t)的动态图像M2并进行输出。例如，运算部522对图像Mstatic的各静止分量Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)(其中，xmin≤x≤xmax、ymin≤y≤ymax)加上亮度运动分量Ymotion(x，y，t)而得到动态图像M2(图18A，式(6))。
【数4】
Figure BDA0002284241980000141
由此，能够制成从动态图像M1去除了颜色运动信息的动态图像M2(步骤S522)。另外，在式(6)的情况下，动态图像M2的各像素的色度(RGB的比)从动态图像M1(原动态图像)稍微变化。但是，一般而言人的视觉特性对颜色变化迟钝，动态图像M2的外观上的质量相对于动态图像M1没有降低。在想要保存各像素的色度的情况下，对各RGB通道乘以基于亮度静止分量Ystatic(x，y)的运动的调制比率Y’motion(x，y，t)即可(式(7)、图18B)。
【数5】
Figure BDA0002284241980000142
Figure BDA0002284241980000143
在该情况下，能够为了保持各RGB通道强度的比率而合成不伴随颜色信号的调制的亮度运动分量(步骤S522)。即，在本方式中，为了感知为对对象物(Mstatic)给予运动，对对象物重叠视频(Ymotion(x，y，t)或Y’motion(x，y，t))。该视频是包含与被给予对象物的运动对应的亮度运动分量的视频(例如，仅包含亮度分量的视频)。此外，如式(6)(7)所例示，以对象物(Mstatic)的区域、和视频中(Ymotion(x，y，t)或Y’motion(x，y，t))的与被给予该对象物的运动对应的区域重合的方式，将该视频与该对象物重叠。此外，视频中的多个帧中的亮度运动分量的时间频率的绝对值比与对象物对应的视频中的多个帧中的时间频率的绝对值大。
以上那样得到的动态图像M2被输入至显示部523，从该处显示(步骤S523)。动态图像M2尽管不包含颜色信号的运动分量，但带来运动的错觉。即，即使从动态图像M1去除颜色运动分量，也能够给予用户不比本来的动态图像逊色的视觉体验。
[第五实施方式的变形例1]
从动态图像M1分离提取各分量的处理还能够通过傅里叶变换等将动态图像M1变换为时间频域，进行时间频率滤波从而实现。以后，以与至此为止说明的事项的不同点为中心进行说明。存在关于已经说明的事项，使用相同的参照序号省略说明的情况。
＜结构＞
如图15所例示，本方式的动态图像分量提取装置51’具有频域变换部514’、低时间频率分量提取部511’(第一处理部)、高时间频率分量提取部515’、亮度运动分量提取部512’(第二处理部)、时域变换部516’、517’、以及输出部513。动态错觉呈现装置52与第五实施方式相同。动态图像分量提取装置51’例如通过在上述那样的计算机中读入规定的程序从而构成。
＜处理＞
使用图17说明本变形例的处理。构成前述的动态图像M1的像素值R(x，y，t)、G(x，y，t)、B(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)被输入至频域变换部514’。频域变换部514’将像素值R(x，y，t)、G(x，y，t)、B(x，y，t)变换为时间频域，得到时间频域的值FR(x，y，f)、FG(x，y，f)、FB(x，y，f)。以下，表示使用傅里叶变换的例子(式(8))。
【数6】
Figure BDA0002284241980000151
在该情况下，FR(x，y，f)、FG(x，y，f)、FB(x，y，f)是与R(x，y，t)、G(x，y，t)、B(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)相关的维t的傅里叶频谱。式(8)的积分范围是-∞至+∞，但实际上仅关于有限区间tmin≤t≤tmax计算即可。此外，R(x，y，t)、G(x，y，t)、B(x，y，t)是离散值，所以也可以使用离散傅里叶变换。f是表示时间频率的整数索引。f＝0表示时间频率为0Hz，f越大越表示越高的时间频率(绝对值大的时间频率)。若将|f|的上限设为fmax，则满足0≤|f|≤fmax的关系。此外，i表示虚数单位，π表示圆周率。FR(x，y，f)、FG(x，y，f)、FB(x，y，f)(其中，xmin≤x≤xmax、ymin≤y≤ymax、0≤|f|≤fmax)被传送至低时间频率分量提取部511’以及高时间频率分量提取部515’(步骤S514’)。
低时间频率分量提取部511’对FR(x，y，f)、FG(x，y，f)、FB(x，y，f)乘以低通滤波器LF(f)，得到GRstatic(x，y，f)、GGstatic(x，y，f)、GBstatic(x，y，f)并进行输出(式(9))。
GRstatic(x,y,f)＝FR(x,y,f)LF(f)
GGstatic(x,y,f)＝FG(x,y,f)LF(f) (9)
GBstatic(x,y,f)＝FB(x,y,f)LF(f)
其中，低通滤波器LF(f)以式(10)来表示。
【数7】
Figure BDA0002284241980000161
其中，k为0以上的常数。在k＝0的情况下，低通滤波器LF(f)提取时间频率为0Hz的分量。在k＞0的情况下，低通滤波器LF(f)提取时间频率的绝对值为与k对应的时间频率以下的分量(步骤S511’)。
GRstatic(x，y，f)、GGstatic(x，y，f)、GBstatic(x，y，f)被输入至时域变换部516’。时域变换部516’将GRstatic(x，y，f)、GGstatic(x，y，f)、GBstatic(x，y，f)变换为时域，得到低时间频率分量Rstatic(x，y，t)、Gstatic(x，y，t)、Bstatic(x，y，t)。以下表示使用傅里叶反变换的例子(式(11))。
【数8】
Figure BDA0002284241980000162
式(11)的积分范围为-∞至+∞，但实际上仅关于有限区间0≤|f|≤fmax计算即可。此外，也可以使用离散傅里叶反变换。时域变换部516’输出以下那样的低时间频率分量的图像(像)Mstatic。
【数9】
Figure BDA0002284241980000163
该图像Mstatic是“时间频率的绝对值为第一值以下的像”的一例。在式(10)中设定为k＝0的情况下，Rstatic(x，y，t)、Gstatic(x，y，t)、Bstatic(x，y，t)分别成为R(x，y，t)、G(x，y，t)、B(x，y，t)的时间平均值，Mstatic成为静止的图像。在该情况下的图像Mstatic由动态图像M1的多个帧t(tmin≤t≤tmax)中的时间频率成为零的分量构成。在式(10)中设定为k＞0的情况选，Mstatic成为包含设为缓慢的运动分量的图像(步骤S516’)。
高时间频率分量提取部515’对FR(x，y，f)、FG(x，y，f)、FB(x，y，f)乘以高通滤波器HF(f)，得到GRmotion(x，y，f)、GGmotion(x，y，f)、GBmotion(x，y，f)(其中，xmin≤x≤xmax、ymin≤y≤ymax、0≤|f|≤fmax)并进行输出(式(13))。
Figure BDA0002284241980000171
其中，高通滤波器HF(f)以式(14)来表达。
【数10】
Figure BDA0002284241980000172
h为0以上的常数。在h＝0的情况下，高通滤波器HF(f)提取绝对值为正的时间频率的分量。在h＞0的情况下，高通滤波器HF(f)提取时间频率的绝对值比与h对应的时间频率大的时间频率分量。期望h为k以上。不需要必须k和h相等。在使k和h相等的情况下，低通滤波器LF(f)和高通滤波器HF(f)成为互补。在该情况下，也可以代替使用高通滤波器HF(f)，而将没有由低时间频率分量提取部511’去除的分量设为GRmotion(x，y，f)、GGmotion(x，y，f)、GBmotion(x，y，f)。即，也可以设为
Figure BDA0002284241980000173
(步骤S515’)。
GRmotion(x，y，f)、GGmotion(x，y，f)、GBmotion(x，y，f)被输入至时域变换部517’。时域变换部517’将GRmotion(x，y，f)、GGmotion(x，y，f)、GBmotion(x，y，f)变换为时域，得到高时间频率分量Rmotion(x，y，t)、Gmotion(x，y，t)、Bmotion(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)并进行输出。以下表示使用傅里叶反变换的例子(式(16))。
【数11】
Figure BDA0002284241980000181
式(16)的积分范围为-∞至+∞，但实际上仅关于有限区间0≤|f|≤fmax计算即可。此外，也可以使用离散傅里叶反变换(步骤S517’)。
亮度运动分量提取部512’对Rmotion(x，y，t)、Gmotion(x，y，t)、Bmotion(x，y，t)进行加权加法，得到动态图像M1的亮度分量Yoriginal(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)并进行输出(步骤S512’)(式(17))。
Ymotion(x,y,t)＝αRRmotion(x,y,t)+αGGmotion(x,y,t)+αBBmotion(x,y,t) (17)
其中，αR、αG、αB为权重系数(常数)。亮度运动分量Ymotion(x，y，t)是“时间频率的绝对值为第二值以上的亮度运动分量”的一例。
以后的处理与第五实施方式相同。在本方式中，能够给用户带来动态图像M2以比图像Mstatic高的时间频率运动的错觉。
[第五实施方式的变形例2]
在第五实施方式及其变形例1中，生成对由动态图像M1的低时间频率分量构成的图像Mstatic加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图13A)。但是，也可以生成对根据从动态图像M1的低时间频率分量提取的“色差分量”决定的颜色分量的图像Mstatic加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图13B)。或也可以生成对由从动态图像M1的低时间频率分量提取的“亮度分量”构成的图像Mstatic加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图14A)。在这样的动态图像M2中，也能够带来动态错觉。此外，动态图像M1也可以是灰阶动态图像。
[第六实施方式]
在动态图像M1包含周期性的或反复性的运动分量(例如，较小的运动)的情况下，也可以使用动态图像M1中包含的任意的帧(例如第t＝n个帧)的静止图像作为“图像”(图13A)。即，也可以生成对从动态图像M1提取的任意的帧的静止图像加进了亮度运动分量的动态图像M2。在这样的动态图像M2中，也能够产生错觉以使静止图像看起来运动。
＜结构＞
如图15所例示，本方式的动态图像分量提取装置61具有图像提取部611(第一处理部)、亮度运动分量提取部612(第二处理部)、以及输出部513。动态错觉呈现装置52与第五实施方式相同。动态图像分量提取装置61例如通过在上述那样的计算机中读入规定的程序从而构成。
＜处理＞
使用图16说明本方式的处理。与第五实施方式的不同点在于，代替步骤S511而执行步骤S611，代替步骤S5123而执行步骤S6123的点。以下，仅说明作为不同点的步骤S611以及步骤S6123。
《步骤S611》
动态图像M1(式(1))被输入至图像提取部611以及亮度运动分量提取部612。图像提取部611从动态图像M1提取第t＝n个帧的静止图像，将其作为图像Mstatic而输出。即，输出由以Rstatic(x，y)＝R(x，y，n)、Gstatic(x，y)＝G(x，y，n)、Bstatic(x，y)＝B(x，y，n)(xmin≤x≤xmax、ymin≤y≤ymax)为要素的二维矩阵{Rstatic(x，y)}、{Gstatic(x，y)}、{Bstatic(x，y)}构成的图像Mstatic(式(3))。本方式的图像Mstatic也是在将“第一值”设为0的情况下的“时间频率的绝对值为第一值以下的像”的一例。期望图像Mstatic包含绝对值比零大的空间频率分量，此外期望包含有彩色(步骤S611)。
《步骤S6123》
亮度运动分量提取部612将与Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)(其中，xmin≤x≤xmax、ymin≤y≤ymax)对应的亮度分量设为亮度静止分量Ystatic(x，y)。亮度静止分量Ystatic(x，y)与步骤S5122相同，通过对Rstatic(x，y)、Gstatic(x，y)、Bstatic(x，y)进行加权加法从而得到。亮度运动分量提取部612从各帧t的亮度分量Yoriginal(x，y，t)减去亮度静止分量Ystatic(x，y)从而得到亮度运动分量Ymotion(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)并进行输出(步骤S6123)(式(5))。即，本方式的视频(Ymotion(x，y，t))包含从与对象物对应的视频中的多个帧各自的亮度分量Yoriginal(x，y，t)减去从基于与对象物对应的视频的静止图像得到的亮度静止分量Ystatic(x，y)而得到的亮度运动分量。
在本方式中，能够通过亮度运动分量而产生错觉以使任意帧的单一的静止图像在视觉上运动，给予用户不比本来的运动图像逊色的视觉体验。
[第六实施方式的变形例]
在本方式中，生成了对动态图像M1的任意的帧的静止图像Mstatic加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图13A)。但是，也可以生成对根据从动态图像M1的任意的帧的静止图像Mstatic提取的“色差分量”决定的颜色分量的图像加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图13B)。或也可以生成对由从动态图像M1的任意的帧的静止图像Mstatic提取的“亮度分量”构成的图像加进了从动态图像M1的高时间频率分量提取的亮度运动分量的动态图像M2(图14A)。在这样的动态图像M2中，也能够带来动态错觉。此外，动态图像M1也可以是灰阶动态图像。
[第七实施方式]
如前所述，在视觉系统的运动视觉特性上，即使使合成到“图像”的“亮度运动分量”的空间分辨率、对比度降低，也保持所感知的运动图像的质量。在本方式中，将动态图像M1的“低时间频率分量”设为“图像(像)”，将降低了从动态图像M1的“高时间频率分量”提取的亮度分量(动态图像M1中包含的亮度运动分量图像)的高空间频率分量或对比度的至少一方的分量设为“亮度运动分量”。例如，对亮度运动分量图像进行用于降低高空间频率分量或对比度的至少一方的滤波。其后，进行对“图像”整合(加进)“亮度运动分量”的运算，显示由此得到的动态图像M2(图14B)。
＜结构＞
如图15所例示，本方式的动态图像分量提取装置71具有低时间频率分量提取部511、亮度运动分量提取部512、滤波部719、以及输出部513。本方式的动态错觉呈现装置52与第五实施方式相同。动态图像分量提取装置71例如通过在上述那样的计算机中读入规定的程序从而构成。
＜处理＞
使用图16说明本方式的处理。本方式和第五实施方式的不同点在于，对在步骤S5123中得到的亮度运动分量Ymotion(x，y，t)(亮度运动分量图像)进行滤波，将滤波后的亮度运动分量加进“图像”而得到动态图像M2的点。以下，仅说明对于在S5123中得到的亮度运动分量Ymotion(x，y，t)的滤波的处理。
在步骤S5123中得到的亮度运动分量Ymotion(x，y，t)(其中，xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax)被输入至滤波部719。滤波部719首先将Ymotion(x，y，t)变换为时间空间频域而得到FYmotion(ξ，η，τ)。其中，ξ、η、τ分别表示水平方向的空间频率、垂直方向的空间频率、时间频率。将水平方向的空间频率的下限以及上限设为ξmin以及ξmax(ξmin＜ξmax)，将垂直方向的空间频率的下限以及上限设为ηmin以及ηmax(ηmin＜ηmax)，将时间频率的下限以及上限设为τmin以及τmax(τmin＜τmax)。ξ、η、τ满足ξmin≤ξ≤ξmax、ηmin≤η≤ηmax、τmin≤τ≤τmax。以下表示使用傅里叶变换的例子(式(18))。在该情况下的FYmotion(ξ，η，τ)是Ymotion(x，y，t)的傅里叶频谱。
【数12】
FYmotion(ξ,η,τ)＝
∫∫∫Ymotion(x,y,t)exp[-2πi(xξ+yη+tτ)]dxdydt (18)
式(18)的积分范围为-∞至+∞，但实际上仅关于有限区间xmin≤x≤xmax、ymin≤y≤ymax、tmin≤t≤tmax计算即可。此外，也可以使用离散傅里叶变换(步骤S7191)。
接着滤波部719对FYmotion(ξ，η，τ)乘以滤波器G(ξ，η，τ)，进而通过傅里叶反变换而得到亮度运动分量gYmotion(x，y，t)(式19)。
【数13】
gYmotion(x,y,t)＝
∫∫∫FYmotion(ξ,η,τ)G(ξ,η,τ)
×exp[2πi(xξ+yη+tτ)]dξdηdτ (19)
式(19)的积分范围为-∞至+∞，但实际上仅关于有限区间ξmin≤ξ≤ξmax、ηmin≤η≤ηmax、τmin≤τ≤τmax计算即可。此外，也可以使用离散傅里叶反变换。亮度运动分量gYmotion(x，y，t)是“时间频率的绝对值为第二值以上的亮度运动分量”的一例。
G(ξ，η，τ)是用于降低高空间频率分量或对比度的滤波器。用于降低高空间频率分量的滤波器是低通滤波器，用于降低对比度(整体对比度)的滤波器例如是对深浅等级进行线性变换的函数、对直方图进行平坦化的函数(时空间频率滤波器)等。以下表示低通滤波器的具体例(式(20))。
【数14】
Figure BDA0002284241980000211
其中，a以及b为正的常数。在此将阶梯状地截去高空间频率傅里叶频谱的函数设为G(ξ，η，τ)，但只要能够截去高空间频率傅里叶频谱，则也可以使用任意函数作为G(ξ，η，τ)(步骤S7192)。
以后的处理成为将第五实施方式的亮度运动分量Ymotion(x，y，t)置换为亮度运动分量gYmotion(x，y，t)的处理。如前述那样，即使通过滤波而降低亮度运动分量动态图像的高空间频率，或降低对比度，视觉系统的特性在允许的范围内而不对动态图像的感知的质量有影响。因此，即使通过滤波而丢失亮度运动分量的信息量，也能够给予客户不比本来的动态图像M1逊色的视觉体验。
[第七实施方式的变形例]
第七实施方式是将第五实施方式的亮度运动分量Ymotion(x，y，t)置换为亮度运动分量gYmotion(x，y，t)的方式。但是，也可以将第五实施方式的变形例1的亮度运动分量Ymotion(x，y，t)置换为亮度运动分量gYmotion(x，y，t)。在该情况下，在图17的步骤S512’后执行步骤S7191以及S7192。同样，也可以将第五实施方式的变形例2或第六实施方式的亮度运动分量Ymotion(x，y，t)置换为亮度运动分量gYmotion(x，y，t)。
[第八实施方式]
在第八实施方式中，前述的“时间频率的绝对值为第一值以下的像”被表现在“对象物”的表面，“时间频率的绝对值为第二值以上的亮度运动分量”与该“像”重合。由此也能够产生错觉以使“像”运动。以下，说明静止的“像”被印刷在“对象物”上，对该“像”投影“时间频率的绝对值为第二值以上的亮度运动分量”的例子。
＜结构＞
如图19所例示，本方式的动态图像分量提取装置81将第五实施方式至第七实施方式或它们的变形例的动态图像分量提取装置51、51’、61、71的任意输出部513置换为输出部813以及印刷部814。本方式的动态错觉呈现装置82(错觉呈现装置)具有输入部821、以及投影部823(投影仪)。此外，在本方式中例示的对象物83是纸等二维介质。
＜处理＞
如前述的任意实施方式或变形例那样从动态图像M1提取的静止的图像Mstatic(式(3))被输入至印刷部814(输出部)。印刷部814将图像Mstatic印刷在对象物83的表面。如任意实施方式或变形例那样从动态图像M1提取的亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)被传送至动态错觉呈现装置82，并被输入至输入部821。亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)被传送至投影部823，投影部823通过公知的光产生(production)技术(例如，参考文献9：河邉隆寛，澤山正貴，丸谷和史，西田眞也，(2014)，“静止した2次元対象を運動情報によって錯覚的に変形させる光投影方法，”2014年映像情報メディア学会年次大会,5-3.)，将亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)投影到在对象物83上印刷的图像Mstatic并显示动态图像M2(式(21))。
【数15】
Figure BDA0002284241980000231
其中，式(21)的○表示对图像Mstatic的亮度分量复合地加上或乘以亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)的状态(加进的状态)。换言之，表示对图像Mstatic的亮度分量和亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)实施包含加法以及乘法的至少一方的运算的状态。即，设想在向印刷物投影了光的情况下，根据纸、油墨的特性而反射的图案不同，部分地乘法上亮度变化，在其他部分中加法上亮度变化，因此将产生这双方的亮度变化的计算以○来表示。另外，式(6)表示对图像Mstatic中的亮度分量加上亮度运动分量Ymotion(x，y，t)的状态，式(7)表示对图像Mstatic中的亮度分量乘以基于亮度运动分量Ymotion(x，y，t)的运动的调制比率Y’motion(x，y，t)的状态。即，在本方式中，为了感知为对对象物(Mstatic)给予运动，对对象物重叠视频(Ymotion(x，y，t)或gYmotion(x，y，t)。该视频是包含与被给予对象物的运动对应的亮度运动分量的视频(例如，即包含亮度分量的视频)。此外，如式(3)(21)所例示，以对象物(Mstatic)的区域、和视频中(Ymotion(x，y，t)或gYmotion(x，y，t))的与被给予该对象物的运动对应的区域重合的方式，将该视频与该对象物重叠。此外，视频中的多个帧中的亮度运动分量的时间频率的绝对值比与对象物对应的视频中的多个帧中的时间频率的绝对值大。
这样也能够呈现动态的错觉。另外，在通过投影仪投影亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)的情况下，它们不具有负值。因此，动态图像M2的整体的亮度上升。进而，基于投影的亮度上升一部分成为乘法。因此，动态图像M2的亮度分布与原来的动态图像M1的亮度颇为不同。尽管如此，用户能够从动态图像M2视觉体验原来的动态图像M1的运动。认为参考文献9所示的基于视觉系统的自适应的亮度对比度标准化(normalization)与此有关。像这样，在本方式中也能够给予用户不比本来的动态图像M1逊色的视觉体验。
[第八实施方式的变形例]
在第八实施方式中，静止的图像Mstatic被印刷在纸等“对象物”上。但是，也可以不将其印刷，而是通过其他投影仪投影到屏幕等“对象物”并进行显示，或在电子纸等“对象物”上显示。此外，也可以向参考文献9所示的透过型显示器投影“运动分量动态图像”。此外，在投影、显示图像Mstatic的情况下，不需要图像Mstatic为静止的图像，也可以是缓慢运动的图像。在该情况下，能够给予用户以比图像Mstatic高的时间频率运动的视觉体验。此外，也可以不是从动态图像M1提取图像Mstatic，而是基于拍摄建筑物、绘画等“对象物”而得到的静止图像来制成动态图像M1，由此生成亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)，或根据拍摄“对象物”得到的静止图像而生成亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)。将这样生成的亮度运动分量Ymotion(x，y，t)或gYmotion(x，y，t)投影到在“对象物”的表面表现的像，从而能够产生错觉以使“像”运动。
[其他变形例等]
另外，本发明不限定于上述的实施方式及其变形例。例如，动态图像分量提取装置以及动态错觉呈现装置也可以是同一装置。或也可以是动态图像分量提取装置、动态错觉呈现装置所包含的各部的处理由相互不同的装置来实施。
上述的各种处理不仅按照记载而时序地执行，也可以根据执行处理的装置的处理能力或根据需要而并行或单独执行。此外，能够在不脱离本发明的宗旨的范围内适当变更是不言而喻的。
在由计算机实现上述的结构的情况下，各装置应具有的功能的处理内容通过程序来记述。通过由计算机执行该程序，在计算机上实现上述处理功能。记述了该处理内容的程序能够记录至能够由计算机读取的记录介质。能够由计算机读取的记录介质的例子是非暂时的(non-transitory)记录介质。这样的记录介质的例子是磁记录装置、光盘、光磁记录介质、半导体存储器等。
该程序的流通例如通过对记录了该程序的DVD、CD-ROM等可移动记录介质进行销售、转让、借出等来进行。进而，也可以设为将该程序储存至服务器计算机的存储装置，经由网络，从服务器计算机向其他计算机转发该程序，从而使该程序流通的结构。
执行这样的程序的计算机例如首先将在可移动记录介质中记录的程序或者从服务器计算机转发的程序暂时储存至自己的存储装置。在执行处理时，该计算机读取在自己的记录装置中储存的程序，执行按照所读取到的程序的处理。作为该程序的其他执行方式，也可以是计算机从可移动记录介质直接读取程序，执行按照该程序的处理，进而，也可以设为在每次从服务器计算机向该计算机转发程序，逐次执行按照所收取的程序的处理。也可以设为不进行从服务器计算机向该计算机的程序的转发，而是通过仅由该执行指示和结果取得来实现处理功能的所谓ASP((应用服务提供商(Application Service Provider))型的服务，执行上述的处理的结构。
也可以进行将“记录通过拍摄而得到的第一图像的第一图像数据”、和“记录保持所述第一图像中包含的边缘的信息且使图像整体的空间频带比所述第一图像的空间频带窄的窄带图像，并且是在显示时该窄带图像中包含的边缘与所述第一图像的边缘重合的方式在所述第一图像的上重叠显示的、具有透过性的第二图像的第二图像数据”关联的数据结构的流通。该流通也可以将该数据结构通过互联网等进行分发从而进行，也可以对记录了该数据结构的DVD、CD-ROM等可移动记录介质进行销售、转让、借出等从而进行。
此外，也可以进行包含表示从动态图像分量提取装置输出的“包含绝对值比零大的空间频率分量而时间频率的绝对值为第一值以下的像”的第一数据、和表示“与像相应的、时间频率的绝对值为第二值以上的亮度运动分量”的第二数据的数据结构的流通。该流通也可以将该数据结构通过互联网等进行分发从而进行，也可以对记录了该数据结构的DVD、CD-ROM等可移动记录介质进行销售、转让、借出等从而进行。接受该数据结构的提供的装置将“第一数据”以及“第二数据”输入至运算部，该运算部进行对“像”加进“亮度运动分量”的运算而得到动态图像，从显示部显示该动态图像。或第一数据被输入至输出部，输出部将“像”表现在“对象物”的表面，第二数据被输入至投影部，投影部将“亮度运动分量”投影到在“对象物”的表面表现的“像”。由此，能够将产生动态错觉的动态图像显示在显示部或对象物上。此外，也可以进行在为了感知为对“对象物”给予运动而对“对象物”重叠视频的装置中使用的视频的数据结构的流通。在此，视频中的多个帧中的所述亮度运动分量的时间频率的绝对值比与“对象物”对应的视频中的多个帧中的时间频率的绝对值大。或也可以是该数据结构包含从与“对象物”对应的视频中的多个帧各自的亮度分量减去从基于与“对象物”对应的视频的静止图像得到的亮度静止分量而得到的亮度运动分量。
工业上的可利用性
本发明例如能够利用于(1)通过光投影对纸介质施加运动印象，或对广告牌施加运动的印象这样的广告领域、(2)使地、墙等室内装饰的花纹错觉上变形的室内装饰领域、(3)对角色的插图给予运动，或与以往的投射映射技术融合的艺术、玩具、娱乐领域等。

Claims (3)

1.一种视频呈现方法，其中，包含：
拍摄步骤，对对象物进行拍摄而取得原图像；
视频生成步骤，从所述原图像生成多个不同的窄带图像，生成所述生成的多个不同的窄带图像以在时间上平滑地连接的方式排列的视频；以及
呈现步骤，将所述生成的视频与所述对象物重叠显示，或向所述对象物投影视频，
所述窄带图像是保持所述原图像中包含的边缘的信息且使图像整体的空间频带比所述原图像的空间频带窄的图像，
所述呈现步骤以所述对象物中包含的边缘或所述对象物的轮廓、和所述窄带图像中包含的边缘重合的方式将所述生成的视频与所述对象物重叠显示，或向对象物投影视频。
2.一种视频呈现装置，其中，包含：
拍摄部，对对象物进行拍摄而取得原图像；
视频生成部，从所述原图像生成多个不同的窄带图像，生成所述生成的多个不同的窄带图像以在时间上平滑地连接的方式排列的视频；以及
呈现部，所述生成的视频与所述对象物重叠显示，或向所述对象物投影视频，
所述窄带图像是保持所述原图像中包含的边缘的信息且使图像整体的空间频带比所述原图像的空间频带窄的图像，
所述呈现部以所述对象物中包含的边缘或所述对象物的轮廓、和所述窄带图像中包含的边缘重合的方式重叠显示所述生成的视频，或向所述对象物投影视频。
3.一种程序，用于使计算机执行权利要求2所述的视频呈现装置的处理。
CN201911153702.2A 2014-04-22 2015-04-21 视频呈现装置、视频呈现方法以及程序 Pending CN110989284A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014088389 2014-04-22
JP2014-088389 2014-04-22
JP2014230720 2014-11-13
JP2014-230720 2014-11-13
CN201580021244.0A CN106233716B (zh) 2014-04-22 2015-04-21 动态错觉呈现装置、动态错觉呈现方法、程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580021244.0A Division CN106233716B (zh) 2014-04-22 2015-04-21 动态错觉呈现装置、动态错觉呈现方法、程序

Publications (1)

Publication Number Publication Date
CN110989284A true CN110989284A (zh) 2020-04-10

Family

ID=54332481

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201911153702.2A Pending CN110989284A (zh) 2014-04-22 2015-04-21 视频呈现装置、视频呈现方法以及程序
CN201580021244.0A Active CN106233716B (zh) 2014-04-22 2015-04-21 动态错觉呈现装置、动态错觉呈现方法、程序
CN201911153690.3A Active CN110996080B (zh) 2014-04-22 2015-04-21 视频呈现装置、视频呈现方法、以及记录介质
CN201911153704.1A Pending CN110989285A (zh) 2014-04-22 2015-04-21 视频生成装置、视频生成方法、数据结构以及程序

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201580021244.0A Active CN106233716B (zh) 2014-04-22 2015-04-21 动态错觉呈现装置、动态错觉呈现方法、程序
CN201911153690.3A Active CN110996080B (zh) 2014-04-22 2015-04-21 视频呈现装置、视频呈现方法、以及记录介质
CN201911153704.1A Pending CN110989285A (zh) 2014-04-22 2015-04-21 视频生成装置、视频生成方法、数据结构以及程序

Country Status (5)

Country Link
US (3) US10571794B2 (zh)
EP (2) EP3637410A1 (zh)
JP (5) JP6425312B2 (zh)
CN (4) CN110989284A (zh)
WO (1) WO2015163317A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989284A (zh) 2014-04-22 2020-04-10 日本电信电话株式会社 视频呈现装置、视频呈现方法以及程序
JP6430420B2 (ja) * 2016-02-12 2018-11-28 日本電信電話株式会社 情報呈示システム、および情報呈示方法
JP6461836B2 (ja) * 2016-02-12 2019-01-30 日本電信電話株式会社 対象に動きの変化が与えられているように知覚させる装置、およびその方法
JP6466354B2 (ja) * 2016-02-12 2019-02-06 日本電信電話株式会社 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム
JP6457964B2 (ja) * 2016-03-10 2019-01-23 日本電信電話株式会社 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
JP6556680B2 (ja) * 2016-09-23 2019-08-07 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
JP6615818B2 (ja) * 2017-04-03 2019-12-04 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
US10609355B2 (en) * 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
JP7010122B2 (ja) * 2018-04-11 2022-01-26 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
JP6845181B2 (ja) * 2018-04-24 2021-03-17 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
JP2019013012A (ja) * 2018-08-17 2019-01-24 日本電信電話株式会社 データ構造
JP7035936B2 (ja) * 2018-09-27 2022-03-15 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP7063216B2 (ja) * 2018-09-27 2022-05-09 日本電信電話株式会社 錯覚呈示システム、および錯覚呈示方法
JP7040422B2 (ja) * 2018-11-28 2022-03-23 日本電信電話株式会社 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645468A (zh) * 2004-01-21 2005-07-27 索尼株式会社 显示控制装置及方法、记录介质、和程序
CN101365054A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及其控制方法
JP2011085686A (ja) * 2009-10-14 2011-04-28 Hara Seisakusho:Kk 立体表示方法及び装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5794784A (en) 1980-11-20 1982-06-12 Kobe Steel Ltd Picture information synthetizing terminal
US5325473A (en) * 1991-10-11 1994-06-28 The Walt Disney Company Apparatus and method for projection upon a three-dimensional object
JPH0793558A (ja) * 1993-09-22 1995-04-07 Toshiba Corp 画像監視装置
JPH086158A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 投写型表示装置
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
WO1998044479A1 (fr) * 1997-03-31 1998-10-08 Matsushita Electric Industrial Co., Ltd. Procede de visualisation du premier plan d'images et dispositif connexe
US7604348B2 (en) * 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
JP3453657B2 (ja) * 2001-03-13 2003-10-06 北海道地図株式会社 映像表示装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7019748B2 (en) 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
JP3674568B2 (ja) * 2001-10-02 2005-07-20 ソニー株式会社 強度変調方法及びシステム並びに光量変調装置
JP3793520B2 (ja) 2002-04-22 2006-07-05 元井 成幸 画像提供装置及び画像提供プログラム
JP2004173320A (ja) 2002-04-22 2004-06-17 Nariyuki Motoi 画像提供装置
JP2004128936A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2005204923A (ja) 2004-01-22 2005-08-04 Heiwa Corp 遊技機
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
EP1804112B1 (en) * 2004-09-08 2016-11-30 Nippon Telegraph And Telephone Corporation Three-dimensional display method, apparatus and program
CN1770204A (zh) * 2004-10-29 2006-05-10 中国科学院计算技术研究所 从具有静态背景的运动视频提取运动对象重心轨迹的方法
JP4415842B2 (ja) * 2004-12-08 2010-02-17 パイオニア株式会社 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム
JP2006325122A (ja) * 2005-05-20 2006-11-30 Otsuka Denshi Co Ltd 動画表示性能判定方法、検査画面及び動画表示性能判定装置
US7397933B2 (en) * 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
CN100584035C (zh) * 2005-10-10 2010-01-20 重庆大学 基于压缩传输数据的多个显示器动态视频显示方法
US8565525B2 (en) * 2005-12-30 2013-10-22 Telecom Italia S.P.A. Edge comparison in segmentation of video sequences
JP4795091B2 (ja) * 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
JP4697063B2 (ja) * 2006-06-20 2011-06-08 日産自動車株式会社 接近車両検出装置
US20080085741A1 (en) * 2006-10-10 2008-04-10 Sony Ericsson Mobile Communications Ab Method for providing an alert signal
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
KR20080101700A (ko) * 2007-05-18 2008-11-21 소니 가부시끼 가이샤 표시 장치, 표시 장치의 구동 방법 및 컴퓨터 프로그램
KR101388583B1 (ko) * 2007-06-12 2014-04-24 삼성디스플레이 주식회사 구동장치, 이를 갖는 표시장치 및 표시장치의 구동방법
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2009033564A (ja) * 2007-07-27 2009-02-12 Sanyo Electric Co Ltd 表示装置及び表示プログラム
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5464819B2 (ja) * 2008-04-30 2014-04-09 キヤノン株式会社 動画像処理装置および方法、プログラム
JP2010072025A (ja) * 2008-09-16 2010-04-02 Nikon Corp プロジェクタ付電子機器
EP2378392B1 (en) * 2008-12-25 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5402056B2 (ja) * 2009-02-16 2014-01-29 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
JP2010211303A (ja) * 2009-03-06 2010-09-24 Olympus Corp 画像生成装置、異物検査システム、及び画像生成方法
CN101562755B (zh) * 2009-05-19 2010-09-01 无锡景象数字技术有限公司 一种由平面视频制作3d视频的方法
JP5268796B2 (ja) * 2009-06-22 2013-08-21 日本放送協会 移動物体領域検出装置及び移動物体領域検出プログラム
JP2011022762A (ja) 2009-07-15 2011-02-03 Hitachi Ltd 画像信号処理装置
CN101777180B (zh) * 2009-12-23 2012-07-04 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
JP2011146980A (ja) * 2010-01-15 2011-07-28 Sony Corp 画像処理装置および方法
US20120320986A1 (en) * 2010-02-23 2012-12-20 Nippon Telegraph And Telephone Corporation Motion vector estimation method, multiview video encoding method, multiview video decoding method, motion vector estimation apparatus, multiview video encoding apparatus, multiview video decoding apparatus, motion vector estimation program, multiview video encoding program, and multiview video decoding program
CN101815177B (zh) * 2010-03-11 2011-09-21 广东威创视讯科技股份有限公司 同步显示装置、同步显示方法及叠加拼接显示系统
CN101833791B (zh) * 2010-05-11 2012-04-18 成都索贝数码科技股份有限公司 一种单摄像机下的场景建模方法及系统
CN102109543B (zh) * 2010-12-08 2013-04-17 电子科技大学 一种具有波形图像实时缩放功能的数字三维示波器
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
CN103135889B (zh) * 2011-12-05 2017-06-23 Lg电子株式会社 移动终端及其3d图像控制方法
JP5812855B2 (ja) 2011-12-27 2015-11-17 株式会社久保田製作所 遠心分離機用バケット、遠心分離機用バケットの製造方法
US10426333B2 (en) * 2012-02-23 2019-10-01 American University Directional illusions based on motion pixels and uses thereof
JP2013179542A (ja) * 2012-02-29 2013-09-09 Nikon Corp 画像処理装置およびプログラム
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
JP6021053B2 (ja) * 2012-05-22 2016-11-02 学校法人東京理科大学 動画視認性定量化装置、動画視認性定量化方法、及びプログラム
JP2014171097A (ja) * 2013-03-04 2014-09-18 Toshiba Corp 符号化装置、符号化方法、復号装置、および、復号方法
US9478004B2 (en) * 2013-04-11 2016-10-25 John Balestrieri Method and system for analog/digital image simplification and stylization
US9292956B2 (en) * 2013-05-03 2016-03-22 Microsoft Technology Licensing, Llc Automated video looping with progressive dynamism
JP6069115B2 (ja) * 2013-06-25 2017-02-01 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
CN103310422B (zh) * 2013-06-28 2016-08-31 新晨易捷（北京）科技有限公司 获取图像的方法及装置
EP3092603B1 (en) * 2014-01-07 2022-05-11 ML Netherlands C.V. Dynamic updating of composite images
CN110989284A (zh) 2014-04-22 2020-04-10 日本电信电话株式会社 视频呈现装置、视频呈现方法以及程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645468A (zh) * 2004-01-21 2005-07-27 索尼株式会社 显示控制装置及方法、记录介质、和程序
CN101365054A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及其控制方法
JP2011085686A (ja) * 2009-10-14 2011-04-28 Hara Seisakusho:Kk 立体表示方法及び装置

Also Published As

Publication number Publication date
US11036123B2 (en) 2021-06-15
JP2020030843A (ja) 2020-02-27
CN110996080A (zh) 2020-04-10
EP3136717A4 (en) 2017-12-13
US20170045813A1 (en) 2017-02-16
CN106233716B (zh) 2019-12-24
US20210247686A1 (en) 2021-08-12
JP2018078660A (ja) 2018-05-17
JP2023101517A (ja) 2023-07-21
JP6965914B2 (ja) 2021-11-10
JP7283513B2 (ja) 2023-05-30
EP3136717A1 (en) 2017-03-01
JPWO2015163317A1 (ja) 2017-04-20
US20200150521A1 (en) 2020-05-14
CN110996080B (zh) 2021-10-08
JP2022002141A (ja) 2022-01-06
WO2015163317A1 (ja) 2015-10-29
JP6425312B2 (ja) 2018-11-21
CN106233716A (zh) 2016-12-14
EP3637410A1 (en) 2020-04-15
CN110989285A (zh) 2020-04-10
JP6611837B2 (ja) 2019-11-27
US10571794B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN106233716B (zh) 动态错觉呈现装置、动态错觉呈现方法、程序
JP4705959B2 (ja) 画像の顕著性マップを作成する装置及び方法
WO2019198570A1 (ja) 映像生成装置、映像生成方法、プログラム、およびデータ構造
EP2630631B1 (en) Methods and systems of generating an interlaced composite image
JP6505646B2 (ja) 映像生成装置、映像生成方法、およびプログラム
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
JP6466354B2 (ja) 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム
JP6430420B2 (ja) 情報呈示システム、および情報呈示方法
JP6666296B2 (ja) 映像生成装置、その方法、およびプログラム
JP6615818B2 (ja) 映像生成装置、映像生成方法、およびプログラム
WO2019208143A1 (ja) 映像生成装置、映像生成方法、およびプログラム
JP6461836B2 (ja) 対象に動きの変化が与えられているように知覚させる装置、およびその方法
JP2019013012A (ja) データ構造
US20130076733A1 (en) Image processing apparatus, image processing method, and image processing program
Dadhich et al. Contrast Stretching and Improved Dark Channel Prior Method Based Image Defogging
Arora et al. Projected pixel localization and artifact removal in captured images
EP1239417A1 (en) Method and device to calculate light sources in a scene and to generate mutual photometric effects
KR20090057547A (ko) 단말기의 이미지 필터링을 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410