CN113170077A - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN113170077A
CN113170077A CN201880099911.0A CN201880099911A CN113170077A CN 113170077 A CN113170077 A CN 113170077A CN 201880099911 A CN201880099911 A CN 201880099911A CN 113170077 A CN113170077 A CN 113170077A
Authority
CN
China
Prior art keywords
display
unit
display device
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099911.0A
Other languages
English (en)
Inventor
清水宏
荒井郁也
桥本康宣
野村具德
川前治
吉泽和彦
高见泽尚久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN113170077A publication Critical patent/CN113170077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明以虚拟空间与真实空间等价的方式进行显示，提供没有不协调感的虚拟空间。在显示装置(10)中，AF传感器(1022)识别前置摄像头(1022)拍摄的使用者的眼睛，测量从识别出的眼睛到前置摄像头(1022)的第一距离。AF传感器(1024)测量从后置摄像头(1023)到该后置摄像头(1023)拍摄的对象物的第二距离。图像处理部(103)基于AF传感器(1022)测得的第一距离、AF传感器(1024)测得的第二距离和显示部(107)的高度，计算要在该显示部(107)上显示的显示拍摄范围，并从后置摄像头(1023)拍摄的图像中提取计算出的显示拍摄范围显示在显示部(107)上。图像处理部(103)计算的显示拍摄范围能够使得，显示在显示部(107)上的对象物与从使用者的视点看到的未被显示部(107)遮挡的外界景色为相同尺寸。

Description

显示装置
技术领域
本发明涉及显示装置，尤其涉及一种技术，可有效适用于在虚拟现实图像上叠加显示虚拟对象(virtual object)的图像处理。
背景技术
近年来，伴随着以MR(Mixed Reality：混合现实)、VR(Virtual Reality：虚拟现实)或者AR(Article Reality：增强现实)技术为代表的图像处理技术的发展，以及用于显示图像处理结果的HMD(Head Mount Display：头戴式显示器)、平板电脑终端、智能手机终端等具有显示装置的电子终端的高性能化，人们已大量开发了能够将虚拟对象叠加显示在真实空间中和虚拟现实影像的图像上的内容及其装置等。
其主要的图像显示技术包括，例如，在显示摄像机拍摄的图像的同时接收用户对电子设备的操作，来一边观看所拍摄的图像一边进行电子设备的操作(例如参照专利文献1)。
其他的图像显示技术已知有，利用摄像机对摄影者的视野中被显示屏幕遮挡住的区域进行拍摄，将摄影者的视野中被显示屏幕遮挡住的区域显示在显示屏幕上(例如参照专利文献2)，或者，通过显示与观看屏幕的观察者的视线方向对应的图像，来实现富有真实感的图像显示(例如参照专利文献3)等。
现有技术文献
专利文献
专利文献1：日本特开2006-238033号公报
专利文献2：日本特开2012-080193号公报
专利文献3：日本特开2012-190230号公报
发明内容
发明要解决的技术问题
上述专利文献1～3的技术中，在显示部上显示拍摄图像时，针对终端的朝向、角度的变化及用户的视线变化等进行了校正，不过未考虑校正后显示的图像的尺寸等。
即，未考虑在使用者手持电子终端等情况下，因使用者的视线方向和视线距离的偏离而引起的显示画面的视觉变化，以及因电子终端上设置的摄像机的安装位置的影响而引起的显示画面的偏移(错位)等。
其结果存在这样的问题，即，叠加显示在真实空间中的虚拟对象等的图像会产生不协调感等。
本发明的目的在于提供一种技术，以使得虚拟空间与真实空间等价的方式进行显示，来提供没有不协调感的虚拟空间。
本发明的上述及其他目的和新的特征能够通过本说明书的描述和附图而明确。
解决问题的技术手段
对本申请公开的技术方案中有代表性者的内容之概要简单说明如下。
即，本申请之有代表性的显示装置包括第一摄像部、第一距离检测部、第二摄像部、第二距离检测部、图像处理部和显示部。第一摄像部被设置于第一面，对使用者进行拍摄。第一距离检测部识别第一摄像部拍摄的使用者的眼睛，测量从识别出的眼睛到第一摄像部的距离即第一距离。
第二摄像部被设置于与第一面相对的第二面，对对象物进行拍摄。第二距离检测部测量从第二摄像部到第二摄像部拍摄的对象物的距离即第二距离。
图像处理部对第一摄像部和第二摄像部拍摄的图像进行图像处理。显示部显示由图像处理部进行图像处理后的图像。
其中，图像处理部基于第一距离检测部测得的第一距离、第二距离检测部测得的第二距离和显示部的高度，计算要显示在显示部上的显示拍摄范围，从第二摄像部拍摄的图像中提取计算出的显示拍摄范围，将其显示在显示部上。
图像处理部计算的显示拍摄范围是如下范围：其使得显示在显示部上的对象物与从使用者的视点看到的未被显示部遮挡的外界景色为相同的尺寸。
尤其是，图像处理部生成按照显示拍摄范围而调整了显示尺寸的虚拟图像，将其显示在显示部上。
发明效果
本申请公开的技术方案中有代表性者可得到的技术效果简单说明如下。
能够减轻显示在显示装置上的图像的不协调感。
附图说明
图1是表示实施方式1的显示装置的结构之一例的说明图。
图2是表示图1的显示装置中的控制流程之一例的说明图。
图3是表示图1的显示装置进行的显示调整之一例的示意图。
图4是表示图1的显示装置所具有的后置摄像头的拍摄范围和显示范围之一例的说明图。
图5是表示基于图1的显示装置所具有的后置摄像头的安装位置来对显示范围进行校正之一例的说明图。
图6是表示在图1的显示装置所具有的显示部上显示的图像之一例的说明图。
图7是表示使图1的显示装置移动时的显示之一例的说明图。
图8是表示图7的其他例子的说明图。
图9是表示图1的显示装置的外观之一例的说明图。
图10是表示实施方式2的显示装置的使用状况之一例的说明图。
具体实施方式
在用于说明实施方式的所有图中，对相同的部件原则上标注相同的附图标记，省略其重复的说明。
(实施方式1)
下面详细说明实施方式。
〈显示装置的结构示例〉
图1是表示本实施方式1的显示装置10的结构之一例的说明图。
显示装置10例如由智能手机、平板电脑终端等移动终端构成。如图1所示，显示装置10包括CPU(Central Processing Unit：中央处理器)101、摄像处理部102、图像处理部103、存储部104、通信控制部105、传感器处理部106、显示部107和声音输出输入部108等。
CPU101通过执行存储在存储部104中的OS(Operating System：操作系统)、应用或者用于控制显示装置10的动作的控制程序等，控制各功能模块。
摄像处理部102包括前置摄像头1021、AF传感器1022、后置摄像头1023和AF传感器1024。作为第一摄像部的前置摄像头1021是设置在显示装置10的正面一侧即显示部107一侧也就是第一面上的摄像机。作为第一距离检测部的AF传感器1022测量前置摄像头1021与显示装置10的使用者的距离，进行聚焦调节。
作为第二摄像部的后置摄像头1023是设置在与前置摄像头1021相反的一侧，即显示装置10的背面一侧也就是第二面上的摄像机。作为第二距离检测部的AF传感器1024测量后置摄像头1023与其拍摄对象的距离，进行聚焦调节。
传感器处理部106包括距离传感器1061、陀螺仪传感器1062、加速度传感器1063和磁传感器1064等传感器组。距离传感器1061是监视显示装置10的姿态和位置等状态的传感器。
陀螺仪传感器1062是检测显示装置10的旋转方向角速度的传感器。加速度传感器1063是检测加速度的传感器，能够检测重力。通过该加速度传感器部1063进行的重力检测能够检测显示装置10的倾斜度等。磁传感器1064是检测地磁场的传感器，能够检知方位。
图像处理部103是被称作所谓GPU(Graphic Processing Unit：图形处理器)的图像处理装置，例如进行MR、VR或者AR等图像处理。显示部107由显示器件和对该显示器件进行驱动控制的驱动控制部构成，显示由图像处理部103进行图像处理后的图像等。显示器件例如是液晶显示器件或有机EL(Electro Luminescence：电致发光)器件等。
存储部104例如由快闪存储器等半导体存储器等构成，存储上述的应用、OS和控制程序以及设定信息等各种各样的信息。
上述存储在存储部104中的应用是用于处理虚拟对象等的应用，即AR应用、VR应用和MR应用等。
通信控制部105是利用无线LAN(Local Area Network：局域网)与路由器等进行无线通信的通信接口，经由该路由器等与外部网络连接而进行信息的发送和接收。
或者，通信控制部105也可以是与W-CDMA(Wideband Code Division MultipleAccess：宽带码分多址系统)、GSM(Global System for Mobile Communications：全球移动通信系统)(注册商标)等的基站进行远距离无线通信的通信接口。
声音输出输入部108由输入外部声音的麦克风和对外部输出声音的扬声器等构成。
〈显示装置的显示处理示例〉
接着，使用图2和图3说明显示装置10的显示方法。
图2是表示图1的显示装置10中的控制流程之一例的说明图。图3是表示图1的显示装置10进行的显示调整之一例的示意图。图2所示的流程的处理在存储于存储部104中的AR应用等启动时进行。
在图2中，在传感器处理即状态J207处，图像处理部103获取传感器处理部106检测的传感器信息。在状态J21处，测量从显示装置10到进行该显示装置10的操作的使用者的距离(图3的距离L1)和从显示装置10到使用者注视的对象物32的距离(图3的距离L2)。
该状态J21是摄像处理部102执行的，其中分别进行了前置摄像头用AF处理即状态J201、前置摄像头处理即状态J203、后置摄像头用AF处理即状态J202和后置摄像头处理即状态J204。
在状态J21处，使用前置摄像头1021和AF传感器1022测量从显示装置10到使用者的眼睛31的距离。并且，使用后置摄像头1023和AF传感器1024测量从显示装置10到对象物32的距离。
在前置摄像头用AF处理即状态J201处，AF传感器1022提取从显示装置10到使用者的眼睛31的距离信息。接着，在前置摄像头处理即状态J203处，AF传感器1022提取由前置摄像头1021拍摄的使用者的面部，识别该使用者的眼睛31来提取眼睛的位置信息。
由此，图像处理部103能够基于上述的距离信息和眼睛的位置信息，得到图3所示的显示装置10到使用者的眼睛31的距离信息L1。
同样地，在后置摄像头用AF处理即状态J202和后置摄像头处理即状态J204处，提取从显示装置10到对象物32的距离信息，不过，在该情况下，AF传感器1024通过决定在后置摄像头1023拍摄的对象物32上对焦的对焦点，使得图像处理部103能够得到图3所示的显示装置10到对象物32的距离即距离信息L2。
此处，图3所示的范围A～A’表示使用者的视野范围，范围B～B’表示视野被显示装置10遮挡的范围。此外，范围C～C’表示后置摄像头1023的拍摄范围，范围D～D’表示后置摄像头1023获取的图像的范围。
后置摄像头1023拍摄的对象是这样设定的，即，以显示部107的显示画面的中心附近作为使用者观看显示装置10时的注视点，以对焦在处于该显示画面的中心附近的物体的方式使其动作。
这些状态J201、J203和状态J202、J204可以在不同的时刻执行，或者，也可以使状态J201、J203和状态J202、J204在大致相同的时刻执行。
接着，在进行图像处理的状态J205处，图像处理部103基于状态J203处取得的距离信息L1、状态J204处取得的距离信息L2和状态J207处获取的传感器信息，从后置摄像头1023拍摄的范围中裁剪出实际要显示在显示部107上的部分，并进行放大或者缩小等处理。
此处，关于距离L2即从显示装置10到使用者注视的对象物32的距离，也可以使之为无穷远从而无需通过AF传感器1024进行测量。在显示控制处理即状态J206处，由显示部107显示在状态J205处由图像处理部103生成的图像。
这样，显示装置10进行显示控制，使图像处理部103显示在显示部107上的图像与使用者通过眼睛31看见的对象物的大小基本统一，在此基础上使显示部107进行显示，由此使得真实世界与屏幕(画面)上显示的图像即虚拟空间看起来大致相同。
下面说明基于后置摄像头1023拍摄的影像，按照上述显示控制的思想在显示部107上进行显示的方法。
图3所示的高度H2——其表示应当通过显示装置10显示的范围的高度，能够利用下述公式，由图2的控制流程中提到的距离L1、距离L2和显示装置10的显示部107的显示画面的高度H1求取。
H2＝(L1+L2)/L1×H1
其中，通过将表示后置摄像头1023的拍摄范围的视场角θ1设定得比使用者的眼睛31观察到的范围足够大，则只要从后置摄像头1023拍摄的范围中，在物体32所处的位置提取高度为H2的拍摄范围将其显示在显示部107上，就能够以从使用者1看来与周围的景色基本等同的尺寸感进行显示。换言之，从后置摄像头1023拍摄的范围中，裁剪作为显示拍摄范围的高度H2的拍摄范围，将其显示在显示部107。
由此，后置摄像头1023中设置的镜头优选为具有广视场角的镜头，即所谓的广角镜头。在广角镜头为鱼眼镜头的情况下，能够获取达到上下左右方向的大致180度范围的景物。由此，能够广角地拍摄正面的全景。
作为求取要提取的拍摄范围的方法，按以下公式计算图3所示的视场角θ2。
θ2＝2×tan-1((H2/2)/L2)
于是，显示部107上显示的图像按放大率M＝θ2/θ1显示，从使用者看来，图像看上去具有与处在被显示部107遮挡的部分的物体大致相同的大小。
但是，作为取得并显示拍摄范围的图像的方法，还存在不需要利用后置摄像头1023取得并显示外部图像的方法。该情况下，显示装置10例如由本身为透明玻璃板那样的面板，即所谓的透明液晶显示器等构成。
该透明液晶显示器是将液晶面板的偏振薄膜替换成特殊薄膜，从而能够像玻璃那样使背景透射的显示器。通过对该透明液晶显示器发送规定的信号，能够在任意的位置以任意的浓度显示图像。
由此，能够穿过显示器观看透过的背景，因此该透明液晶显示器只要显示虚拟对象即可。另外，关于所显示的图像的浓度，可以设定预设的透明度。
虚拟对象还能够基于前置摄像头1021检测的用户的眼睛31的位置和该位置与面板的角度等信息，在与外部图像链接的坐标位置进行显示。
〈拍摄范围和显示范围的示例〉
图4是表示图1的显示装置10所具有的后置摄像头1023的拍摄范围和显示范围之一例的说明图。
该图4表示利用上述公式求得的后置摄像头1023的拍摄范围与显示范围的关系。
图4中(a)表示从后置摄像头1023的拍摄范围41中裁剪出显示范围42的部分进行显示的例子。该情况下，令拍摄范围41的分辨率为纵向Y1、横向X1，则显示范围如图4中(a)所示，将纵横为1/M倍的Y1/M、X1/M的拍摄范围42放大M倍显示在显示部107上。
另一方面，图4中(b)表示利用后置摄像头1023的镜头光学系统进行放大处理，使得后置摄像头1023的初始设定视场角θ1变成视场角θ2，由此以M倍放大显示来进行显示的例子。此时，显示倍率M满足M＝θ1/θ2，在拍摄范围42内不变。
以上说明中，以后置摄像头1023安装在与使用者的视线方向一致的、显示部107的大致中央附近为前提进行了说明，不过，该后置摄像头1023的安装位置并不一定限定于显示画面的中央附近。
如上所述，图4中说明的是视线前方去往显示装置10的画面中央的例子。该情况下，通过以两眼中的优势眼为对象进行显示，能够进一步创造出正在目视真实世界的状态。
因此，在距离测量时以优势眼一侧为起点测量距离L1进行显示调整即可。优势眼例如可通过MR应用、VR应用或者AR应用等软件进行设定，该设定的设定信息被存储在存储部104中。CPU101通过读取存储部104中存储的设定信息，来识别所设定的优势眼。
优势眼例如可以在软件启动时设定，或者，也可以在软件的初始设定项目中进行优势眼的设定。这些设定例如可以通过显示在显示部107上的菜单等进行。
〈显示校正例〉
图5是表示基于图1的显示装置10所具有的后置摄像头1023的安装位置对显示范围进行校正之一例的说明图。
图5中(a)表示显示装置10、以虚线表示的显示部107的显示画面部分的中心点Ct、以及后置摄像头1023的安装位置P的关系。图5中(b)表示后置摄像头1023的拍摄范围41与显示范围42的关系。
在图5的(a)中，若利用X轴、Y轴方向的坐标表示各个位置关系，则后置摄像头1023的安装位置P为(X1，Y1)、显示部107的画面中心点Ct为(0，0)。
此时，图像处理部103如图5中(b)所示，对要从拍摄范围41之中提取的显示范围进行校正，使之从校正前的显示范围42b分别偏移位置-X1、位置-Y1而成为显示范围42a。由此，能够减轻因后置摄像头1023的安装位置引起的显示偏移的影响。
上述方法能够应用于图4的(a)和图4的(b)之任一情况，只要满足拍摄范围＞显示范围的关系即可。
通过以上的校正，即使在使用者手持显示装置10，使其在真实空间中朝向各种方向进行显示的使用方式下，也能够观看到以与使用者的视线大致相同的方式显示由后置摄像头1023拍摄的对象物而得到的图像。
使用图6说明通过图5所示的校正而得到的显示状态。
图6是表示在图1的显示装置10所具有的显示部上显示的图像之一例的说明图。
显示部107上显示的图像321如图6所示，通过对被显示装置10遮挡的真实空间中的物体32进行上述的尺寸调整等，从使用者看来，以与该物体32大致相同的尺寸显示。
由此，能够没有不协调感地、自然地享受现实世界与由显示装置10构建的虚拟空间之间的协作(融合)。
另外，在图6中，虚拟图像62不是被拍摄而显示的图像，是由上述VR应用、MR应用或者AR应用等软件构建的虚拟对象。
针对该虚拟图像62，能够由图像处理部103按照显示倍率M相应地调整其显示尺寸进行绘制，实现其与拍摄图像的大小的匹配性。如该例所示，虚拟图像62能够任意地配置在实景影像的空间中。
本实施方式1表示了在拍摄图像上叠加虚拟对象的例子，不过，也能够如上述那样使用透射型的显示器件作为显示部107。该情况下，显示如上述那样进行了尺寸调整的虚拟对象，从而能够透过真实空间看到虚拟对象而无需显示拍摄图像。
关于虚拟对象的显示尺寸调整，由于真实空间的拍摄范围的尺寸能够如上所述地计算，因此只要决定了虚拟对象的基准尺寸，就能够按照显示放大率M来调整显示尺寸。
〈XYZ轴方向的运动校正〉
接着，使用图7说明使用者使手中持有的显示装置10移动，或进行了改变观看方向的动作的情况。
图7是表示使图1的显示装置10移动时的显示之一例的说明图。
图7中(a)表示使显示装置10在水平方向或者垂直方向上分别运动的例子。图7中(a)所示的ΔX是水平方向上的显示装置10的移动量，ΔY是垂直方向上的显示装置10的移动量。
该情况下，显示部107上显示的物体32由图6所示的状态如图7中(a)所示的显示321那样发生变化。这是单纯地发生了显示位置移动的状态，因此能够利用后置摄像头1023，与图5中(b)的说明同样地使拍摄图像的提取位置移动来进行调整。
图7中(b)表示在图7中(a)的情况的基础上，沿与画面垂直的方向移动ΔZ的例子。图7中(b)所示的ΔZ是与画面垂直的方向即前后方向上的显示装置10的移动量。
在该图7的(b)中，通过将移动量ΔZ反映到图3所示的放大率的计算中使用的从显示装置10到使用者的距离L1和从显示装置10到物体32的距离L2上，能够计算移动后的放大率。其中，移动量ΔX、ΔY、ΔZ能够通过使用图1的加速度传感器1063等测得。
此外，显示装置10仅在CPU101判断为加速度传感器1063等的测量值超过预设的运动量即移动量阈值的情况下，重新进行显示调整。由此，能够抑制功率增大和显示画面的频繁改变。
此外，因使用者手持而产生的微小变位能够通过在图1的摄像处理部102设置未图示的手抖校正功能来加以抑制。由此，能够减轻显示部107上显示的显示画面因手抖而不易观察的情况。
此外，显示装置10到使用者和物体32的距离也可以不使用摄像处理部102的自动对焦功能进行测量，而是例如使用图1的距离传感器1061测量。该情况下，距离传感器1061例如使用基于红外线或超声波等的传感器。
如上所述，显示装置10基于放大率M控制放大缩小，以使得虚拟对象看起来与真实空间中的视觉效果大致相同，但也可以进一步操作该放大率M，使虚拟对象的视觉效果比真实空间稍小或者反之稍大。
由此，对于显示装置10的使用者而言，其能够容易地掌握虚拟对象与真实空间的关系。该情况下，可以在显示部107上显示放大、缩小或者等倍率之类的与显示相关的倍率设定项目，使得使用者能够选择喜好的显示。
〈运动校正的其他例子〉
图8是表示图7的其他例子的说明图。
该图8表示手持的显示装置10发生了运动，从垂直的状态倾斜而成为具有俯角的状态。
在显示装置10垂直的状态下，如图所示，后置摄像头1023的拍摄范围为范围C～C’。当如图8的虚线所示，显示装置10从垂直的状态倾斜成具有俯角时，后置摄像头1023的拍摄范围为范围C1～C1’。
即使由于显示装置10的倾斜度变化而导致拍摄范围发生变化，图像处理部103也维持从使用者的眼睛31看来被显示装置10遮挡的范围的图像，将其显示在显示部107上。
该情况下，被显示装置10遮挡的范围的图像虽然会随显示装置10的倾斜度而多少有所改变，但在图8中，其能够为用影线表示的大致B～B’的范围。于是，图像处理部103即使在因显示装置10的倾斜度变化而导致拍摄范围发生变化时，也使显示部107显示大致B～B’的范围的图像。
由此，即使因手持方式等的不同导致显示装置10的倾斜度改变，使用者在显示部107的显示画面上看到的显示对象物相对于未被该显示装置10遮挡部分的外界也不发生运动或者运动较小，能够提供让人感到身临其境的图像。
〈显示装置的其他结构例〉
图9是表示图1的显示装置10的外观之一例的说明图。
图9所示的显示装置10在显示部107上显示有由软件按钮构成的切换按钮2000。
该切换按钮2000例如是用于切换第一显示模式和第二显示械的按钮，其中，在第一显示模式(下称摄像头显示模式)下显示后置摄像头1023拍摄的图像，而第二显示模式(下称透视模式)利用生成虚拟对象的AR应用等软件进行显示。
使用者通过触摸切换按钮2000进行摄像头显示模式和透视模式的切换。该切换的处理例如是由CPU101基于从按钮2000输入的信号而执行的。
至于是处于摄像头显示模式还是处于透视模式，通过改变切换按钮2000的显示颜色，或者改变文字进行显示，使用者能够容易地掌握处于哪个模式。
进一步，在AR应用等情况下，在还存在不支持透视模式的内容的情况下，也可以在应用图标上叠加显示不支持透视模式的标记。
此外，图3～图8所示的各例中表示了以竖屏状态保持显示装置10的例子，不过该显示装置10也可以以横屏状态保持。
根据以上说明，通过以使得真实世界与画面上显示的图像看起来大致相同的方式保持协作地进行显示，能够降低使用者不协调感。
(实施方式2)
〈多人使用示例〉
在本实施方式2中，说明很多人同时使用显示装置10的情况的例子。
图10是表示本实施方式2的显示装置10的使用状况之一例的说明图。
该图10表示由多个人物使用图1的显示装置10时的例子，此处，除了显示装置10的所有者即人物81以外，还由人物82、83使用显示装置10。
下面说明在图10中判断距离L1的方法。以下处理以图像处理部103为主体进行。
首先，图像处理部103对显示装置10上的前置摄像头1021所拍摄的使用者一侧的人物进行面部判断。此时，人物81、人物82和人物83被判断为是人物。由此，图像处理部103识别到使用者有多个。
识别到使用者有多个的图像处理部103基于面部判断的结果来决定距离L1。该情况下，距离L1的决定方法例如使用以下所示的第一决定方法、第二决定方法、第三决定方法、第四决定方法和第五决定方法的任意方法。
第一决定方法是，将显示装置10到离其最近的人物、或者显示装置10的前置摄像头1023拍摄到的面积最大的人物的距离用作距离L1。CPU101确定拍摄到的人物中面积最大的人物，作为距离L1取得AF传感器1022测得的与所确定的人物之间的距离，将其输出至图像处理部103。
第二决定方法是，将前置摄像头1021的拍摄范围中最位于中央部的人物到显示装置10的距离用作距离L1。该情况下也是，CPU101确定所拍摄的人物中最位于中央部的人物，作为距离L1取得AF传感器1022测得的与所确定的人物之间的距离，将其输出至图像处理部103。
第三决定方法是，将前置摄像头1021正在拍摄的人物80、81、82到显示装置10的各个距离的平均值用作距离L1。该情况下，CPU101取得AF传感器1022测得的到人物80、81、82的距离，计算所取得的距离的平均。然后，取得计算出的距离作为距离L1，将其输出至图像处理部103。
第四决定方法是，将正在手持显示装置10的人物到显示装置10的距离用作距离L1。图像处理部103根据因显示装置10被手持而引起的晃动，取得该晃动方向与晃动幅度的分析结果以及拍摄到的人物的晃动方式之间的相关性，判断正在手持显示装置10的人物。然后，基于该判断结果，将显示装置10与其持有人之间的距离用作距离L1。
第五决定方法是，将显示装置10到预先登记的使用者之间的距离用作距离L1。该情况下，用前置摄像头1021等预先拍摄使用者的面部进行登记。其登记结果例如存储在存储部104中。图像处理部103在AR应用等启动时对前置摄像头1021的图像中捕捉到的面部进行图像识别，将与所登记的面部一致的面部判断为使用者。
此外，作为第五决定方法，例如也可以在AR应用等启动时由CPU101将前置摄像头1021最先捕捉到的面部识别为使用者进行登记。在所登记的面部持续预先设定的时间未出现(未拍摄到)的情况下，可以将已登记的面部清除，重新将当前拍摄到的面部作为使用者进行登记。
关于选择哪个决定方法，可以通过显示装置10的设定使得能够进行选择，也可以预先设定判断方式，将该设定作为设定信息存储在存储部104中，使得在AR应用等启动时等能够进行选择。
接着，与图3所示的例子同样地，CPU101测量显示装置10到对象物801的距离L2，求取拍摄高度H2、当时的拍摄视场角θ2，计算显示放大率M。由此，能够以提取了真实世界的一部分那样的感觉，在显示装置10上显示虚拟对象等图像。
此时，在多人观看显示装置10的情况下存在这样的可能，即，多人观看的显示装置10的显示图像与各个人物目视视野的实像因视线方向的一些偏差而变得不同。
为此，图像处理部103将放大率设定得比显示放大率M的值小，从而显示比被显示装置10遮挡的区域大的范围。由此，无论是观看显示装置10的哪位使用者，都能够看到其视线方向的图像。于是能够提高显示装置10的易用性。
例如，显示放大率M还能够根据前置摄像头1021识别到的人物的数量而相应地变更。令前置摄像头1021捕捉到的拍摄人物为1人的情况下的显示放大率M1，则2人时放大率为M2，3人的情况下放大率为M3，通过采用这样的方式进行设定，能够按照观看显示装置10的人数相应地实施显示调整，易用性得到提高。此处，M1＞M2＞M3……。
此外，与上述实施方式1同样，能够按照上述放大率构建虚拟对象，从而在显示图像上以恰当的大小配置虚拟对象。
另外，显示装置10例如也可以不是智能手机或平板电脑终端等移动终端，而是利用投影仪等设备在投影板上进行投影来构建AR图像。
该情况下，由于画面较大，会产生更多人同时阅览的状况，但如图9说明的那样，能够以观看画面的每个人或者全体成员在观看时尽量减小不协调感的方式进行照射。
由此，在多个使用者使用显示装置10时，也能够在确保画面上显示的图像与真实世界的协作的同时进行显示，能够降低使用者不协调感。
上面基于实施方式具体说明了本申请发明人完成的发明，不过本发明当然并不限定于上述实施方式，能够在不脱离其思想的范围内进行各种变更。
上述实施方式1、2表示了以竖屏状态保持显示装置10的例子，不过该显示装置10也可以以横屏状态保持。
另外，本发明并不限定于上述的实施方式，可以包括各种各样的变形例。例如，上述的实施方式为了将本发明说明得容易明白而进行了详细的说明，但是并不一定限定于包括所说明的所有结构。
此外，能够将一个实施方式的结构的一部分替换到另一个实施方式的结构，还能够在一个实施方式的结构中加入另一个实施方式的结构。另外，能够对各实施方式的结构的一部分进行其他结构的追加、删除、替换。
附图标记说明
10 显示装置
101 CPU
102 摄像处理部
103 图像处理部
104 存储部
105 通信控制部
106 传感器处理部
107 显示部
108 声音输出输入部
1021 前置摄像头
1022 AF传感器
1023 后置摄像头
1024 AF传感器
1061 距离传感器
1062 陀螺仪传感器
1063 加速度传感器
1064 磁传感器

Claims (12)

1.一种显示装置，其特征在于，包括：
第一摄像部，其设置于第一面，对使用者进行拍摄；
第一距离检测部，其识别所述第一摄像部拍摄的所述使用者的眼睛，测量从识别出的所述眼睛到所述第一摄像部的距离即第一距离；
第二摄像部，其设置于与所述第一面相对的第二面，对对象物进行拍摄；
第二距离检测部，其测量从所述第二摄像部到所述第二摄像部拍摄的所述对象物的距离即第二距离；
图像处理部，其对所述第一摄像部和所述第二摄像部拍摄的图像进行图像处理；和
显示部，其显示由所述图像处理部进行图像处理后的图像，
其中，图像处理部基于所述第一距离检测部测得的所述第一距离、所述第二距离检测部测得的所述第二距离和所述显示部的高度，计算要显示在所述显示部上的显示拍摄范围，从所述第二摄像部拍摄的图像中提取计算出的所述显示拍摄范围，将其显示在所述显示部上，
所述图像处理部计算的所述显示拍摄范围是如下范围：其使得显示在所述显示部上的所述对象物与从所述使用者的视点看到的未被所述显示部遮挡的外界景色为相同的尺寸。
2.如权利要求1所述的显示装置，其特征在于：
所述图像处理部生成按照所述显示拍摄范围而调整了显示尺寸的虚拟图像，将其显示在所述显示部上。
3.如权利要求1所述的显示装置，其特征在于：
所述图像处理部从所述第二摄像部进行拍摄的拍摄范围中，裁剪出比计算出的所述显示拍摄范围小的图像范围，将其显示在所述显示部上。
4.如权利要求1所述的显示装置，其特征在于：
包括检测所述显示装置的移动量的检测部，
所述图像处理部基于所述检测部检测到的检测结果，计算所述显示装置移动后的所述显示拍摄范围，从所述第二摄像部拍摄的图像中提取计算出的所述显示拍摄范围，将其显示在所述显示部上。
5.如权利要求4所述的显示装置，其特征在于：
所述检测部检测所述显示装置的水平方向的移动量和所述显示装置的垂直方向的移动量。
6.如权利要求4所述的显示装置，其特征在于：
所述检测部检测所述显示装置的水平方向的移动量、所述显示装置的垂直方向的移动量和所述显示装置的前后方向的移动量。
7.如权利要求4所述的显示装置，其特征在于：
所述图像处理部在所述检测部检测到的移动量超过预先设定的移动量阈值时计算所述显示拍摄范围。
8.如权利要求1所述的显示装置，其特征在于：
所述图像处理部根据所述第一摄像部拍摄到的所述使用者的图像判断所述使用者是否为多个，在判断为所述使用者为多个时，计算多个所述使用者的所述眼睛到所述第一摄像部的各个距离的平均值，将计算出的所述平均值用作所述第一距离。
9.如权利要求1所述的显示装置，其特征在于：
所述图像处理部根据所述第一摄像部拍摄到的所述使用者的图像判断所述使用者是否为多个，在判断为所述使用者为多个时，将多个所述使用者中拍摄面积最大的使用者的眼睛到所述第一摄像部的距离用作所述第一距离。
10.如权利要求1所述的显示装置，其特征在于：
所述图像处理部根据所述第一摄像部拍摄到的所述使用者的图像判断所述使用者是否为多个，在判断为所述使用者为多个时，将所述第一摄像部拍摄到的所述图像中离中央部最近的位置的使用者的所述眼睛到所述第一摄像部的距离用作所述第一距离。
11.如权利要求1所述的显示装置，其特征在于：
所述图像处理部根据所述第一摄像部拍摄到的所述使用者的图像判断所述使用者是否为多个，在判断为所述使用者为多个时，从所述第二摄像部进行拍摄的拍摄范围中，裁剪出比计算出的所述显示拍摄范围小的图像范围，将其显示在所述显示部上。
12.如权利要求11所述的显示装置，其特征在于：
所述图像处理部按照所述使用者的人数改变要裁剪出的所述图像范围的尺寸。
CN201880099911.0A 2018-11-30 2018-11-30 显示装置 Pending CN113170077A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044149 WO2020110283A1 (ja) 2018-11-30 2018-11-30 表示装置

Publications (1)

Publication Number Publication Date
CN113170077A true CN113170077A (zh) 2021-07-23

Family

ID=70852225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099911.0A Pending CN113170077A (zh) 2018-11-30 2018-11-30 显示装置

Country Status (4)

Country Link
US (2) US11483483B2 (zh)
JP (2) JP7146944B2 (zh)
CN (1) CN113170077A (zh)
WO (1) WO2020110283A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2006238033A (ja) 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd 電子機器
JP2011174993A (ja) 2010-02-23 2011-09-08 Seiko Epson Corp 画像表示装置
JP5439281B2 (ja) * 2010-05-27 2014-03-12 エヌ・ティ・ティ・コムウェア株式会社 ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム
JP5656246B2 (ja) 2010-09-30 2015-01-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末、カメラの倍率調整方法およびプログラム
JP5896445B2 (ja) 2011-03-10 2016-03-30 日本電気株式会社 表示装置、表示方法及びプログラム
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
JP5805013B2 (ja) 2012-06-13 2015-11-04 株式会社Ｎｔｔドコモ 撮像画像表示装置、撮像画像表示方法、プログラム
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
US9934573B2 (en) 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display
KR102489402B1 (ko) 2015-11-02 2023-01-18 삼성전자주식회사 디스플레이 장치 및 그의 영상 표시 방법
US20180160093A1 (en) * 2016-12-05 2018-06-07 Sung-Yang Wu Portable device and operation method thereof

Also Published As

Publication number Publication date
US20220094857A1 (en) 2022-03-24
JPWO2020110283A1 (ja) 2021-10-14
JP7427739B2 (ja) 2024-02-05
WO2020110283A1 (ja) 2020-06-04
US20230017875A1 (en) 2023-01-19
JP7146944B2 (ja) 2022-10-04
US11831976B2 (en) 2023-11-28
JP2022183171A (ja) 2022-12-08
US11483483B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
US9530249B2 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
KR101309176B1 (ko) 증강 현실 장치 및 방법
EP2590396B1 (en) Information processing system and information processing method
JP2013258614A (ja) 画像生成装置および画像生成方法
US9693039B2 (en) Hand-held electronic device
WO2013145536A1 (en) Information processing apparatus, information processing system, and information processing method
CN111034181A (zh) 图像捕获设备、图像显示系统和操作方法
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
EP2189835A1 (en) Terminal apparatus, display control method, and display control program
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP6339887B2 (ja) 画像表示装置
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP2012068984A (ja) 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
JP2019526182A (ja) 陸上車両用光電子視認装置
CN111175972A (zh) 一种头戴式显示器及其场景显示方法和存储介质
CN109844600B (zh) 信息处理设备、信息处理方法和程序
JP2006276748A (ja) 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JPWO2018225804A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP2017046233A (ja) 表示装置及び情報処理装置及びその制御方法
JP2011172253A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US11831976B2 (en) Display apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220302

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.