CN107071237A - 图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法 - Google Patents
图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法 Download PDFInfo
- Publication number
- CN107071237A CN107071237A CN201610825804.4A CN201610825804A CN107071237A CN 107071237 A CN107071237 A CN 107071237A CN 201610825804 A CN201610825804 A CN 201610825804A CN 107071237 A CN107071237 A CN 107071237A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- visual field
- unit
- field direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 10
- 230000008569 process Effects 0.000 title claims description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 117
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 24
- 239000000523 sample Substances 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000011282 treatment Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims 1
- 238000004321 preservation Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 22
- 230000009471 action Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000010008 shearing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Abstract
本发明提供一种图像记录系统，具备：用户佩戴装置，其具备探测用户的视场方向的视场方向探测单元，佩戴于所述用户；和摄像装置，其具备拍摄图像的摄像单元，与所述用户佩戴装置分体，所述用户佩戴装置和所述摄像装置中的任意一者具有的计算设备对作为以下单元的功能进行处理：图像处理单元，其基于所述用户的视场方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理。
Description
本申请基于并主张于2015年9月18日提交的日本专利申请No.2015-184840在35USC 119下的优先权，并将其包括说明书，权利要求书，附图，摘要在内的全部公开内容通过参考全部援引于此。
技术领域
本发明涉及图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法。
背景技术
近年来，将数码照相机佩戴于头部、身体，在运动、骑行、山行、步行等活动过程中能够容易地拍摄的可穿戴型摄像装置正在普及。在可穿戴型摄像装置中，存在一种特别为了拍摄用户所看到的风景，将摄像装置(数码照相机)佩戴于头部的可穿戴型摄像装置。
例如，存在一种装置，如JP特开2013-200633号公报那样在眼镜型可穿戴设备中搭载照相机装置，来对用户观察的方向的景物(view)的图像(包含静止图像、动态图像)进行拍摄。
发明内容
发明要解决的课题
但是，基于上述现有技术的搭载了照相机装置的眼镜型可穿戴设备必须将照相机装置安装于眼镜框，存在装置大型化或者变重这样的问题。
为此，本发明的目的在于，实现轻量化或小型化的同时，对用户的视场方向的景物的图像进行拍摄。
本发明是一种图像记录系统，具备：用户佩戴装置，其具备探测用户的视场方向的视场方向探测单元，佩戴于所述用户；和摄像装置，其具备拍摄图像的摄像单元，与所述用户佩戴装置分体，所述用户佩戴装置和所述摄像装置中的任意一者具有的计算设备对作为以下单元的功能进行处理：图像处理单元，其基于所述用户的视场方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理。
本发明是一种用户佩戴装置，具备：视场方向探测单元，其探测用户的视场方向；和通信单元，其将表示所述用户的视场方向的信息发送给外部装置，所述外部装置具有：取得单元，其取得图像；和计算设备，其对作为以下单元的功能进行处理：图像处理单元，其基于由所述通信单元发送来的表示所述用户的视场方向的信息，对由所述取得单元取得的图像进行规定的图像处理，其中，所述用户佩戴装置与所述外部装置分体，并佩戴于所述用户。
本发明是一种摄像装置，具有：摄像单元，其拍摄图像；通信单元，其接收从外部的用户佩戴装置传输的用户的视场方向；和计算设备，其对作为以下单元的功能进行处理：图像处理单元，其基于所述用户的视场方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理，其中，所述摄像装置与所述外部的用户佩戴装置分体。
本发明是一种图像处理装置，其特征在于，具备：视场方向取得单元，其取得与所述摄像装置分体的用户佩戴装置中的用户的视场方向；和计算设备，其对作为以下单元的功能进行处理：图像取得单元，其取得由摄像装置所拍摄的图像；以及图像处理单元，其基于由所述通信单元接收到的所述用户的视场方向，对由所述摄像装置进行摄像得到的图像进行规定的图像处理。
本发明是一种图像记录方法，其特征在于，包括：由设置于用户所佩戴的用户佩戴装置的视场方向探测部来探测所述用户的视场方向的步骤；由设置于与所述用户佩戴装置分体的摄像装置的摄像部对图像进行拍摄的步骤；和由设置于所述用户佩戴装置和所述摄像装置中的任意一者的图像处理部，基于所述用户的视场方向，对由所述摄像部所拍摄的图像进行规定的图像处理的步骤。
发明效果
根据本发明，能够在实现轻量化或者小型化的同时，对用户的视场方向的景物的图像进行拍摄。
附图说明
附图包含在说明书中并构成说明书的一部分，其用于说明本发明的实施例，并与上面给出的一般描述和下面给出的实施例的详细描述一起解释本发明的原理。
图1是表示本发明的实施方式所涉及的佩戴型图像记录系统1的构成的框图。
图2是表示本发明第1实施方式所涉及的头部佩戴装置10的构成的框图。
图3是表示本发明第1实施方式所涉及的照相机装置20的构成的框图。
图4是用于说明本发明第1实施方式所涉及的头部佩戴装置10的动作的流程图。
图5是用于说明本发明第1实施方式所涉及的照相机装置20的动作的流程图。
图6是用于说明本发明第2实施方式所涉及的照相机装置20的动作的流程图。
图7是用于说明本发明第2实施方式所涉及的再现动作的流程图。
具身体实施方式
以下，参照附图对本发明的实施方式进行说明。
A.第1实施方式
图1是表示本发明的第1实施方式所涉及的佩戴型图像记录系统1的构成的框图。在图1中，佩戴型图像记录系统1由头部佩戴装置(用户佩戴装置)10和照相机装置20构成。头部佩戴装置10经由眼镜框30等佩戴于头部，在半天球(全天空)图像(广角图像也包含在内)的拍摄过程中，检测拍摄者的视线方向，作为附加信息而发送给照相机装置20。另外，头部佩戴装置10除了眼镜框30以外，也可以直接利用一些粘合片、别针等佩戴于头部，还可以通过头带、帽子、头饰、头戴式耳机(耳机)等而佩戴于头部。
照相机装置20是能够以广角(例如180°以上)进行摄像的数码照相机。以下，照相机装置20设为拍摄半天球图像(静止图像或动态图像)。照相机装置20佩戴于拍摄者的身体(也可以从脖颈像垂饰那样佩戴)、衣服、提包等，使得拍摄方向成为拍摄者的正面。
头部佩戴装置10和照相机装置20使用各自能够利用的通信单元40、例如无线LAN(WiFi)、Bluetooth(注册商标)等无线通信或者有线来进行连接。以下，设为通过无线通信而连接来进行说明。
图2是表示该第1实施方式所涉及的头部佩戴装置10的构成的框图。在图2中，头部佩戴装置10具备视场方向探测部11、信号处理部12、无线通信部13、操作部14、控制部15以及电池16。
视场方向探测部11探测佩戴了该头部佩戴装置10的用户(拍摄者)的视场方向。作为视场方向探测部11而言，例如，由方位传感器(探测东西南北)和3轴加速度传感器(探测倾斜度)构成，可以使用探测用户(拍摄者)的头部所朝向的方向的头部方向探测单元，或者除了该头部方向探测单元以外，也可以使用探测用户(拍摄者)的眼球的运动或者探测基准点(眼角)与虹膜的位置关系、瞳孔的位置等的视线方向探测单元。此外，也可以使用该头部方向探测单元和视线方向探测单元这两者来探测精度更高的视场方向。信号处理部12对由视场方向探测部11探测出的拍摄者的视场方向(观察方向)进行信号处理，变换为规定数据格式的附加信息。
无线通信部13使用规定的无线方式(无线LAN、Bluetooth(注册商标)等)，将由信号处理部12进行信号处理后的附加信息依次发送给照相机装置20。因此，能够唯一地确定是所拍摄到的图像的哪个时间点(帧)上的拍摄者的视场方向。
另外，也可以在头部佩戴装置10与照相机装置20之间，对赋予给动态图像文件的时间码进行共享等，在规定定时(例如拍摄结束后等)，集中进行发送。在该情况下，即使头部佩戴装置10与照相机装置20之间的通信发生某些不良状况，也能够确定附加信息(拍摄者的视场方向)与动态图像文件的帧的对应关系。
操作部14具备电源开关、拍摄指示开关(快门)等。
另外，关于拍摄指示开关(快门)，可以是机械开关，也可以是触摸传感器等。另外，若是机械开关等，则会施加比较大的力，而在将头部佩戴装置10安装于眼镜等的情况下，会发生眼镜歪斜等而给用户造成不愉快感。因此，通过设为用比较小的力能够操作的触摸传感器，从而用户只要在头部佩戴装置10的框体轻轻进行触摸，便能够操作拍摄指示开关(快门)。即，控制部15统一地控制上述各部的动作。电池16由一次电池、可充电的二次电池等构成，向上述各部提供电力。
图3是表示该第1实施方式所涉及的照相机装置20的构成的框图。在图3中，照相机装置20具备光学系统(广角镜头)21、摄像部22、图像处理部23、存储部24、方向探测部(摄像方向探测部)25、无线通信部26、操作部27、控制部28以及电池29。
光学系统(广角镜头)21是能够拍摄与作为拍摄者的人的视场角(水平约200°、垂直约125°)大致等同或者更广角的图像的镜头(例如鱼眼镜头等)，其对拍摄者的前方的景物的半天球图像(静止图像或动态图像)进行拍摄。摄像部22由摄像元件等构成，将通过光学系统(广角镜头)21而成像的半天球图像变换为电信号。
图像处理部23进行对半天球图像数据的图像处理(像素内插处理、γ校正、亮度色差信号的生成、白平衡处理、曝光校正处理、滤波处理等)。存储部24用作临时存储由摄像部22进行摄像且由图像处理部23进行图像处理后的半天球图像数据的缓冲存储器、存储各部的控制所需的程序以及各部的控制所需的数据的工作存储器。
方向探测部25探测该照相机装置20的拍摄方向。作为方向探测部25，例如，由方位传感器(探测东西南北)和3轴加速度传感器(探测倾斜度)构成，探测该照相机装置20朝向东西南北、上下左右的哪个方向。无线通信部26使用规定的无线方式(无线LAN、Bluetooth(注册商标)等)，接收来自头部佩戴装置10的附加信息(拍摄者的视场方向)。
此外，图像处理部23基于来自头部佩戴装置10的附加信息(拍摄者的视场方向)、和由方向探测部25探测的照相机装置20的拍摄方向，计算照相机装置20的拍摄范围(半天球图像)中的、拍摄者的视场方向的景物的图像部分，并按规定尺寸从所拍摄的半圆周图像数据中剪切拍摄者的视场方向的景物的图像部分。
该规定尺寸，意味着由一般的显示装置能够显示所剪切的图像数据的尺寸(另外由于图像数据自身能够缩放，因此成为对传输时的数据量、缩放所需要的处理能力等加以考虑后的尺寸)。另外，半天球图像越是周边部分越会产生失真，因而也可以对所剪切的图像实施畸变校正处理来去除失真。所剪切的图像数据保存在存储部24中。另外，当然，照相机装置20可以通过用户所进行的规定的设定来适当变更视角，也可以在按规定尺寸对拍摄者的视场方向的景物的图像部分进行剪切时，关于所设定的照相机装置20的视角也纳入考虑，基于该视角的信息、来自头部佩戴装置10的附加信息、和由方向探测部25探测的照相机装置20的拍摄方向这些信息，来计算拍摄者的视场方向的景物的图像部分。
此外，若所取得的图像是拍摄者所朝向的方向的景物的图像，并且以与拍摄者的视场角等同以上的视角进行拍摄，则由方向探测部25探测的照相机装置20的拍摄方向并不必要，也可以仅根据来自头部佩戴装置10的附加信息来计算拍摄者的视场方向的景物的图像部分。
操作部27由电源开关、拍摄指示开关(快门)等构成。控制部28统一地控制上述各部的动作。
另外，拍摄开始的指示操作即快门操作可以通过头部佩戴装置10的操作部14来进行，也可以通过照相机装置20的操作部27来进行。在头部佩戴装置10侧进行了拍摄指示的情况下，表示进行了快门操作的信号通过通信单元40而被发送给照相机装置20。同样地，在照相机装置20进行了拍摄指示的情况下，表示进行了快门操作的信号通过通信单元40而被发送给头部佩戴装置10。
无论在哪一种情况下，都是彼此同步地，在头部佩戴装置10中，依次探测拍摄者的视场方向并发送给照相机装置20，在照相机装置20中，依次探测照相机装置20的拍摄方向，并且执行半圆周图像(静止图像或动态图像)的拍摄。拍摄者的视场方向的探测和照相机装置20的拍摄方向的探测，在静止图像拍摄时，可以是1次，但在动态图像拍摄时，以规定的时间间隔(例如帧单位)依次执行。
接下来，对上述第1实施方式的动作进行说明。
图4是用于说明该第1实施方式所涉及的头部佩戴装置10的动作的流程图。在头部佩戴装置10中，首先，控制部15判断用户是否从操作部14进行了拍摄指示、或者是否从照相机装置20接收到拍摄指示(步骤S10)。然后，在没有拍摄指示的情况下(步骤S10的“否”)，控制部15反复该步骤S10而成为待机状态(或结束该处理)。
另一方面，在有了拍摄指示的情况下(步骤S10的“是”)，控制部15通过视场方向探测部11来探测佩戴了该头部佩戴装置10的拍摄者的视场方向(步骤S12)。接着，控制部15通过信号处理部12，对由视场方向探测部11探测出的拍摄者的视场方向进行信号处理而变换为规定数据格式的附加信息，并通过无线通信部13而发送给照相机装置20(步骤S14)。
接着，控制部15判断是否拍摄结束(步骤S16)，在并非拍摄结束的情况下即动态图像拍摄的情况下(步骤S16的“否”)，返回到步骤S12，反复视场方向探测部11对拍摄者的视场方向的探测、向照相机装置20的发送。另一方面，在拍摄结束的情况下(步骤S16的“是”)，控制部15结束该处理。
图5是用于说明该第1实施方式所涉及的照相机装置20的动作的流程图。在照相机装置20中，首先，控制部28判断用户是否从操作部27进行了拍摄指示、或者是否从头部佩戴装置10接收到拍摄指示(步骤S20)。然后，在没有拍摄指示的情况下(步骤S20的“否”)，控制部28反复该步骤S20而成为待机状态(或结束该处理)。
另一方面，在有了拍摄指示的情况下(步骤S20的“是”)，控制部28通过方向探测部25来探测照相机装置20的拍摄方向(步骤S22)。接着，控制部28通过无线通信部26，从头部佩戴装置10接收附加信息(拍摄者所朝向的方向)(步骤S24)。
接着，控制部28基于照相机装置20的拍摄方向和拍摄者的视场方向，来计算照相机装置20的拍摄范围(半天球图像)中的、拍摄者的视场方向的景物的图像部分(步骤S26)。接着，控制部28取入由摄像部22拍摄的半天球图像(步骤S28)，并通过图像处理部23从所拍摄的半圆周图像数据中按规定尺寸剪切拍摄者的视场方向的景物的图像部分(步骤S30)。然后，控制部28将所剪切的图像数据保存在存储部24中(步骤S32)。
接着，控制部28判断是否拍摄结束(步骤S34)，在并非拍摄结束的情况下即动态图像拍摄的情况下(步骤S34的“否”)，返回到步骤S22，反复如下动作，即，基于照相机装置20的拍摄方向和拍摄者的视场方向，从所拍摄的半天球图像数据中对拍摄者的视场方向的景物的图像部分进行剪切并保存。另一方面，在拍摄结束的情况下(步骤S16的“是”)，控制部28结束该处理。
另外，在静止图像的情况下，所剪切的图像数据能够直接作为静止图像数据进行再现，但在动态图像的情况下，在保存所剪切的图像数据时，从剪切的图像数据依次生成动态图像数据、或者在拍摄结束后集中生成动态图像数据。另外，在动态图像的情况下，也可以一边剪切静止图像一边生成运动图像，并且在拍摄结束后，保存在拍摄中生成的动态图像数据。
根据上述该第1实施方式，由于将探测拍摄者的视场方向的头部佩戴装置10、和能够拍摄半天球图像的照相机装置20分体设置，因此能够将头部佩戴装置10轻量化或小型化，能够减轻给佩戴头部佩戴装置10的用户带来的负担。
此外，即使将头部佩戴装置10和照相机装置20分体设置，通过从由照相机装置20拍摄的半天球图像中剪切拍摄者的视场方向的景物的图像，从而也能够与头部佩戴装置10和照相机装置20一体化的可穿戴型摄像装置同样地，既能拍摄用户的视场方向的静止图像，也能拍摄动态图像。
B.第2实施方式
接下来，对本发明的第2实施方式进行说明。
在该第2实施方式中，并非从由照相机装置20拍摄的半天球图像中剪切拍摄者的视场方向的图像，而是将拍摄者的视场方向作为元数据与所拍摄的半天球图像数据进行关联来保存。然后，在再现时，根据半天球图像数据来取出拍摄者的视场方向，从半天球图像数据中剪切拍摄者的视场方向的景物的图像部分来进行再现显示。作为再现装置，例如使用安装了再现用的应用的智能电话、专用终端。
图6是用于说明该第2实施方式所涉及的照相机装置20的动作的流程图。另外，头部佩戴装置10的动作与第1实施方式相同，故省略其说明。
在照相机装置20中，首先，控制部28判断用户是否从操作部27进行了拍摄指示、或者是否从头部佩戴装置10接收到拍摄指示(步骤S50)。然后，在没有拍摄指示的情况下(步骤S50的“否”)，控制部28反复该步骤50而成为待机状态(或结束该处理)。
另一方面，在有了拍摄指示的情况下(步骤S50的“是”)，控制部28通过方向探测部25，探测照相机装置20的拍摄方向(步骤S52)。接着，控制部28通过无线通信部26，从头部佩戴装置10接收附加信息(拍摄者的视场方向)(步骤S54)。
接着，控制部28取入由摄像部22拍摄的半天球图像(步骤S56)，将附加信息(拍摄者的视场方向)与所取入的半天球图像数据建立关联来保存到存储部24中(步骤S58)。
接着，控制部28判断是否拍摄结束(步骤S60)，在并非拍摄结束的情况下即动态图像拍摄的情况下(步骤S60的“否”)，返回到步骤S52，反复如下动作，即，将附加信息(拍摄者的视场方向)与从照相机装置20取入的半天球图像数据建立关联来保存到存储部24中。另一方面，在拍摄结束的情况下(步骤S62的“是”)，控制部28结束该处理。
图7是用于说明对使用该第2实施方式所涉及的佩戴型图像记录系统1而生成的半天球图像数据进行再现的动作的流程图。另外，由照相机装置20生成的半天球图像数据假定已经预先传输到再现装置(图示略)。在再现装置中，首先，判断是否有再现指示(步骤S70)。然后，在没有再现指示的情况下(步骤S70的“否”)，反复该步骤70而成为待机状态(或结束该处理)。
另一方面，在有了再现指示的情况下(步骤S70的“是”)，根据半天球图像数据以帧单位取出附加信息(拍摄者的视场方向)(步骤S72)。接着，以帧单位从半天球图像数据中剪切与拍摄者的视场方向对应的图像部分(步骤S74)。
然后，将所剪切的图像数据作为(最初)的显示图像(静止图像或动态图像)进行显示(步骤S76)。接着，判断是否有再现结束的指示(或者若是动态图像则判断是否已经再现到最后)(步骤S78)。然后，在没有再现结束的指示的情况(或者若是动态图像则未再现到最后的情况)下(步骤S78的“否”)，返回到步骤S72，反复以下动作，即，以帧单位从半天球图像数据中依次剪切与拍摄者的视线方向对应的图像部分并作为显示图像(静止图像或动态图像)进行显示。另一方面，在指示了再现结束的情况(或者若是动态图像则再现到最后的情况)下(步骤S78的“是”)，结束该处理。
根据上述第2实施方式，在半天球图像的记录时不进行剪切等图像处理，因此能够降低记录时的负荷，能够提高记录时的帧速率、比特率来保存高质量的图像。
此外，根据上述第1、第2实施方式，由于在眼镜框30安装了实现了轻量化、小型化的头部佩戴装置10，因此能够提高设计性，能够不会给用户造成不适感、不愉快感地使用户佩戴头部佩戴装置10。
此外，根据上述第1、第2实施方式，由于通过拍摄者的头部的方向来探测拍摄者的视场方向，因此能够以比较简单的构成探测拍摄者的视场方向。
此外，根据上述第1、第2实施方式，由于除了拍摄者的头部的方向以外，还通过拍摄者的视线方向来探测拍摄者的视场方向，因此能够更准确地探测拍摄者观察的方向，能够更准确地拍摄用户的视场方向的景物的图像。
另外，在上述第1、第2实施方式中，由于将照相机装置20佩戴于在拍摄过程中朝向可能改变的拍摄者的身体，因此根据头部佩戴装置10和照相机装置20的方向之差确定了所剪切的图像部分。相对于此，在照相机装置20的朝向不会改变的状况(例如将照相机装置20安装于固定物(例如并非用户的身体而是三脚架等规定的物体)那样的情况)下，只要以照相机装置20的方向为基准，仅通过由头部佩戴装置10检测出的视线方向便能够确定所剪切的部分。因此，在这样的情况下，在照相机装置20中能够不需要方向探测部25。
此外，在上述实施方式中，照相机装置20佩戴为朝向拍摄者的前方，但并不限于此，只要根据由方向探测部25探测出的拍摄方向和由头部佩戴装置10的视野方向探测部11探测出的拍摄者的视场方向，能够确认所拍摄的图像中的、拍摄者观察的方向的景物的图像的区域即可，也可以让用户在使照相机装置20朝向拍摄者的前方以外的方向的状态下进行佩戴。
此外，在上述第1、2实施方式中，最终从半天球图像中剪切与拍摄者的视线方向对应的图像部分并进行保存或显示，但并不限于仅剪切，也可以执行将所剪切的图像进行放大的放大处理、改变所剪切的图像的色调的彩色处理、在所剪切的图像的周边附加朝向中心的关注线的附加处理、不剪切而将视线方向的景物的图像进行放大显示等添加图像效果的图像处理。由此，能够提供引起用户的兴趣的图像。
此外，在上述第1实施方式中，将摄像元件、图像处理用的LSI、存储器等的电子电路、用于驱动电子电路的电池等对图像进行拍摄、保存的单元设置于与头部佩戴装置10分体的照相机装置20，但并不限于此，电可以将其一部分例如图像处理部23、存储部24的至少1方或双方搭载于头部佩戴装置10。即，相比于在现有技术的情况下，将整个照相机装置20搭载在头部佩戴装置10侧，若将其一部分搭载于头部佩戴装置10以外，则能够将头部佩戴装置10轻量化或小型化，能够减轻用户的负担。
此外，在上述实施方式中，虽然是将由头部佩戴装置10探测出的拍摄者的视线方向的信息发送给照相机装置20的构成，但并不限于此，也可以构成为将该视线方向的信息、拍摄方向的信息发送到并非头部佩戴装置10以及照相机装置20的图像处理装置，关于由照相机装置20拍摄到的图像数据也发送到该图像处理装置，由该图像处理装置对图像数据计算拍摄者的视场方向的景物的图像部分并进行剪切等规定处理。即，在第1实施方式中，也可以构成为在图5的流程图中的步骤S22从照相机装置20将拍摄方向的信息发送给上述图像处理装置，由该上述图像处理装置进行步骤S24～S32的处理。此外，在第2实施方式中，也可以构成为在图6的S52从照相机装置20将拍摄方向的信息发送给上述图像处理装置，由该上述图像处理装置进行步骤S54～S58以及图7的步骤S70～S78的处理。
此外，在上述第1、2实施方式中，通过在头部佩戴装置10中搭载探测拍摄者的视场方向的视场方向探测部11、伴随于此的信号处理部12、无线通信部13等而实现了轻量化、小型化，但并不限于此，也可以设置如下的显示装置，即，将由照相机装置20剪切并生成的图像数据(静止图像或动态图像)直接投影到用户的眼中，或者投影到用户的眼前的小型屏幕上。这样，即使在拍摄者的头部设置了显示装置，也由于将照相机功能所涉及的构成部件搭载于与头部佩戴装置10分体的照相机装置20，因此与将全部都佩戴于头部侧的可穿戴式装置相比，能够在实现轻量化、小型化的同时，拍摄用户的视场方向的景物的图像。
此外，在上述实施方式中，由头部佩戴装置10具备的视场方向探测部11对拍摄者的视场方向进行了探测，但只要能够判别拍摄者的头部的朝向，则并不特别限定于佩戴于头部，也可以构成为由佩戴于身体的装置来探测拍摄者的视场方向。例如，也可以构成为对由于活动头部而产生反应的肌肉的活动进行探测、或直接由传感器等来探测头部的活动。
以上，对本发明的几个实施方式进行了说明，但本发明并不限定于这些实施方式，还包含权利要求书所记载的发明及其均等的范围。
Claims (15)
1.一种图像记录系统，具备：
用户佩戴装置，其具备探测用户的视场方向的视场方向探测单元，被所述用户佩戴；和
摄像装置，其具备拍摄图像的摄像单元，与所述用户佩戴装置分体，
所述用户佩戴装置和所述摄像装置中的任意一者具有的计算设备对作为图像处理单元的功能进行处理，
该图像处理单元基于所述用户的视场方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理。
2.根据权利要求1所述的图像记录系统，其特征在于，
所述摄像装置具备探测所述摄像单元的拍摄方向的拍摄方向探测单元，
所述图像处理单元基于所述用户的视场方向和所述摄像单元的拍摄方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理。
3.根据权利要求1所述的图像记录系统，其特征在于，
所述视场方向探测单元具备探测所述用户的头部的方向的头部方向探测单元。
4.根据权利要求1所述的图像记录系统，其特征在于，
所述视场方向探测单元具备探测所述用户的视线方向的视线方向探测单元。
5.根据权利要求1所述的图像记录系统，其特征在于，
所述图像处理单元包含剪切处理单元，所述剪切处理单元，作为所述规定的图像处理，从由所述摄像单元进行摄像得到的图像中，剪切所述用户的视场方向的景物的图像。
6.根据权利要求1所述的图像记录系统，其特征在于，
所述用户佩戴装置还具备显示单元，所述显示单元显示由所述摄像单元拍摄到的图像。
7.根据权利要求1所述的图像记录系统，其特征在于，
所述图像处理单元和保存由所述图像处理单元进行图像处理后的图像的保存单元设置于所述摄像装置。
8.根据权利要求1至7中任一项所述的图像记录系统，其特征在于，
所述摄像单元在规定定时对与所述用户的视场角至少大致等同的视角或更广角的图像持续进行摄像。
9.根据权利要求1至8中任一项所述的图像记录系统，其特征在于，
所述摄像单元进行与所述用户的视场角至少大致等同的视角或更广角的动态图像拍摄。
10.一种用户佩戴装置，其特征在于，具备：
视场方向探测单元，其探测用户的视场方向；和
通信单元，其将表示所述用户的视场方向的信息发送给外部装置，
所述外部装置具有：
取得单元，其取得图像；和
计算设备，其对作为图像处理单元的功能进行处理，
该图像处理单元基于由所述通信单元发送来的表示所述用户的视场方向的信息，对由所述取得单元取得的图像进行规定的图像处理，
其中，所述用户佩戴装置与所述外部装置分体，并被所述用户佩戴。
11.一种摄像装置，其特征在于，具有：
摄像单元，其拍摄图像；
通信单元，其接收从外部的用户佩戴装置传输的用户的视场方向；和
计算设备，其对作为图像处理单元的功能进行处理，
该图像处理单元基于所述用户的视场方向，对由所述摄像单元进行摄像得到的图像进行规定的图像处理，
其中，所述摄像装置与所述外部的用户佩戴装置分体。
12.一种图像处理装置，其特征在于，具备：
视场方向取得单元，其取得与所述摄像装置分体的用户佩戴装置中的用户的视场方向；和
计算设备，其对作为图像取得单元及图像处理单元的功能进行处理，
该图像取得单元取得由摄像装置所拍摄的图像，
该图像处理单元基于由所述通信单元接收到的所述用户的视场方向，对由所述摄像装置进行摄像得到的图像进行规定的图像处理。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述视场方向取得单元具有通信单元，所述通信单元接收从所述用户佩戴装置发送的用户的视场方向。
14.根据权利要求12所述的图像处理装置，其特征在于，
所述图像处理装置是用户佩戴装置，
所述视场方向取得单元取得佩戴了该图像处理装置的用户的视场方向。
15.一种图像记录方法，其特征在于，包括：
由设置于用户所佩戴的用户佩戴装置的视场方向探测部来探测所述用户的视场方向的步骤；
由设置于与所述用户佩戴装置分体的摄像装置的摄像部对图像进行拍摄的步骤；和
由设置于所述用户佩戴装置和所述摄像装置中的任意一者的图像处理部，基于所述用户的视场方向，对由所述摄像部拍摄到的图像进行规定的图像处理的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015184840A JP2017060078A (ja) | 2015-09-18 | 2015-09-18 | 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム |
| JP2015-184840 | 2015-09-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107071237A true CN107071237A (zh) | 2017-08-18 |
Family
ID=58283605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610825804.4A Pending CN107071237A (zh) | 2015-09-18 | 2016-09-14 | 图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20170085841A1 (zh) |
| JP (1) | JP2017060078A (zh) |
| CN (1) | CN107071237A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756679A (zh) * | 2019-01-28 | 2019-05-14 | Oppo广东移动通信有限公司 | 分体式电子设备的成像控制方法、装置和电子设备 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101843336B1 (ko) * | 2017-06-29 | 2018-05-14 | 링크플로우 주식회사 | 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치 |
| JP7242332B2 (ja) | 2019-02-18 | 2023-03-20 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
| WO2021158688A1 (en) * | 2020-02-05 | 2021-08-12 | Rayem Inc. | A portable apparatus, method, and system of golf club swing motion tracking and analysis |
| GB2607151A (en) | 2021-03-12 | 2022-11-30 | Canon Kk | Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media |
| GB2611154A (en) | 2021-07-29 | 2023-03-29 | Canon Kk | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor |
| GB2611157A (en) | 2021-07-30 | 2023-03-29 | Canon Kk | Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for... |
| KR20230019016A (ko) | 2021-07-30 | 2023-02-07 | 캐논 가부시끼가이샤 | 액션 카메라로서 사용되는 촬상장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130258089A1 (en) * | 2011-11-03 | 2013-10-03 | Intel Corporation | Eye Gaze Based Image Capture |
| CN103369243A (zh) * | 2012-04-09 | 2013-10-23 | 精工爱普生株式会社 | 拍摄系统及拍摄方法 |
| WO2015066475A1 (en) * | 2013-10-31 | 2015-05-07 | The University of North Carlina at Chapel Hill | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems |
| CN104702848A (zh) * | 2015-03-31 | 2015-06-10 | 小米科技有限责任公司 | 显示取景信息的方法及装置 |
| CN104903818A (zh) * | 2012-12-06 | 2015-09-09 | 爱福露恩斯公司 | 眼睛跟踪佩戴式设备和使用方法 |
-
2015
- 2015-09-18 JP JP2015184840A patent/JP2017060078A/ja not_active Abandoned
-
2016
- 2016-09-09 US US15/260,646 patent/US20170085841A1/en not_active Abandoned
- 2016-09-14 CN CN201610825804.4A patent/CN107071237A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130258089A1 (en) * | 2011-11-03 | 2013-10-03 | Intel Corporation | Eye Gaze Based Image Capture |
| CN103369243A (zh) * | 2012-04-09 | 2013-10-23 | 精工爱普生株式会社 | 拍摄系统及拍摄方法 |
| CN104903818A (zh) * | 2012-12-06 | 2015-09-09 | 爱福露恩斯公司 | 眼睛跟踪佩戴式设备和使用方法 |
| WO2015066475A1 (en) * | 2013-10-31 | 2015-05-07 | The University of North Carlina at Chapel Hill | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems |
| CN104702848A (zh) * | 2015-03-31 | 2015-06-10 | 小米科技有限责任公司 | 显示取景信息的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756679A (zh) * | 2019-01-28 | 2019-05-14 | Oppo广东移动通信有限公司 | 分体式电子设备的成像控制方法、装置和电子设备 |
| CN109756679B (zh) * | 2019-01-28 | 2021-03-23 | Oppo广东移动通信有限公司 | 分体式电子设备的成像控制方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017060078A (ja) | 2017-03-23 |
| US20170085841A1 (en) | 2017-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107071237A (zh) | 图像记录系统、用户佩戴装置、摄像装置、图像处理装置以及图像记录方法 | |
| JP7408678B2 (ja) | 画像処理方法およびヘッドマウントディスプレイデバイス | |
| US9245389B2 (en) | Information processing apparatus and recording medium | |
| US10962808B2 (en) | Contact lens with image pickup control | |
| CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
| CN103513421A (zh) | 影像处理装置、影像处理方法及影像处理系统 | |
| CN111213375B (zh) | 信息处理装置、信息处理方法以及程序 | |
| KR20170074742A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| JP5923595B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
| KR20220128585A (ko) | 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체 | |
| JP5695809B1 (ja) | 表示装置、表示方法およびプログラム | |
| WO2017199860A1 (ja) | 情報処理装置、情報処理システム、撮像装置、ヘッドマウントディスプレイ、および情報処理方法 | |
| JP6499993B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| KR20190038296A (ko) | 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램 | |
| JP4946914B2 (ja) | カメラシステム | |
| JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
| JPWO2020044916A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP5750792B1 (ja) | 撮像装置、撮像方法およびプログラム | |
| RU2782312C1 (ru) | Способ обработки изображения и устройство отображения, устанавливаемое на голове | |
| JP2018160809A (ja) | 画像処理装置、撮像システム、画像処理方法及びプログラム | |
| JP7054437B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2021152711A1 (ja) | インターバル撮像装置 | |
| JP2022140424A (ja) | 撮像装置及びその制御方法並びにプログラム | |
| JP2022138647A (ja) | 画像処理装置、情報処理システム、および画像取得方法 | |
| CN116017165A (zh) | 摄像设备及其控制方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170818 |
|
| WD01 | Invention patent application deemed withdrawn after publication |