JP2022140418A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2022140418A
JP2022140418A JP2022038689A JP2022038689A JP2022140418A JP 2022140418 A JP2022140418 A JP 2022140418A JP 2022038689 A JP2022038689 A JP 2022038689A JP 2022038689 A JP2022038689 A JP 2022038689A JP 2022140418 A JP2022140418 A JP 2022140418A
Authority
JP
Japan
Prior art keywords
imaging
user
image
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022038689A
Other languages
English (en)
Inventor
卓也 今泉
Takuya Imaizumi
陽介 深井
Yosuke Fukai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to KR1020220081643A priority Critical patent/KR20230019016A/ko
Priority to GB2210460.8A priority patent/GB2611397A/en
Priority to US17/866,695 priority patent/US11849205B2/en
Priority to DE102022118931.7A priority patent/DE102022118931A1/de
Priority to CN202210902586.5A priority patent/CN115695959A/zh
Publication of JP2022140418A publication Critical patent/JP2022140418A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】撮像中の手による撮像方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる撮像装置を提供する。【解決手段】カメラ本体1は撮影・検出部1100を備え、撮影・検出部1100は、使用者1112の頭部以外の身体上に装着され、使用者1112の観察方向を検出する顔方向検出レンズ1102と、使用者1112の身体上に装着され、映像を撮影する撮像レンズ1101と、検出された観察方向に基づいて記録方向を決定する記録方向・画角決定部30と、撮像レンズ1101よって撮影された映像のうち、決定された記録方向に対応する映像を記録する一次記録部60と、を有する。【選択図】 図4

Description

本発明は、撮像装置に関し、特にアクションカメラとして使用する撮像装置に関する。
従来からカメラの撮像は、撮影者がカメラを撮像する方向に向け続ける必要があるため、撮像操作に手が取られることで撮像行為以外に手がまわせなかったり、撮像に意識を集中させられるためにその場に居る体験には意識を集中できなかったりしていた。
たとえば、撮像操作で言えば、撮影者である親は、子供を撮像している間は子供と一緒に遊ぶことはできなくなるし、子供と一緒に遊ぼうとすると撮像ができなくなるといった課題が生じる。
また、撮像への意識集中でいえば、スポーツ観戦中に撮像をしていると、撮影者は、応援できなかったり、ゲーム内容を覚えていなかったりするし、スポーツ観戦へ意識を集中すると撮像できないといった課題が生じる。同様に、グループ旅行中に撮像をしていると、撮影者は、他のメンバーと同じレベルでの感動を体験できないし、体験を優先すると撮像が疎かになるといった課題が生じる。
このような課題を解決する方法としては、頭部固定アクセサリーを用いてアクションカメラを頭部に固定して観察している方向を撮像することで、撮影者が撮像操作に手が取られることなく撮像する方法がある。また、全天球型撮影カメラで広範囲を撮像することで、体験中は体験に集中し、体験が終わってから撮像された全天球映像から必要な映像部分を切り出し編集し、体験したことの映像を残すという方法もある。
ただ前者の方法は、図34(a)に示すような、アクションカメラ901の本体が固定された頭部固定アクセサリーを頭に装着するという煩わしい行為が必要になる。また図34(b)に示すように、撮影者が頭部固定アクセサリー902によってアクションカメラ901を頭部に装着すると、見栄えも悪い上、撮影者の髪型も乱れるなどの問題も起きる。さらには、撮影者が頭に装着されている頭部固定アクセサリー902とアクションカメラ901について、その重さなどの存在が気になったり、第3者に対して見栄えが悪くて気になったりしていた。そのため、図34(b)に示す状態では撮影者は体験に集中できなかったり、図34(b)に示す状態となること自体に撮影者が抵抗を感じたりするなどの理由で撮像そのものをし辛くなるという課題があった。
一方、後者の方法は、画像変換や切り出し位置指定などの一連の作業が必要となる。例えば、図35に示すような、レンズ904と、撮影用ボタン905とを備える全天球型撮影カメラ903が知られている。レンズ904は、全天球型撮影カメラ903の筐体両面に構成される一対の半天球撮影用の魚眼レンズの一つであり、この一対の魚眼レンズを用いて全天球型撮影カメラ903は全天球撮影を行う。つまり、この一対の魚眼レンズの投影画像を合成して全天球撮影が行われる。
図36は、全天球型撮影カメラ903で撮像された映像の変換作業の例を示す図である。
図36(a)は、全天球型撮影カメラ903による全天球撮影により得られた映像の例であり、被写体である撮影者906、子供907、木908が含まれている。この映像は、1対の魚眼レンズの投影画像を合成して得られた半天球光学系の映像であるため、撮影者906は大きく歪曲している。また、撮影者906が撮像しようとしていた被写体である子供907は、半天球光学系の周辺部に胴体部があったことで、胴体部が左右に大きく歪曲し、引き伸ばされている。一方、木908は、レンズ904の正面に位置する被写体であったため、大きな歪みなく撮像されている。
図36(a)の映像から、普段人が見ているような視野の映像を作り出すにはその一部分を切り出して、平面変換して表示する必要がある。
図36(b)は、図36(a)の映像から、レンズ904の正面に位置する映像を切り出した映像である。図36(b)の映像では、普段人が見ているような視野で、木908が中央に映っている。しかし撮影者906が撮像しようとしていた子供907は図36(b)には含まれていないので切り出し位置を変更しなくてはならない。ここでは具体的には切り出し位置を、図36(a)において図面向かって木908より左方向かつ30°下方方向とする必要がある。この切り出し作業を行ったあと、平面変換して表示した映像が図36(c)である。このように、図36(a)の映像から撮影者が撮像しようとしていた図36(c)の映像を得るには、必要な箇所を切り出して平面変換する作業を行わなくてはならない。このため、撮影者は、体験中(撮像中)は体験に集中できるがその後の作業量が膨大になるといった課題があった。
そこで、特許文献1では、被写体を撮像する第1のカメラの他に、使用者を撮像する第2のカメラを使用する技術が開示されている。この技術では、第2のカメラで撮像された画像より使用者の移動方向や視線方向を算出し、第1のカメラの撮像方向を決め、使用者の嗜好や状態から被写体を推定して撮像する。
また、特許文献2では、撮影者(使用者)の観察方向を検出するためジャイロや加速度センサからなるセンサを頭部に装着し、体やバッグなどに別体で装着された撮像装置からセンサで検出された観察方向の撮像を行う画像録画システムが開示されている。
特開2007-74033号公報 特開2017-60078号公報
しかしながら、特許文献1では、第2のカメラは使用者と離れた位置から使用者を撮像するため、第2のカメラで撮像された画像より使用者の移動方向や視線方向を算出するには、第2のカメラに高い光学性能が必要となっていた。また、第2のカメラで撮像された画像の画像処理には高い演算処理能力が必要となってしまい、装置も大がかりなものとなってしまうという課題がある。さらに、それをもってしても使用者の観察方向を精密には算出できないために使用者の嗜好や状態からの被写体の推定を精度よく行うことができず、使用者が欲している映像とは異なる映像を撮像してしまうという課題があった。
また、特許文献2では、使用者の観察方向を直接的に検知するため、使用者は頭部にセンサだけとはいえ装着する必要があり、上述したような、頭部に何らかの装置を装着する際の煩わしさの解消ができない。また、センサがジャイロや加速度センサからなる場合、相対的な観察方向の検出には一定の精度が出せるが、絶対的な観察方向、特に水平回転方向の検出の精度は出せないため、実用化には課題があった。
そこで、本発明の目的は、撮像中の手による撮像方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる撮像装置を提供することである。
本発明の請求項1に係る撮像装置は、使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出部と、前記使用者の身体上に装着され、映像を撮影する撮像部と、前記検出された観察方向に基づいて記録方向を決定する記録方向決定手段と、前記撮像部よって撮影された映像のうち、前記決定された記録方向に対応する映像を記録する映像記録手段と、を備え、前記撮像装置が前記使用者に装着された際、前記観察方向検出部と前記撮像部は前記使用者の正中面上であって顎の下に位置し、前記観察方向検出部は前記撮像部より前記顎へ近い位置に位置することを特徴とする。
本発明によれば、撮影中の手による撮影方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる。
実施例1に係る撮像装置としての撮影・検出部を含むカメラ本体の外観図である。 カメラ本体を使用者が掛けた様子を示す図である。 カメラ本体におけるバッテリー部を図1Aの後方から見た図である。 カメラ本体と別体で構成される、実施例1に係る携帯機器としての表示装置の外観図である。 撮影・検出部を正面から見た図である。 カメラ本体における接続部のバンド部の形状を示す図である。 撮影・検出部を裏側からみた図である。 撮影・検出部を上からみた図である。 撮影・検出部の内部であって、カメラ本体における顔方向検出窓の下部に配置される、赤外検出処理装置の構成を示す図である。 カメラ本体を使用者が掛けた状態を使用者の左側面からみた図である。 バッテリー部の詳細を説明する図である。 実施例1に係るカメラ本体の機能ブロック図である。 カメラ本体のハードウェア構成を示すブロック図である。 表示装置のハードウェア構成を示すブロック図である。 カメラ本体及び表示装置において実行される、実施例1に係る撮像記録処理の概要を示すフローチャートである。 実施例1に係る、図7AのステップS100の準備動作処理のサブルーチンのフローチャートである。 実施例1に係る、図7AのステップS200の顔方向検出処理のサブルーチンのフローチャートである。 実施例1に係る、図7AのステップS300の記録方向・範囲決定処理のサブルーチンのフローチャートである。 実施例1に係る、図7AのステップS500の記録範囲現像処理のサブルーチンのフローチャートである。 動画モードにおける図7AのステップS200~S500までの処理を説明するための図である。 顔方向検出窓から見える使用者の映像を示す図である。 顔方向検出窓から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。 図8Bに示す使用者及びその背景としての蛍光灯を、赤外検出処理装置の赤外LEDを点灯させない状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図8Bに示す使用者及びその背景としての蛍光灯を、赤外LEDを点灯させた状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図8C,図8Dの映像から演算された差分映像を示す図である。 図8Eの差分映像の濃淡を、使用者の顔・首部に投光された赤外線の反射光線の光強度にスケールを合わせて調整した場合を示す図である。 図8Fに、使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者の顔が右方向を向いている時に、図8Eと同様の方法で演算された差分映像を示す図である。 図8Hに首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者が水平より33°上方に顔を向けている際に、顔方向検出窓から見える使用者の映像を示す図である。 使用者が水平より33°上方に顔を向けている際に、図8Eと同様の方法で演算された差分映像に、首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 赤外LEDの点灯タイミングを示したタイミングチャートである。 使用者の顔の上下方向の動きを説明する図である。 使用者が正面を向いている場合の、カメラ本体の撮影部により撮像された超広角映像における狙い視野を示す図である。 超広角映像から切り出された図11Aにおける狙い視野の映像を示す図である。 使用者が被写体Aを観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図11Cにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 使用者が被写体Aを図11Cより小さい画角設定値で観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図11Eにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 超広角映像における狙い視野の一例を示す図である。 超広角映像における、図12Aの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の一例を示す図である。 超広角映像における、図12Aの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の他の一例を示す図である。 超広角映像における、図12Cの狙い視野と同一観察方向であるが画角設定値が小さい狙い視野の一例を示す図である。 図12Aに示す狙い視野の周囲に予備領域を付与した例を示す図である。 図12Bに示す狙い視野の周囲に、図12Eの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 図12Dに示す狙い視野の周囲に、図12Eの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 カメラ本体での撮像前に、表示装置の表示部に表示される、動画モードの各種設定用のメニュー画面を示す図である。 図7AのステップS600の一次記録処理のサブルーチンのフローチャートである。 一次記録処理により生成される映像ファイルのデータ構造を示す図である。 図7AのステップS700の表示装置への転送処理のサブルーチンのフローチャートである。 図7AのステップS800の光学補正処理のサブルーチンのフローチャートである。 図17のステップS803において歪曲収差補正を実施した場合を説明するための図である。 図7AのステップS900の防振処理のサブルーチンのフローチャートである。 実施例2に係る撮影・検出部の構成を概略的に示す分解斜視図である。 撮影・検出部を備えるカメラ本体を使用者が装着している状態を示す図である。 レンズバリアの動作を説明するための図である。 非撮影状態における撮影・検出部の内部構成を示す図である。 撮影状態における撮影・検出部の内部構成を示す図である。 前カバーを取り除いたときの撮影・検出部の正面図である。 実施例3に係る撮影・検出部の構成を概略的に示す正面図である。 実施例4に係る撮影・検出部の構成を概略的に示す分解斜視図である。 実施例4に係る撮影・検出部の内部構成を概略的に示す、光軸OA1及び光軸OA2に沿う断面図である。 実施例5に係る撮影・検出部の構成を概略的に示す正面図である。 実施例6に係る撮影・検出部の構成を概略的に示す分解斜視図である。 実施例6に係る撮影・検出部を備えるカメラ本体を使用者が装着して、撮影開始動作を行っている状態を示す図である。 実施例6に係る前カバーを取り除いたときの撮影・検出部の正面図である。 実施例7に係る第1のボタン及び第2のボタンの形状を示した図である。 実施例7に係る第1のボタン及び第2のボタンの形状を示した図である。 実施例7に係る第1のボタン及び第2のボタンの形状を示した図である。 実施例8に係る撮影・検出部を備えるカメラ本体を使用者が装着して、撮影開始動作を行っている状態を示す図である。 従来技術である頭部固定アクセサリーを用いて頭部に固定されるカメラの構成例を示す図である。 従来技術である全天球型撮影カメラの構成例を示す図である。 図35の全天球撮影カメラで撮像された映像の変換作業の例を示す図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
(実施例1)
図1A~図1Dは、本実施例に係る撮像装置としての撮影・検出部10を含むカメラ本体1とこれと別体で構成される表示装置800からなるカメラシステムを説明するための図である。尚、本実施例では、カメラ本体1と表示装置800は別体である場合を例に示しているが、一体的に構成されていてもよい。また、カメラ本体1を首にかけて装着しているユーザを以下、使用者という。
図1Aは、カメラ本体1の外観図である。
図1Aにおいて、カメラ本体1は、撮影・検出部10、バッテリー部90、撮影・検出部10とバッテリー部90を接続する接続部80を備える。
撮影・検出部10は、顔方向検出窓13、スタートスイッチ14、ストップスイッチ15、撮像レンズ16、LED17、及びマイク19L,19Rを備える。
顔方向検出窓13は、撮影・検出部10に内蔵される、使用者の顔の各部の位置を検出するための赤外LED点灯回路21(図5)から投光される赤外線やその反射光線を透過する。
スタートスイッチ14は、撮像を開始するためのスイッチである。
ストップスイッチ15は、撮像を止めるためのスイッチである。
撮像レンズ16は、撮像する光線を撮影・検出部10の内部の固体撮像素子42(図5)に導く。
LED17は、撮像中であることを示したり、警告を示したりするLEDである。
マイク19R,19Lは、周辺の音を取りいれるマイクであり、マイク19Lは使用者の周辺左側(図1Aの向かって右側)の音を取り入れ、マイク19Rは使用者の周辺右側(図1Aの向かって左側)の音を取り入れる。
図1Bは、カメラ本体1を使用者が掛けた様子を示す図である。
バッテリー部90が使用者の背中側に、撮影・検出部10が使用者の体の前側にくるように装着すると、撮影・検出部10の左右端部近傍に両端が接続される接続部80によって胸方向に付勢され支えられる。これにより、撮影・検出部10が使用者の鎖骨の前あたりに位置するようになる。この時、顔方向検出窓13は使用者の顎の下に位置する。顔方向検出窓13内には、後ほど図2Eで図示する赤外線集光レンズ26がある。撮像レンズ16の光軸(撮像光軸)と赤外線集光レンズ26の光軸(検出光軸)は異なる方向を向いており、後述する顔方向検出部20により顔の各部の位置から使用者の観察方向を検出する。これにより、後述する撮影部40(撮像手段)によるその観察方向の撮像が可能となっている。
体形の個人差や、洋服の違いによる設定位置の調整方法等については後述する。
また、このように撮影・検出部10を体の前面、バッテリー部90を背面に配置することで、重量を分散し、使用者の疲れの軽減や使用者が動いた際の遠心力等によるズレの抑制効果がある。
尚、本実施例では、撮影・検出部10が使用者の鎖骨の前あたりに位置するように装着される例を示したがこれに限定されない。すなわち、カメラ本体1は顔方向検出部20により使用者の観察方向が検出でき、且つ撮影部40によりその観察方向の撮像が可能であれば、カメラ本体1は使用者の頭部以外の身体上のいずれに装着されてもよい。
図1Cは、バッテリー部90を図1Aの後方から見た図である。
図1Cにおいて、バッテリー部90は、充電ケーブル挿入口91、調整用ボタン92L,92R、及び背骨よけ切り欠き93を備える。
充電ケーブル挿入口91は、不図示の充電ケーブルの挿入口であり、この充電ケーブルを介して外部電源から内部のバッテリー94を充電したり、撮影・検出部10に給電したりする。
調整用ボタン92L,92Rは、接続部80のバンド部82L,82Rの長さの調整用ボタンである。調整用ボタン92Lは、向かって左側のバンド部82Lを調節するためのボタンであり、調整用ボタン92Rは、向かって右側のバンド部82Rを調節するためのボタンである。尚、本実施例では、調整用ボタン92L,92Rでバンド部82L,82Rの夫々の長さを独立に調整するが、1つのボタンでバンド部82L,82Rの長さを同時に調整するようにしてもよい。以下、バンド部82L,82Rをバンド部82と総称する。
背骨よけ切り欠き93は、バッテリー部90が使用者の背骨部分に当たらない様に背骨部分を避けた切り欠き部である。人体の背骨の凸部を避けることで装着の不快感を減らすと同時に、使用中に本体が左右に移動することを防止している。
図1Dは、カメラ本体1と別体で構成される、実施例1に係る携帯機器としての表示装置800の外観図である。
図1Dにおいて、表示装置800は、ボタンA802、表示部803、ボタンB804、インカメラ805、顔センサ806、角速度センサ807、及び加速度センサ808を備える。また、図1Dにおいては不図示であるが、カメラ本体1との高速接続が可能な無線LANを備える。
ボタンA802は、表示装置800の電源ボタンの機能を備えるボタンであり、長押しによる電源のONとOFFの操作を受け付け、短押しによるその他の処理タイミングの指示を受け付ける。
表示部803は、カメラ本体1で撮像した映像を確認したり、設定に必要なメニュー画面を表示したりできる。本実施例では、表示部803の上面に透明なタッチセンサも設けて有り、表示中の画面(例えばメニュー画面)に対するタッチによる操作を受け付ける。
ボタンB804は、後述するキャリブレーション処理に用いられるキャリブレーションボタン854として機能するボタンである。
インカメラ805は、表示装置800を観察している人を撮像することが可能なカメラである。
顔センサ806は、表示装置800を観察している人の顔形状や観察方向を検出する。顔センサ806の具体的な構造は特に限定されないが、例えば構造光センサやToFセンサ、ミリ波レーダーなどの各種センサで実施することが可能である。
角速度センサ807は、表示装置800内部にあるため透視図の意味として点線で示されている。本実施例の表示装置800は後述するキャリブレータの機能も備えるため3次元のX,Y,Z方向の3方向のジャイロセンサが搭載されている。
加速度センサ808は、表示装置800の姿勢を検出する。
尚、本実施例に係る表示装置800には、一般のスマートフォンが利用されており、そのスマートフォン内のファームウェアをカメラ本体1側のファームウェアに対応させることで、本発明にかかるカメラシステムを実施可能としている。但し、カメラ本体1側のファームウェアを表示装置800としてのスマートフォンのアプリケーションやOSに対応することによる本発明にかかるカメラシステムの実施も可能である。
図2A~図2Fは、撮影・検出部10を詳細に説明する図である。これ以降の図では既に説明した部分については同一の番号を付することで、同一機能を意味し、本明細書中の説明を省略する。
図2Aは、撮影・検出部10を正面から見た図である。
接続部80は、使用者の身体の右側(図2Aの向かって左側)にある右側接続部80Rと、使用者の身体の左側(図2Aの向かって右側)に構成される左側接続部80Lにおいて撮影・検出部10と接続する。接続部80は詳細には、撮影・検出部10との角度を保持する硬質素材の角度保持部81とバンド部82に分かれる。すなわち、右側接続部80Rは、角度保持部81Rとバンド部82Rを有し、左側接続部80Lは、角度保持部81Lとバンド部82Lを有する。
図2Bは、接続部80のバンド部82の形状を示す図である。本図では、バンド部82の形状を示すため、角度保持部81を透視させている。
バンド部82は、接続面83、及び電気ケーブル84を備える。
接続面83は、角度保持部81とバンド部82の接続面であり、真円ではない断面形状、ここでは楕円形状を有する。以下、接続面83のうち、カメラ本体1の装着時に使用者の身体の右側(図2Bの向かって左側)及び左側(図2Bの向かって右側)に夫々左右対称に配置される接続面83を、右側接続面83R及び左側接続面83Lという。右側接続面83R及び左側接続面83Lは、ちょうどカタカナの「ハ」の字の様な形状となっている。すなわち、図2B向かって下方から上方に行くほど、右側接続面83R及び左側接続面83Lの間の距離が近くなる。これにより、カメラ本体1を使用者が掛けた場合に、接続部80の接続面83の長軸方向が使用者の体に沿う方向となるため、バンド部82が使用者の体に接するときに快適かつ、左右前後方向に撮影・検出部10が移動しないという効果が生じる。
電気ケーブル84は、バンド部82L内部に配線され、バッテリー部90と撮影・検出部10を電気的に接続するケーブルである。電気ケーブル84はバッテリー部90の電源を撮影・検出部10に接続したり、外部と電気信号の送受信をしたりする。
図2Cは、撮影・検出部10を裏側からみた図である。図2Cは、使用者の体に接する側、すなわち、図2Aの反対側からみた図のため、右側接続部80Rと左側接続部80Lの位置関係が図2Aとは逆になっている。
撮影・検出部10は、その裏側に、電源スイッチ11、撮像モードスイッチ12、及び胸部接続パッド18a,18bを備える。
電源スイッチ11は、カメラ本体1の電源のON/OFFを切り替える電源スイッチである。本実施例の電源スイッチ11は、スライドレバーの形のスイッチであるが、これに限定されない。例えば、電源スイッチ11は、プッシュ型のスイッチでもよいし、また、撮像レンズ16の不図示のスライドカバーと一体的に構成されたスイッチでもよい。
撮像モードスイッチ12は、撮像モードを変更するスイッチであり、撮像にかかわるモードを変更できる。本実施例では、撮像モードスイッチ12は、静止画モードや動画モードの他、後述する、表示装置800を用いて設定するプリ設定モードに切り替えることが可能である。本実施例では、撮像モードスイッチ12は、レバーのスライドにより図2Cに示す「Photo」、「Normal」、「Pri」のうちの一つを選択できるスライドレバーの形のスイッチである。撮像モードは、「Photo」へのスライドにより静止画モードに移行し、「Normal」へのスライドにより動画モードに移行し、「Pri」へのスライドによりプリ設定モードへ移行する。尚、撮像モードスイッチ12は、撮像モードの変更が可能なスイッチであれば、本実施例の形態に限定されない。例えば、「Photo」、「Normal」、「Pri」の3つのボタンで撮像モードスイッチ12は構成されていてもよい。
胸部接続パッド18a,18bは、撮影・検出部10が使用者の体に対して付勢されるときに、使用者の体に当たる部分である。図2Aに示すように、撮影・検出部10は装着時に縦(上下)の全長より横(左右)の全長が長くなるように形作られており、胸部接続パッド18a,18bは、撮影・検出部10の左右の端部近傍に配置されている。このように配置されることで、カメラ本体1での撮像中の左右の回転ブレを抑制することが可能となる。また、胸部接続パッド18a,18bがあることで、電源スイッチ11や、撮像モードスイッチ12が身体に接触することを防ぐことができる。さらに、胸部接続パッド18a,18bは、長時間の撮像で撮影・検出部10の温度が上昇しても使用者の体にその熱が伝わることを防ぐ役目や、撮影・検出部10の角度調整の役目も担っている。
図2Dは、撮影・検出部10を上からみた図である。
図2Dに示すように、撮影・検出部10の上面の中央部に、顔方向検出窓13が設けられ、また、胸部接続パッド18a,18bは、撮影・検出部10から突出している。
図2Eは、撮影・検出部10の内部であって、顔方向検出窓13の下部に配置される、赤外検出処理装置27の構成を示す図である。
赤外検出処理装置27は、赤外LED22、及び赤外線集光レンズ26を備える。
赤外LED22は、使用者に向けて赤外線23(図5)を投光する。
赤外線集光レンズ26は、赤外LED22からの赤外線23の投光時に使用者から反射してくる反射光線25(図5)を赤外検出処理装置27の図示しないセンサに結像させるレンズである。
図2Fは、カメラ本体1を使用者が掛けた状態を使用者の左側面からみた図である。
角度調節ボタン85Lは、角度保持部81Lに設けられるボタンであり、撮影・検出部10の角度調節の際に用いられる。尚、本図においては図示していないが、反対側面にある角度保持部81Rの内部にも、角度調節ボタン85Lと対称的な位置に角度調節ボタン85Rが設定されている。以下、角度調節ボタン85R,85Lを総称する際は、角度調節ボタン85という。
角度調節ボタン85は、図2A,図2C、図2Dでも見える位置にあるが、説明の単純化のために省略している。
使用者は、角度調節ボタン85を押しながら角度保持部81を図2F向かって上下に動かすことで撮影・検出部10と角度保持部81の角度を変更することが可能となる。また、胸部接続パッド18a,18bは、その突出角度の変更が可能である。撮影・検出部10は、この二つの角度変更部材(角度調節ボタン85及び胸部接続パッド18a,18b)の働きにより、使用者の胸位置形状の個人差に対して水平を撮像レンズ16の向きを水平に調節することが可能である。
図3は、バッテリー部90の詳細を説明する図である。
図3(a)は、バッテリー部90を背面から一部透視表示した図である。
図3(a)に示すように、バッテリー部90はその重量バランスを取るため、内部に左バッテリー94Lと右バッテリー94R(以下、バッテリー94とも総称する)の2個が対称的に搭載されている。このようにバッテリー部90の中央部に対してバッテリー94を対照的に配置することで、左右の重量バランスをあわせ、カメラ本体1の位置ズレを防止している。尚、バッテリー部90は、バッテリーを1つのみ搭載する構成としても良い。
図3(b)は、バッテリー部90を上部からみた図である。本図においても、バッテリー94が透視で示されている。
図3(b)に示すように、背骨よけ切り欠き93とバッテリー94の関係がわかる。このように、背骨よけ切り欠き93の両サイドにバッテリー94を対照的に配置することにより、比較的重量があるバッテリー部90を使用者に負担なく装着させることが可能である。
図3(c)は、バッテリー部90を裏側からみた図である。図3(c)は、使用者の体に接する側、すなわち、図3(a)の反対側からみた図である。
図3(c)に示すように、背骨よけ切り欠き93は、使用者の背骨に沿って中央に設けられている。
図4は、カメラ本体1の機能ブロック図である。詳細は後述するので、ここでは図4を用いてカメラ本体1で実行される大まかな処理の流れを説明する。
図4において、カメラ本体1は、顔方向検出部20、記録方向・画角決定部30、撮影部40、画像切り出し・現像処理部50、一次記録部60、送信部70、及び他制御部111を備える。これらの機能ブロックは、カメラ本体1の全体制御を行う全体制御CPU101(図5)の制御により実行される。
顔方向検出部20(観察方向検出手段)は、先に出てきた赤外LED22や赤外検出処理装置27などにより実行される機能ブロックであり、顔方向を検出して観察方向を類推し、これを記録方向・画角決定部30に渡す。
記録方向・画角決定部30(記録方向決定手段)は、顔方向検出部20で類推された観察方向に基づき各種演算を行って、撮影部40からの映像を切り出す際の位置や範囲の情報を決定し、この情報を画像切り出し・現像処理部50に渡す。
撮影部40は、被写体からの光線を映像に変換し、その映像を画像切り出し・現像処理部50に渡す。
画像切り出し・現像処理部50は、記録方向・画角決定部30からの情報を用いて、撮影部40からの映像を切り出して現像することで、使用者が見ている方向の映像のみを一次記録部60に渡す。
一次記録部60は、一次メモリ103(図5)などにより構成される機能ブロックであり、映像情報を記録し、必要タイミングで送信部70に渡す。
送信部70は、あらかじめ決められた通信相手である、表示装置800(図1D)、キャリブレータ850、及び簡易表示装置900と無線接続し、これらに対して通信を行う。
表示装置800は、高速接続可能な無線LAN(以下「高速無線」という)で送信部70と接続可能な表示装置である。ここで本実施例では、高速無線に、IEEE802.11ax(WiFi 6)規格に対応する無線通信を利用するが、他の規格、例えばWiFi 4規格やWiFi 5規格に対応する無線通信を利用してもよい。また、表示装置800はカメラ本体1専用に開発した機器でも良いし、一般的なスマートフォンや、タブレット端末等でも良い。
尚、送信部70と表示装置800の接続には、小電力無線を用いてもよいし、高速無線と小電力無線の両方で接続したり、切り替えて接続したりしても良い。本実施例では、後述する動画映像の映像ファイルなどデータ量の多いものは高速無線で伝送し、軽量のデータや、伝送に時間がかかっても良いデータは、小電力無線で伝送する。ここで本実施例では、小電力無線に、Bluetoothを利用するが、NFC(Near Field Communication)等の他の近距離(短距離)無線通信を用いてもよい。
キャリブレータ850は、カメラ本体1の初期設定時や、個別設定を行う機器であり、表示装置800と同様に高速無線で送信部70と接続可能な機器である。キャリブレータ850についての詳細は後述する。また、表示装置800がこのキャリブレータ850としての機能を兼ね備えても良い。
簡易表示装置900は、たとえば小電力無線でしか送信部70と接続できない表示装置である。
簡易表示装置900は、送信部70との間で、時間的な制約により動画映像の伝送はできないが、撮像開始・停止のタイミング伝送や、構図確認程度の画像確認などが行える表示装置である。また、簡易表示装置900は、表示装置800と同様、カメラ本体1専用に開発した機器でも良いし、スマートウォッチなどであっても良い。
図5は、カメラ本体1のハードウェア構成を示すブロック図である。また、図1A~図1C等を用いて説明した構成・機能については、同じ番号を用い詳細説明は省略する。
図5においてカメラ本体1は、全体制御CPU101、電源スイッチ11、撮像モードスイッチ12、顔方向検出窓13、スタートスイッチ14、ストップスイッチ15、撮像レンズ16、及びLED17を備える。
カメラ本体1はまた、顔方向検出部20(図4)を構成する、赤外LED点灯回路21、赤外LED22、赤外線集光レンズ26、及び赤外検出処理装置27を備える。
また、カメラ本体1は、撮像ドライバー41、固体撮像素子42、及び撮像信号処理回路43からなる撮影部40(図4)や、小電力無線ユニット71及び高速無線ユニット72からなる送信部70(図4)を備える。
尚、カメラ本体1には、本実施例では撮影部40が1つしか設けられていないが2以上の撮影部40を設け、3D映像の撮像をしたり、1つの撮影部40で取得できる画角より広角の映像の撮像をしたり、または、複数方向の撮像をしたりしてもよい。
カメラ本体1はまた、大容量不揮発性メモリ51、内蔵不揮発性メモリ102、及び一次メモリ103等の各種メモリを備える。
さらに、カメラ本体1は、音声処理部104、スピーカー105、振動体106、角速度センサ107、加速度センサ108、及び各種スイッチ110を備える。
全体制御CPU101は、図2Cを用いて前述した電源スイッチ11などが接続され、このカメラ本体1の制御を行う。図4の記録方向・画角決定部30、画像切り出し・現像処理部50、及び他制御部111は、全体制御CPU101自身によって構成される。
赤外LED点灯回路21は、図2Eを用いて前述した赤外LED22の点灯・消灯の制御を行い、赤外LED22から使用者に向けた赤外線23の投光を制御する。
顔方向検出窓13は、可視光カットフィルタで構成され、可視光線はほぼ透過できないが、赤外域の光である赤外線23やその反射光線25は十分透過する。
赤外線集光レンズ26は、反射光線25を集光するレンズである。
赤外検出処理装置27は、赤外線集光レンズ26で集光された反射光線25を検出するセンサを有する。このセンサは、集光された反射光線25を映像として結像し、センサデータに変換して、全体制御CPU101へ渡す。
図1Bに示すようにカメラ本体1を使用者が掛けている場合、顔方向検出窓13は使用者の顎の下に位置する。このため、赤外LED点灯回路21から投光された赤外線23は、図5に示すように顔方向検出窓13を透過して使用者の顎付近である赤外線照射面24に照射される。また、赤外線照射面24で反射した赤外線23は、反射光線25となり、顔方向検出窓13を透過し、赤外線集光レンズ26によって、赤外検出処理装置27にあるセンサに集光される。
各種スイッチ110は、図1A~図1C等では不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。
撮像ドライバー41は、タイミングジェネレータ等を含み、撮像にかかわる各部に各種タイミング信号を生成・出力し、撮像駆動する。
固体撮像素子42は、図1Aを用いて説明した撮像レンズ16から投影された被写体像を光電変換してえられた信号を撮像信号処理回路43に出力する。
撮像信号処理回路43は、固体撮像素子42からの信号に対してクランプなどの処理やA/D変換などの処理を行って生成した撮像データを全体制御CPU101に出力する。
内蔵不揮発性メモリ102は、フラッシュメモリなどが用いられ、全体制御CPU101の起動プログラムや、各種プログラムモードの設定値が記憶されている。本実施例では、観察視野(画角)の変更や防振制御の効果レベルを設定できるので、そういった設定値も記録する。
一次メモリ103は、RAMなどで構成され、処理中の映像データを一時的に記憶したり、全体制御CPU101の演算結果を一時的に記憶したりする。
大容量不揮発性メモリ51は、一次画像データの記録または読み出しを行う。本実施例では、説明の簡単化のため、大容量不揮発性メモリ51が脱着機構は無い半導体メモリである場合について説明を行うが、これに限定されない。例えば、大容量不揮発性メモリ51は、SDカードなどの脱着可能な記録媒体で構成してもよいし、内蔵不揮発性メモリ102と併用しても良い。
小電力無線ユニット71は、小電力無線で表示装置800、キャリブレータ850、及び簡易表示装置900との間でデータのやり取りを行う。
高速無線ユニット72は、高速無線で表示装置800、キャリブレータ850、及び簡易表示装置900との間でデータのやり取りを行う。
音声処理部104は、外部の音(アナログ信号)を収音する図1A向かって右側のマイク19L、同図向かって左側のマイク19Rを備え、収音されたアナログ信号を処理し音声信号を生成する。
LED17、スピーカー105及び振動体106は、光を発したり、音を発したり、振動したりすることで、カメラ本体1の状態を使用者に対して通達したり警告したりする。
角速度センサ107は、ジャイロ等を用いたセンサであり、カメラ本体1自体の移動をジャイロデータとして検出する。
加速度センサ108は、撮影・検出部10の姿勢を検出する。
尚、角速度センサ107及び加速度センサ108は、撮影・検出部10に内蔵されるものであり、後述する表示装置800内にもこれとは別体の角速度センサ807及び加速度センサ808が設けられている。
図6は、表示装置800のハードウェア構成を示すブロック図である。図1Dを用いて説明した箇所は説明の簡単化のため、同一の符号を用い説明を省略する。
図6において、表示装置800は、表示装置制御部801、ボタンA802、表示部803、ボタンB804、インカメラ805、顔センサ806、角速度センサ807、加速度センサ808、撮像信号処理回路809、及び各種スイッチ811を備える。
また、表示装置800は、内蔵不揮発性メモリ812、一次メモリ813、大容量不揮発性メモリ814、スピーカー815、振動体816、LED817、音声処理部820、小電力無線ユニット871、及び高速無線ユニット872を備える。
表示装置制御部801は、CPUにより構成され、図1Dを用いて説明したボタンA802や顔センサ806等が接続され、表示装置800の制御を行う。
撮像信号処理回路809は、カメラ本体1内部の撮像ドライバー41、固体撮像素子42、撮像信号処理回路43と同等機能を担うが、本実施例での説明にはあまり重要でないので、説明の簡略化のため一つにまとめて説明している。撮像信号処理回路809で出力されたデータは、表示装置制御部801内で処理される。このデータの処理内容については後述する。
各種スイッチ811は、図1Dでは不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。
角速度センサ807は、ジャイロ等を用いたセンサであり、表示装置800自体の移動を検出する。
加速度センサ808は、表示装置800自体の姿勢を検出する。
尚、上述の通り、角速度センサ807及び加速度センサ808は、表示装置800に内蔵されており、先に説明したカメラ本体1にある角速度センサ107及び加速度センサ808とは同様の機能は有するが別体である。
内蔵不揮発性メモリ812は、フラッシュメモリなどが用いられ、表示装置制御部801の起動プログラムや、各種プログラムモードの設定値が記憶されている。
一次メモリ813は、RAMなどで構成され、処理中の映像データを一時的に記憶したり、撮像信号処理回路809の演算結果を一時的に記憶したりする。本実施例では、動画映像の録画中は、各フレームの撮像時刻に角速度センサ107で検出されたジャイロデータが各フレームと紐づいて、一次メモリ813に保持される。
大容量不揮発性メモリ814は、表示装置800の画像データを記録または読み出す。本実施例では、大容量不揮発性メモリ814は、SDカードの様に脱着可能なメモリで構成される。尚、カメラ本体1にある大容量不揮発性メモリ51のように脱着できないメモリで構成してもよい。
スピーカー815、振動体816及びLED817は、音を発したり、振動したり、光を発したりすることで、表示装置800の状態を使用者に対して通達したり、警告したりする。
音声処理部820は、外部の音(アナログ信号)を収音する左マイク819L、右マイク819Rを備え、収音されたアナログ信号を処理し音声信号を生成する。
小電力無線ユニット871は、小電力無線でカメラ本体1との間でデータのやり取りを行う。
高速無線ユニット872は、高速無線でカメラ本体1との間でデータのやり取りを行う。
顔センサ806は、赤外LED点灯回路821、赤外LED822、赤外線集光レンズ826、及び赤外検出処理装置827を備える。
赤外LED点灯回路821は、図5の赤外LED点灯回路21と同様の機能を有する回路であり、赤外LED822の点灯・消灯の制御を行い、赤外LED822から使用者に向けた赤外線823の投光を制御する。
赤外線集光レンズ826は、赤外線823の反射光線825を集光するレンズである。
赤外検出処理装置827は、赤外線集光レンズ826で集光された反射光線を検出するセンサを有する。このセンサは、集光された反射光線825をセンサデータに変換して、表示装置制御部801へ渡す。
図1Dに示す顔センサ806を使用者に向けると、図6に示すように、赤外LED点灯回路821から投光された赤外線823が、使用者の顔全体である赤外線照射面824に照射される。また、赤外線照射面824で反射した赤外線823は、反射光線825となり、赤外線集光レンズ826によって、赤外検出処理装置827にあるセンサに集光される。
その他機能部830は、詳細は省略するが、本実施例と関係がない機能であって、電話機能やその他センサなどスマートフォンならではの機能を実行する。
以下、カメラ本体1及び表示装置800の使い方について説明する。
図7Aは、カメラ本体1及び表示装置800において実行される、本実施例に係る撮像記録処理の概要を示すフローチャートである。
説明の補助として、図7Aでは各ステップの右側にそのステップが図4に示すどの機器で行われているかが記載されている。すなわち、図7AのステップS100~S700はカメラ本体1にて実行され、図7AのステップS800~S1000は表示装置800にて実行される。
ステップS100では、電源スイッチ11がONとなり、カメラ本体1に電源投入がされると、全体制御CPU101は、起動して内蔵不揮発性メモリ102から起動プログラムを読み出す。その後、全体制御CPU101は、カメラ本体1の撮像前の設定を行う準備動作処理を実行する。準備動作処理の詳細は図7Bを用いて後述する。
ステップS200では、顔方向検出部20が顔方向を検出することで、観察方向を類推する顔方向検出処理を実行する。顔方向検出処理の詳細は図7Cを用いて後述する。本処理は、所定のフレームレートで実行される。
ステップS300では、記録方向・画角決定部30が記録方向・範囲決定処理を実行する。記録方向・範囲決定処理の詳細は図7Dを用いて後述する。
ステップS400では、撮影部40が撮像を行い、撮像データを生成する。
ステップS500では、画像切り出し・現像処理部50がステップS400で生成された撮像データに対し、ステップS300で決定された記録方向、画角情報を用いて、映像を切り出し、その範囲の現像処理を行う記録範囲現像処理を実行する。記録範囲現像処理の詳細は図7Eを用いて後述する。
ステップS600では、ステップS500で現像された映像を、一次記録部60(映像記録手段)が一次メモリ103に映像データとして保存する一次記録処理を実行する。一次記録処理の詳細は図14を用いて後述する。
ステップS700では、送信部70がステップS600で一次記録された映像を指定タイミングにて表示装置800に対して無線にて送信する表示装置800への転送処理を実行する。表示装置800への転送処理の詳細は図16を用いて後述する。
ステップS800以降のステップは、表示装置800にて実行される。
ステップS800では、表示装置制御部801が、ステップS700でカメラ本体1から転送された映像に対し光学補正を行う光学補正処理を実行する。光学補正処理の詳細は図17を用いて後述する。
ステップS900では、表示装置制御部801が、ステップS800で光学補正が行われた映像に対し防振処理を行う。防振処理の詳細は図19を用いて後述する。
尚、ステップS800とステップS900の順番を逆にしても良い。つまり、先に映像の防振補正を行い、あとから光学補正を行っても良い。
ステップS1000では、表示装置制御部801が、ステップS800,S900における光学補正処理、防振処理を完了した映像を大容量不揮発性メモリ814に記録する二次記録を行い、本処理を終了する。
次に図7B~図7Fを用いて、図7Aで説明した各ステップのサブルーチンについて処理の順番とともに他図なども用いながら詳細に説明する。
図7Bは、図7AのステップS100の準備動作処理のサブルーチンのフローチャートである。以下本処理を、図2や図5に図示した各箇所を使って説明する。
ステップS101では、電源スイッチ11がONか否かを判定する。電源がOFFのままの場合は待機し、ONとなるとステップS102へ進む。
ステップS102では、撮像モードスイッチ12で選択されているモードを判定する。判定の結果、撮像モードスイッチ12で選択されているモードが動画モードである場合は、ステップS103に進む。
ステップS103では、動画モードの各種設定を内蔵不揮発性メモリ102から読み出して、一次メモリ103に保存した後、ステップS104に進む。ここで動画モードの各種設定には、画角設定値ang(本実施例では90°に事前設定される)や「強」「中」「切」などで指定される防振レベルが含まれる。
ステップS104では、動画モード用に撮像ドライバー41の動作を開始した後、本サブルーチンを抜ける。
ステップS102の判定の結果、撮像モードスイッチ12で選択されているモードが静止画モードである場合は、ステップS106に進む。
ステップS106では、静止画モードの各種設定を内蔵不揮発性メモリ102から読み出して、一次メモリ103に保存した後、ステップS107に進む。ここで静止画モードの各種設定には、画角設定値ang(本実施例では45°に事前設定される)や「強」「中」「切」などで指定される防振レベルが含まれる。
ステップS107では、静止画モード用に撮像ドライバー41の動作を開始した後、本サブルーチンを抜ける。
ステップS102の判定の結果、撮像モードスイッチ12で選択されているモードがプリ設定モードである場合は、ステップS108に進む。ここでプリ設定モードとは、表示装置800などの外部機器からカメラ本体1に対して撮像モードの設定がなされるモードであり、撮像モードスイッチ12により切り替え可能な3つの撮像モードの一つである。プリ設定モードとは、すなわちカスタム撮影のためのモードである。ここで、カメラ本体1は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体1には設けられておらず、表示装置800のような外部機器でカメラ本体1の詳細設定の変更は行われる。
たとえば同じ動画撮像でも、90°の画角と110°の画角とで続けて撮像したい場合を考えてみる。通常の動画モードでは90°の画角が設定されているため、このような撮像を行う場合、まず通常の動画モードでの撮像後、動画撮像を一度終了し、表示装置800をカメラ本体1の設定画面に変えて、画角を110°に切り替える操作が必要となる。しかし、なんらかのイベント中であると、表示装置800に対するかかる操作は煩わしい。
一方、プリ設定モードを、画角110°で動画撮像するモードに事前設定しておけば、画角90°での動画撮像が終わった後、撮像モードスイッチ12を「Pri」にスライドするだけで、画角110°での動画撮像に即座に変更できる。すなわち、使用者は、現在の行為を中断し、上述の煩わしい操作を行う必要がなくなる。
尚、プリ設定モードで設定する内容に、画角だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定なども含めてもよい。
ステップS108では、プリ設定モードの各種設定を内蔵不揮発性メモリ102から読み出して、一次メモリ103に保存した後、ステップS109に進む。ここでプリ設定モードの各種設定には、画角設定値angや「強」「中」「切」などで指定される防振レベルが含まれる。
ステップS109ではプリ設定モード用に撮像ドライバー41の動作を開始した後、本サブルーチンを抜ける。
ここで、図13を用いてステップS103で読み出した動画モードの各種設定について説明する。
図13は、カメラ本体1での撮像前に、表示装置800の表示部803に表示される、動画モードの各種設定用のメニュー画面を示す図である。尚、図1Dと同じ箇所については同一の符号を用いて説明を省略する。また、表示部803はタッチパネル機能を有しており、この後の説明はスワイプなどの動作を含むタッチ動作で機能するものとして説明する。
図13において、メニュー画面には、プレビュー画面831、ズームレバー832、録画開始・停止ボタン833、スイッチ834、電池残量表示835、ボタン836、レバー837、及びアイコン表示部838を備える。
プレビュー画面831は、カメラ本体1で撮像された映像の確認ができ、ズーム量や画角の確認ができる。
ズームレバー832は、左右にシフトすることでズーム設定ができる操作部である。本実施例では45°、90°、110°、130°の4つの値が画角設定値angとして設定できる場合について説明するが、ズームレバー832によりこれらの値以外も画角設定値angとして設定できるようにしてもよい。
録画開始・停止ボタン833は、スタートスイッチ14とストップスイッチ15の機能を兼ね備えるトグルスイッチである。
スイッチ834は、防振の「切」「入」を切り替えるスイッチである。
電池残量表示835は、カメラ本体1の電池残量を表示する。
ボタン836は、その他のモードに入るボタンである。
レバー837は、防振強度を設定するレバーである。本実施例では、防振強度として設定できるのは「強」「中」のみだが、他の防振強度、例えば「弱」なども設定できるようにしてもよい。また、無段階に防振強度を設定できるようにしても良い。
アイコン表示部838は、プレビュー用の複数のサムネイルアイコンを表示する。
図7Cは、図7AのステップS200の顔方向検出処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、赤外線投光による顔方向の検出方法について図8A~図8Kを用いて解説する。
図8Aは、顔方向検出窓13から見える使用者の映像を示す図である。
図8Aの映像は、顔方向検出窓13に可視光カットフィルタ成分が無く、可視光を十分透過し、且つ赤外検出処理装置27が可視光用撮像素子だった場合に、その可視光用撮像素子において撮像される映像と同一である。
図8Aの映像には、使用者の鎖骨上の首前部201、顎の付け根202、顎先203、鼻を含む顔204が映っている。
図8Bは、顔方向検出窓13から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。
図8Bの映像には、使用者の周囲にある複数の蛍光灯205が映っている。この様に使用条件により赤外検出処理装置27には様々な背景等が映り込むため、赤外検出処理装置27からのセンサデータから、顔方向検出部20や全体制御CPU101が顔部の映像を切り分けることが困難になる。昨今は、AI等の利用によりこういった映像を切り分ける技術もあるが、全体制御CPU101に高い能力が求められ、携帯機器であるカメラ本体1には適さない。
実際には顔方向検出窓13には可視光カットフィルタで構成されているので可視光はほぼ透過せず、赤外検出処理装置27の映像は、図8A,図8Bのような映像にはならない。
図8Cは、図8Bに示す使用者及びその背景としての蛍光灯を、赤外LED22を点灯させない状態で、顔方向検出窓13を介して赤外検出処理装置27のセンサで結像させた場合の映像を示す図である。
図8Cの映像では、使用者の首や顎は暗くなっている。一方、蛍光灯205は、可視光線だけでなく赤外線成分も持っているためにやや明るく映っている。
図8Dは、図8Bに示す使用者及びその背景としての蛍光灯を、赤外LED22を点灯させた状態で、顔方向検出窓13を介して赤外検出処理装置27のセンサで結像させた場合の映像を示す図である。
図8Dの映像では、使用者の首や顎が明るくなっている。一方、図8Cと異なり、蛍光灯205周辺の明るさなどは変わっていない。
図8Eは、図8C,図8Dの映像から演算された差分映像を示す図である。使用者の顔が浮かび上がっていることがわかる。
このように、全体制御CPU101は、赤外LED22の点灯時及び消灯時の夫々において赤外検出処理装置27のセンサで結像された映像の差を演算することで、使用者の顔が抽出された差分映像(以下、顔映像ともいう)を得る。
本実施例の顔方向検出部20は赤外線反射強度を赤外検出処理装置27で2次元画像として抽出することにより顔映像を取得する方式を採用している。赤外検出処理装置27のセンサは、一般的な撮像素子と同様の構造を採用しており、顔画像を1フレームずつ取得している。そのフレーム同期を取る垂直同期信号(以下、V信号という)は赤外検出処理装置27で生成され全体制御CPU101に出力される。
図9は、赤外LED22の点灯・消灯のタイミングを示したタイミングチャートである。
図9(a)は、赤外検出処理装置27でV信号が生成されるタイミングを示す。V信号がHiになることで、フレーム同期及び赤外LED22の点灯・消灯のタイミングが計られる。
図9(a)では、t1が1回目の顔画像取得期間、t2が2回目の顔画像取得期間を示している。図9(a),(b),(c),(d)は、その横軸の時間軸が同一となるように記載されている。
図9(b)は、赤外検出処理装置27のセンサから出力される像信号のH位置を縦軸で表す。像信号のH位置が、図9(b)に示すように、V信号と同期するよう、赤外検出処理装置27はそのセンサの動きを制御する。尚、赤外検出処理装置27のセンサは、上述した通り、一般的な撮像素子と同様の構造を採用しておりその動きは公知であるため詳細の制御については割愛する。
図9(c)は、全体制御CPU101から赤外LED点灯回路21に出力されるIR-ON信号のHi及びLowの切り替えタイミングを示す。IR-ON信号のHi及びLowの切り替えは、図9(c)に示すように、V信号と同期するよう、全体制御CPU101が制御する。具体的には、全体制御CPU101は、t1の期間中は、LowのIR-ON信号を赤外LED点灯回路21に出力し、t2の期間中は、HiのIR-ON信号を赤外LED点灯回路21に出力する。
ここで、IR-ON信号がHiの期間中は、赤外LED点灯回路21は赤外LED22を点灯し、赤外線23が使用者に投光される。一方、IR-ON信号がLowの期間中は、赤外LED点灯回路21は赤外LED22を消灯する。
図9(d)は、赤外検出処理装置27のセンサから全体制御CPU101に出力される撮像データである。縦方向が信号強度であり、反射光線25の受光量を示している。つまりt1の期間中は、赤外LED22は消灯しているので使用者の顔部分からの反射光線25は無い状態であり、図8Cの様な撮像データが得られる。一方、t2の期間中は、赤外LED22は点灯しているので、使用者の顔部分からは反射光線25がある状態であり、図8Dの様な撮像データが得られる。このため、図9(d)に示すように、t2の期間中の信号強度は、t1の期間中の信号強度と比べて使用者の顔部分からの反射光線25の分だけ強度が上がる。
図9(e)は、図9(d)のt1,t2の夫々の期間中の撮像データの差分を取ったものであり、図8Eの様な、使用者の顔からの反射光線25の成分のみが抽出された撮像データが得られる。
上述の図8C~図8E,図9を用いて説明した動作を含めた上での、ステップS200における顔方向検出処理を図7Cに示す。
まず、ステップS201で、赤外検出処理装置27から出力されたV信号が、t1の期間が開始したタイミングV1となったとき、ステップS202に進む。
ついでステップS202で、IR-ON信号をLowに設定し、赤外LED点灯回路21に出力する。これにより、赤外LED22は消灯する。
ステップS203で、t1の期間中において赤外検出処理装置27から出力された1フレーム分の撮像データを読み出し、そのデータをFrame1として一次メモリ103に一時保存する。
ステップS204で、赤外検出処理装置27から出力されたV信号が、t2の期間が開始したタイミングV2となったとき、ステップS203に進む。
ステップS205で、IR-ON信号をHiに設定し、赤外LED点灯回路21に出力する。これにより、赤外LED22は点灯する。
ステップS206で、t2の期間中において赤外検出処理装置27から出力された1フレーム分の撮像データを読み出し、そのデータをFrame2として一次メモリ103に一時保存する。
ステップS207で、IR-ON信号をLowに設定し、赤外LED点灯回路21に出力する。これにより赤外LED22は消灯する。
ステップS208で、一次メモリ103からFrame1及びFrame2を読み出し、Frame2からFrame1を引いた差分であり、図9(e)の使用者の反射光線25成分の光強度Fnを演算する(これは一般的には黒引きと呼ばれる処理にあたる)。
ステップS209で、光強度Fnより首元位置(首回転中心)を抽出する。
まず、全体制御CPU101は、光強度Fnを基に、顔映像を、図8Fを用いて説明する複数の距離エリアに分割する。
図8Fは、使用者の顔・首部の各部位について光量の分布をみるため、図8Eの差分映像の濃淡を、使用者の顔・首部に投光された赤外線23の反射光線25の光強度にスケールを合わせて調整した場合を示す図である。
図8F(ア)は、説明の簡単化のため、図8Eの顔映像における反射光線25の光強度の分布を領域分けしてグレーの段階で示した図である。使用者の首の中央部から顎先に抜ける方向に説明用にXf軸を取っている。
図8F(イ)は、横軸は図8F(ア)のXf軸上の光強度を示し、縦軸はXf軸を示す。横軸は右方向に行くほど強い光強度を示している。
図8F(ア)において、顔映像は、光強度に応じた6つの領域(距離エリア)211~216に分けられている。
領域211は、一番光強度が強い領域であり、グレーの段階として、白色で示されている。
領域212は、領域211より少しだけ光強度が落ちる領域であり、グレーの段階として、かなり明るいグレー色で示されている。
領域213は、領域212よりさらに光強度が落ちる領域であり、グレーの段階として、明るいグレー色で示されている。
領域214は、領域213よりさらに光強度が落ちる領域であり、グレーの段階として、中間のグレー色で示されている。
領域215は、領域214よりさらに光強度が落ちる領域であり、グレーの段階として、やや暗めのグレー色で示されている。
領域216は、最も光強度が弱い領域であり、グレーの段階としては、最も暗いグレーとなっている。領域216より上方向は光強度の無い黒色となっている。
この光強度について、以下、図10を用いて詳細に解説する。
図10は、使用者の顔の上下方向の動きを説明する図であり、使用者の左横方向より観察した状態を示す。
図10(a)は、使用者が正面を向いている様子を示す図である。使用者の鎖骨前方に撮影・検出部10がある。また、撮影・検出部10の上部にある顔方向検出窓13から、赤外LED22の赤外線23が使用者頭部の下部に照射されている。顔方向検出窓13から使用者の鎖骨上の首の付け根200までの距離をDn、顔方向検出窓13から顎の付け根202までの距離をDb、顔方向検出窓13から顎先203までの距離をDcとすると、Dn,Db,Dcの順に距離が遠くなっていることがわかる。光強度は距離の2乗に反比例するので、赤外線照射面24からの反射光線25が赤外検出処理装置27のセンサに結像された際の光強度は、首の付け根200、顎の付け根202、顎先203の順に弱くなる。また、顔方向検出窓13からの距離がDcよりさらに遠い位置にある、鼻を含む顔204については、その光強度はさらに暗くなることがわかる。すなわち、図10(a)のような場合、図8Fで示した光強度の分布となる映像が取得されることがわかる。
尚、使用者の顔方向が検出できれば顔方向検出部20の構成は、本実施例に示す構成に限定されない。例えば、赤外LED22より赤外線パターンを照射するようにし、照射対象から反射された赤外線パターンを赤外検出処理装置27のセンサで検出するようにしてもよい。この場合、赤外検出処理装置27のセンサは、構造光センサであることが好ましい。また、赤外検出処理装置27のセンサを、赤外線23と反射光線25の位相比較を行うセンサ、例えば、Tofセンサとしてもよい。
次に、図8Gを用いて、図7CのステップS209における首元位置の抽出について説明する。
図8G(ア)は、図8Fに、図10(a)における使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。
白色の領域211は、首の付け根200(図10(a))と対応しており、かなり明るいグレー色の領域212は、首前部201(図10(a))と対応しており、明るいグレー色の領域213は、顎の付け根202(図10(a))と対応している。また、中間のグレー色の領域214は、顎先203(図10(a))と対応しており、やや暗めのグレー色の領域215は、顔204(図10(a))の下部に位置する唇及びその周辺の顔下部と対応している。さらに、暗めのグレー色の領域216は、顔204(図10(a))の中央に位置する鼻及びその周辺の顔上部と対応している。
尚、図10(a)に示すように、Db,Dcの距離は、顔方向検出窓13から使用者の他の部位までの距離に比べると差が少ないので、明るいグレー色の領域213及び中間のグレー色の領域214における反射光強度の差も少ない。
一方、図10(a)に示すように、顔方向検出窓13から使用者の各部位までの距離のうち、Dnの距離は最も短い至近距離であるので、首の付け根200に対応する白色の領域211が一番反射強度の強い箇所となる。
よって、全体制御CPU101は、領域211が首の付け根200周辺であり、領域211の左右の中心で且つ撮影・検出部10に一番近い、図8G(ア)で二重丸で示す首元位置206を首回転中心の位置(以下、首元位置206という)に設定する。ここまでの処理が図7CのステップS209で行う内容である。
ついで、図8Gを用いて、図7CのステップS210の顎先位置の抽出について説明する。
図8G(ア)に示す、顔204の内の唇を含む顔下部に対応する領域215より明るい、中間のグレー色の領域214が顎先を含む領域である。図8G(イ)を見ればわかるように領域214と接する領域215で光強度は急激に落ちており、顔方向検出窓13からの距離変化が大きくなる。全体制御CPU101は、光強度の急激な落ち込みがある領域215の手前の領域214が顎先領域であると判別する。さらに、全体制御CPU101は、領域214の左右の中心で且つ首元位置206から一番遠い位置(図8G(ア)において黒丸で示す位置)を顎先位置207として算出(抽出)する。
たとえば顔が右方向を向いている時の変化を示しているのが図8H,図8Iである。
図8Hは、使用者の顔が右方向を向いている時に、図8Eと同様の方法で演算された差分映像を示す図である。図8Iは、図8Hに首稼働の中心位置である首元位置206と顎先位置207rを示す二重丸及び黒丸の符号を重ねた図である。
領域214は使用者が右を向いたので、撮影・検出部10側から見上げると左方向にある、図8Iに示す領域214rへと移動する。顔204の内の唇を含む顔下部に対応する領域215も、撮影・検出部10側から見上げると左方向にある領域215rへと移動する。
よって、全体制御CPU101は、光強度の急激な落ち込みがある215rの手前の領域214rを顎先領域と判別する。さらに、全体制御CPU101は、214rの左右の中心で且つ首元位置206から一番遠い位置(図8Iにおいて黒丸で示す位置)を顎先位置207rとして算出(抽出)する。
その後、全体制御CPU101は、図8G(ア)の顎先位置207から首元位置206を中心として右方向に、図8Iの顎先位置207rがどれだけ移動したかを示す移動角度θrを求める。図8Iに示すように、移動角度θrは、使用者の顔の左右方向の角度となる。
以上の方法で、ステップS210において、顔方向検出部20(3次元検出センサ)の赤外検出処理装置27で顎先位置と使用者の顔の左右方向の角度を検出する。
次に顔の上方向の検出について説明する。
図10(b)は、使用者が顔を水平方向に向けている様子を示す図であり、図10(c)は使用者が顔を水平方向より上部33°に向けている様子を示す図である。
図10(b)では、顔方向検出窓13から顎先203までの距離をFfhとし、図10(c)では、顔方向検出窓13から顎先203uまでの距離をFfuとしている。
図10(c)に示すように、顔とともに顎先203uも上に移動するため、FfuはFfhより距離が長くなっていることがわかる。
図8Jは、使用者が水平より33°上方に顔を向けている際に、顔方向検出窓13から見える使用者の映像を示す図である。図10(c)に示すように、使用者は上を向いているので、使用者の顎の下に位置する顔方向検出窓13からは唇や鼻を含む顔204は見えておらず、顎先203までが見えている。この時に使用者に赤外線23を照射したときの反射光線25の光強度の分布を、図8Kで示す。図8Kは、図8Eと同様の方法で演算された差分映像に、首元位置206と顎先位置207uを示す二重丸及び黒丸の符号を重ねた図である。
図8Kにおける光強度に応じた6つの領域211u~216uは、図8Fに示す領域と同じ光強度の領域に「u」を付けて示す領域である。使用者の顎先203の光強度は、図8Fでは中間のグレー色の領域214にあったが、図8Kではグレー側へとシフトし、やや暗めのグレー色の領域215uにあることがわかる。このように、図10(c)に示すように、FfuがFfhより距離が長い結果、使用者の顎先203の反射光線25の光強度は距離の2乗に反比例して弱まっていることが、赤外検出処理装置27で検出できる。
次に顔の下方向の検出について説明する。
図10(d)は、使用者が顔を水平方向より22°下方向に向けている様子を示す図である。
図10(d)では、顔方向検出窓13から顎先203dまでの距離をFfdとしている。
図10(d)に示すように、顔とともに顎先203dも下に移動するため、FfdはFfhより距離が短くなり、顎先203の反射光線25の光強度は強くなることがわかる。
図7Cに戻り、ステップS211では、全体制御CPU101は、顔方向検出部20(3次元検出センサ)の赤外検出処理装置27で検出された顎先位置の光強度より、顎先位置から顔方向検出窓13までの距離を算出する。これに基づき、顔の上下方向の角度も算出する。
ステップS212では、ステップS210,S211で夫々取得した顔の左右方向及びこれと垂直な上下方向の角度を、3次元からなる使用者の観察方向viとして一次メモリ103に保存する(iは任意の符号)。たとえば、使用者が正面中心部を観察していた場合の観察方向voは、左右方向θhが0°、上下方向θvが0°であるので、[0°,0°]というベクトル情報となる。また、使用者が右45°を観察していた場合の観察方向vrは、[45°,0°]というベクトル情報となる。
尚、ステップS211では、顔方向検出窓13からの距離を検出することで、顔の上下方向の角度を算出したが、この方法に限定されない。例えば、顎先203の光強度の変異レベルを比較することで、角度変化を算出しても良い。つまり図8G(イ)の顎の付け根202から顎先203の反射光強度の勾配CDhに対し、図8K(ウ)の顎の付け根202から顎先203の反射光強度の勾配CDuの勾配変化をもとに、顎部の角度変化を算出しても良い。
図7Dは、図7AのステップS300の記録方向・記録範囲決定処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、まず図11Aを用いて、本実施例における記録方向・記録範囲が決定される対象となる超広角映像について説明する。
本実施例のカメラ本体1では、撮影・検出部10周辺を撮影部40が超広角な撮像レンズ16を用いて超広角映像を撮像し、その一部を切り出すことによって観察方向の映像を得ることを達成している。
図11Aは、使用者が正面を向いている場合の、撮影部40により撮像された超広角映像における狙い視野125を示す図である。
図11Aに示すように、固体撮像素子42の撮像可能な画素領域121は、長方形の領域である。また、有効投影部122(所定領域)は、撮像レンズ16によって固体撮像素子42に魚眼投影される円形の半天球映像が表示される領域である。尚、画素領域121の中心及び有効投影部122の中心は一致するように撮像レンズ16は調整されている。
円形の有効投影部122の最外周がFOV(Field of view)角180°の位置を示している。使用者が水平垂直中心を見ている場合、撮像記録される領域である狙い視野125は有効投影部122の中心からの角度はその半分の角度の90°となる。尚、本実施例の撮像レンズ16は有効投影部122より外側の光線も導入でき、最大FOV角192°の程度までの光線を固体撮像素子42に魚眼投影できる。但し、有効投影部122を超えると極端に解像力がおちたり、光量がおちたり、歪が強まったりと、光学性能が大きく落ちる。よって、本実施例では、記録領域は有効投影部122に表示される半天球映像のうち画素領域121に投影された映像(以下、単に超広角映像という)内からのみ観察方向の映像を切り出す例で説明する。
尚、本実施例では有効投影部122の上下方向のサイズが画素領域121の短辺のサイズより大きい為、有効投影部122における上下端の映像は画素領域121を外れているがこれに限定されない。例えば、撮像レンズ16の構成を変更して有効投影部122の全てが画素領域121の領域内に収まるように設計してもよい。
無効画素領域123は、画素領域121のうち有効投影部122に含まれなかった画素領域である。
狙い視野125は、超広角画像から使用者の観察方向の映像を切り出す範囲を示す領域であり、観察方向を中心とする予め設定された左右上下の画角(ここでは45°、FOV角90°)により規定される。図11Aの例では、使用者は正面を向いているので、狙い視野125の中心は、有効投影部122の中心である観察方向voとなっている。
図11Aに示す超広角映像には、子供である被写体A131、被写体Aである子供が登ろうとしている階段である被写体B132、及び機関車の形の遊具である被写体C133が含まれる。
次に、上記図11Aを用いて説明した超広角映像から観察方向の映像を得るために実行されるステップS300における記録方向・範囲決定処理を図7Dに示す。以下、狙い視野125の具体例である図12A~図12Gを用いて本処理を説明する。
ステップS301で、事前に設定された画角設定値angを一次メモリ103から読み出すことで取得する。
本実施例では、画像切り出し・現像処理部50にて観察方向の映像を超広角画像から切り出すことが可能な全ての画角、45°、90°、110°、130°が画角設定値angとして内蔵不揮発性メモリ102に保存されている。また、ステップS103,S106,S108のいずれかのステップで、内蔵不揮発性メモリ102に保存されている画角設定値angの一つが設定され、一次メモリ103に保存されている。
また、ステップS301では、ステップS212で決まった観察方向viを記録方向に決定し、これを中心とする上記取得した画角設定値angで超広角画像から切り出された狙い視野125の映像を、一次メモリ103に保存する。
例えば、画角設定値angが90°であり、且つ顔方向検出処理(図7C)で観察方向vo(ベクトル情報[0°,0°])が検出された場合、有効投影部122の中心Oを中心とする左右45°、上下45°の範囲が狙い視野125(図11A)に設定される。つまり、全体制御CPU101は、顔方向検出部20で検出された顔方向の角度を、超広角映像に対する相対位置を示すベクトル情報である観察方向viに設定している。
ここで、観察方向voの場合は撮像レンズ16による光学歪の影響はほぼ無視できるため、設定された狙い視野125の形状がそのまま後述するステップS303の歪み変換後の狙い視野125o(図12A)の形状となる。以下、観察方向viの場合の、歪み変換後の狙い視野125を、狙い視野125iという。
次にステップS302で、事前に設定された防振レベルを一次メモリ103から読み出すことで取得する。
本実施例では、上述の通り、ステップS103,S106,S108のいずれかのステップで防振レベルが設定され、一次メモリ103に保存されている。
また、ステップS302では、上記取得した防振レベルを基に防振用予備画素数Pisを設定する。
防振処理では、撮影・検出部10のブレ量に追随して、ブレ方向と反対方向の映像に追随した映像を取得する。このため、本実施例では、狙い視野125iの周囲に防振に必要な予備領域を設ける。
また本実施例では、各防振レベルに紐づく防振用予備画素数Pisの値を保持するテーブルが内蔵不揮発性メモリ102に格納されている。例えば、防振レベルが「中」だった場合、上記テーブルから読み出された防振用予備画素数Pisである100画素の予備画素領域が予備領域として設定される。
図12Eは、図12Aで示す狙い視野125oの周囲に予備領域を付与した例を示す図である。ここでは、防振レベルが「中」、すなわち防振用予備画素数Pisが100画素である場合について説明する。
図12Eに示すように、狙い視野125oに対し、上下左右に夫々防振用予備画素数Pisである100画素の余裕(予備領域)をもたせた点線部が防振用予備画素枠126oとなる。
図12A、図12Eでは説明の簡単化のため、観察方向viが有効投影部122の中心O(撮像レンズ16の光軸中心)と一致する場合について説明した。しかし、以下のステップで説明するように、観察方向viが有効投影部122の周辺部である場合は、光学歪の影響を受けるので変換が必要である。
ステップS303では、ステップS301で設定された狙い視野125の形状を、観察方向vi及び撮像レンズ16の光学特性を考慮して補正(歪み変換)し、狙い視野125iを生成する。同様に、ステップS302で設定された防振用予備画素数Pisも、観察方向vi及び撮像レンズ16の光学特性を考慮して補正する。
たとえば、画角設定値angが90°で、使用者が中心oより右45°を観察しているとする。この場合、ステップS212で決まった観察方向viが観察方向vr(ベクトル情報[45°,0°])であり、観察方向vrを中心とする、左右45°、上下45°の範囲が狙い視野125となる。しかし、撮像レンズ16の光学特性を考慮し、狙い視野125は、図12Bに示す狙い視野125rに補正される。
図12Bに示すように、狙い視野125rは有効投影部122の周辺部に行くにつれ広くなっており、且つ観察方向vrの位置も狙い視野125rの中心よりやや内側に来ている。これは、本実施例では、撮像レンズ16に立体射影魚眼に近い光学設計をしているためである。尚、撮像レンズ16が、等距離射影魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が狙い視野125に対して行われる。
図12Fは、図12Bで示す狙い視野125rの周囲に、図12Eの予備領域と同一防振レベル「中」の予備領域を付与した例を示す図である。
防振用予備画素枠126o(図12E)では、狙い視野125oの上下左右の夫々に防振用予備画素数Pisである100画素の余裕が設定された。これに対し、防振用予備画素枠126r(図12F)は、有効投影部122の周辺部に行くにつれ、防振用予備画素数Pisは補正されて増えている。
このように、狙い視野125rの形状と同様にその周囲に設けられた防振に必要な予備領域の形状も、図12Fの防振用予備画素枠126rに示すように、有効投影部122の周辺部に行くにつれその補正量が大きくなる。これも、本実施例では、撮像レンズ16に立体射影魚眼に近い光学設計をしているためである。尚、撮像レンズ16が、等距離射影魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が防振用予備画素枠126rに対して行われる。
ステップS303で実行される、撮像レンズ16の光学特性を考慮して、狙い視野125及びその予備領域の形状を逐次切り替える処理は、複雑な処理となる。そのため、本実施例では、内蔵不揮発性メモリ102内にある、観察方向vi毎の狙い視野125i及びやその予備領域の形状が保持されるテーブルを用いてステップS303の処理は実行される。尚、先にあげた撮像レンズ16の光学設計によっては演算式を全体制御CPU101内に持っておき、その演算式によって光学歪値を算出しても良い。
ステップS304では、映像記録用枠の位置及びサイズを算出する。
上述の通り、ステップS303では、防振に必要な予備領域を狙い視野125iの周囲に設け、これを防振用予備画素枠126iとして算出した。しかし、観察方向viの位置により、例えば防振用予備画素枠126rの様にその形状がかなり特殊なものとなる。
全体制御CPU101は、このような特殊な形状の範囲だけの現像処理を行って映像を切り出すことは可能である。しかし、ステップS600で映像データとして記録したり、ステップS700で表示装置800に転送したりする際に、長方形ではない映像を用いることは一般的でない。そこでステップS304では、この防振用予備画素枠126iの全体を包含する、長方形形状の映像記録用枠127iの位置及びサイズを算出する。
図12Fでは、防振用予備画素枠126rに対してステップS304で算出された、一点鎖線で示す映像記録用枠127rを示す。
ステップS305では、ステップS304で算出された映像記録用枠127iの位置とサイズを一次メモリ103に記録する。
本実施例では、超広角映像における映像記録用枠127iの左上の座標Xi,Yiを、映像記録用枠127iの位置として記録し、座標Xi,Yiからの映像記録用枠127iの横幅WXi及び縦幅WYiを、映像記録用枠127iのサイズとして記録する。例えば、図12Fに示す映像記録用枠127rに対しては、図示される座標Xr,Yr、横幅WXr、及び縦幅WYrがステップS305で記録される。尚、座標Xi,Yiは、所定の基準点、具体的には撮像レンズ16の光学中心を原点とするXY座標である。
この様にして防振用予備画素枠126iや映像記録用枠127iが決まったところで、図7Dに示すステップS300のサブルーチンを抜ける。
尚、ここまでの説明では、複雑な光学歪変換の説明の簡単化のために観察方向viの例として、水平0°を含む観察方向、すなわち観察方向vo(ベクトル情報[0°,0°])や観察方向vr(ベクトル情報[45°,0°])を用いた説明を行った。しかし実際には、使用者の観察方向viは様々な方向となる。よって以下、そのような場合に実行される記録範囲現像処理について説明する。
例えば、画角設定値angが90°で観察方向vl[-42°,-40°]の場合の狙い視野125lは、図12Cのようになる。
また狙い視野125lと同じ観察方向vl(ベクトル情報[-42°,-40°])であっても、画角設定値angが45°であった場合、図12Dに示すように、狙い視野125lより一回り小さい狙い視野128lとなる。さらに狙い視野128lについては、図12Gに示すような、防振用予備画素枠129l及び映像記録用枠130lが設定される。
ステップS400は撮像の基本動作であり、撮影部40の一般的なシーケンスを用いるので、詳細は他の文献に譲りここでは説明を省略する。尚、本実施例では、撮影部40にある撮像信号処理回路43は、固体撮像素子42から出力された、固有の出力形態(規格の例:MIPI,SLVS)での信号を、一般的なセンサ読み出し方式の撮像データに修正する処理も行う。
尚、撮像モードスイッチ12で選択されているモードが動画モードの場合は、スタートスイッチ14の押下に応じて、撮影部40が録画を開始する。その後、ストップスイッチ15が押下されたとき、録画を終了する。一方、撮像モードスイッチ12で選択されているモードが静止画モードの場合は、スタートスイッチ14の押下がある毎に、撮影部40が静止画を撮像する。
図7Eは、図7AのステップS500の記録範囲現像処理のサブルーチンのフローチャートである。
ステップS501では、ステップS400において撮影部40で生成された撮像データ(超広角映像)の全領域のRawデータを取得し、全体制御CPU101の不図示のヘッド部と呼ばれる映像取り込み部に入力する。
次いでステップS502では、ステップS305で一次メモリ103に記録された座標Xi,Yi、横幅WXi及び縦幅WYiに基づき、ステップS501で取得した超広角映像から映像記録用枠127iの部分を切り出す。この切り出し後、防振用予備画素枠126i内の画素のみに対して、以下実行するステップS503~S508からなるクロップ現像処理(図7F)を開始する。これにより、ステップS501で読み込んだ超広角映像の全領域に対して現像処理を行う場合と比べて演算量を大幅に削減でき、演算時間や電力を削減することができる。
尚、図7Fに示すように、撮像モードスイッチ12で選択されているモードが動画モードである場合、ステップS200,S300の処理と、ステップS400の処理は、夫々同一又は異なるフレームレートで並列に実行される。つまり、撮影部40で生成された1フレーム分の全領域のRawデータが取得される毎に、その時点で一次メモリ103に記録されている座標Xi,Yi、横幅WXi及び縦幅WYiに基づきクロップ現像処理が行われる。
防振用予備画素枠126i内の画素に対するクロップ現像処理を開始すると、まず、ステップS503でベイヤ配列に配置された色画素情報を補完する色補完を行う。
その後、ステップS504でホワイトバランスの調整を行った後、ステップS505で色変換を行う。
ステップS506では、あらかじめ設定したガンマ補正値に従って階調を補正するガンマ補正を行う。
ステップS507では、画像サイズに合わせたエッジ強調を行う。
ステップS508では、圧縮その他の処理を行うことで一次保存可能なデータ形式に変換し、1次メモリ103に記録した後、本サブルーチンを抜ける。この一次保存可能なデータ形式の詳細については後述する。
尚、ステップS503~S508で実行されるクロップ現像処理の順序や処理の有無は、カメラシステムに合わせて行えばよく、本発明を制限するものではない。
また、動画モードが選択されている場合、ステップS200~S500までの処理は録画が終了されるまで繰り返し実行される。
本処理によれば、ステップS501で読み込んだ全領域の現像処理を行う場合と比べて演算量を大幅に削減することができる。このため、全体制御CPU101として安価で低消費電力なマイコンを使えるようになり、また、全体制御CPU101における発熱を抑えるとともに、バッテリー94の持ちもよくなる。
また、本実施例では、全体制御CPU101の制御負荷を軽くするため、映像の光学補正処理(図7AのステップS800)や防振処理(図7AのステップS900)はカメラ本体1では行わず、表示装置800に転送してから表示装置制御部801にて行う。そのため、投影された超広角映像から部分的に切り出した映像のデータだけを表示装置800に送ってしまうと、光学補正処理や防振処理を行うことができない。つまり、切り出した映像のデータだけでは、光学補正処理の際に式に代入したり、防振処理の際に補正テーブルより参照したりするために用いる位置情報が無い為、これらの処理を表示装置800において正しく実行できない。そのため、本実施例では、切り出した映像のデータだけでなく、その映像の超広角映像からの切り出し位置の情報等を含む補正データも共にカメラ本体1から表示装置800に送信する。
ここで切り出した映像が静止画映像である場合、静止画映像のデータと補正データを別途表示装置800に送信しても静止画映像のデータと補正データは1対1対応であるので、表示装置800において正しく光学補正処理や防振処理を行うことができる。一方、切り出した映像が動画映像である場合、動画映像のデータと補正データを別途表示装置800に送信すると、送信された補正データが、動画映像の各フレームに対するいずれの補正データであるかの判断が難しくなる。特に、カメラ本体1内の全体制御CPU101のクロックレートと、表示装置800内の表示装置制御部801のクロックレートが微妙に異なると数分の動画撮像で全体制御CPU101と表示装置制御部801の間の同期が取れなくなる。この結果、表示装置制御部801は、処理すべきフレームをそれに対応する補正データとは異なる補正データで補正してしまうなどの課題が生じる。
よって、本実施例では、カメラ本体1から表示装置800に切り出した動画映像のデータを送信するにあたり、動画映像のデータに対してその補正データを適切に付与する。以下、その方法について説明する。
図14は、図7AのステップS600の一次記録処理のサブルーチンのフローチャートである。本処理を、以下、図15を参照して説明する。図14では、撮像モードスイッチ12で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップS601の処理から始まり、ステップS606の処理が終わると終了する。
ステップS601aで、全体制御CPU101は記録範囲現像処理(図7E)で現像された動画映像からステップS601~S606までの処理が未処理である1つのフレームの画像を読み出す。また、全体制御CPU101はその読み出したフレームのメタデータである補正データを生成する。
ステップS601では、全体制御CPU101はステップS600で読み出したフレームの画像の切り出し位置の情報を補正データに添付する。ここで添付される情報は、ステップS305で取得した映像記録用枠127iの座標Xi,Yiである。尚、ここで添付される情報を、観察方向Viを示すベクトル情報としてもよい。
ステップS602では、全体制御CPU101は光学補正値を取得する。光学補正値はステップS303で設定された光学歪値である。あるいは、周辺光量補正値や回折補正といったレンズ光学特性に応じた補正値でもよい。
ステップS603では、全体制御CPU101はステップS602の歪み変換に用いた光学補正値を補正データに添付する。
ステップS604では、全体制御CPU101は防振モードであるか否かを判断する。具体的には、事前に設定された防振モードが「中」又は「強」だった場合、防振モードであると判断してステップS605に進む。一方、事前に設定された防振モードが「切」だった場合は防止モードでないと判断してステップS606に進む。尚、ここで防振モードが「切」だった場合にステップS605をスキップする理由は、スキップした分、全体制御CPU101の演算データ量や無線送信時のデータ量を削減でき、ひいては、カメラ本体1の電力削減や発熱低減もできるためである。尚、ここでは防振処理に用いるデータの削減について説明したが、ステップS602で取得した光学補正値に含まれる、周辺光量補正値や、解析補正の有無についてのデータ削減を行っても良い。
本実施例では防振モードは、表示装置800による使用者の操作により事前に設定されているが、カメラ本体1の初期設定として設定されていてもよい。また、表示装置800に転送後に防振処理の有無を切り替えるようなカメラシステムとした場合は、ステップS604を無くし、ステップS603から直接ステップS605に進む。
ステップS605では、全体制御CPU101はステップS302で取得した防振モード、及び一次メモリ813にあるステップS600で読み出したフレームと紐づく動画撮像中のジャイロデータを補正データに添付する。
ステップS606では、ステップS600で読み出されたフレームの画像のデータと、ステップS601~S605により各種データが添付された補正データとをエンコードしたデータで、映像ファイル1000(図15)を更新する。尚、ステップS601aにおいて動画映像の最初のフレームの読み出しがされた場合については、ステップS606で映像ファイル1000が生成される。
ステップS607で、記録範囲現像処理(図7E)で現像された動画映像の全てのフレームの画像の読み出しが終了したか判別し、終了していない場合は、ステップS601aに戻る。一方、終了している場合は、本サブルーチンを抜ける。生成された映像ファイル1000は、内蔵不揮発性メモリ102に保存される。前述した1次メモリ813及び内蔵不揮発性メモリ102に保存されるだけでなく、大容量不揮発性メモリ51にも保存されるようにしてもよい。また、生成された映像ファイル1000をただちに表示装置800への転送処理(図7AのステップS700)し、表示装置800に転送後、その1次メモリ813に保存してもよい。
ここで、本実施例において、エンコードとは、映像データと補正データを合体させ1つのファイルにすることを指すが、この際、映像データを圧縮、あるいは映像データと補正データを合体させたものを圧縮してもよい。
図15は、映像ファイル1000のデータ構造を示す図である。
映像ファイル1000は、ヘッダ1001とフレーム1002で構成される。フレーム1002は、動画映像を構成する各フレームの画像とこれに対応するフレームメタがセットとなったフレームデータセットで構成されている。すなわち、フレーム1002には、動画映像の総フレーム分だけフレームデータセットが存在する。
本実施例では、フレームメタは、切り出し位置(映像内位置情報)、光学補正値及びジャイロデータが必要に応じて添付された補正データがエンコードされた情報であるがこれに限定されない。例えば、撮像モードスイッチ12で選択された撮像モードに応じてフレームメタに他の情報を添付したり、あるいは、フレームメタにある情報を削除したりするなどしてフレームメタの情報量を変更しても良い。
ヘッダ1001には、各フレームのフレームデータセットまでのオフセット値または先頭アドレスを記録しておく。あるいは、映像ファイル1000に対応した時刻やサイズといったメタデータを保存してもよい。
このように、一次記録処理(図14)では、表示装置800には、記録範囲現像処理(図7E)で現像された動画映像の各フレームとそのメタデータがセットとなった映像ファイル1000が転送される。よって、カメラ本体1の全体制御CPU101のクロックレートと、表示装置800の表示装置制御部801のクロックレートが微妙に異なる場合も、表示装置制御部801はカメラ本体1で現像された動画映像の補正処理を確実に実行できる。
尚、本実施例では、フレームメタに光学補正値が含まれたが、映像全体に対して光学補正値を付与するようにしてもよい。
図16は、図7AのステップS700の表示装置800への転送処理のサブルーチンのフローチャートである。図16では、撮像モードスイッチ12で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップS702の処理から始まる。
ステップS701では、撮影部40による動画映像の録画(ステップS400)が終了したか、また録画中である否かを判断する。ここで、動画映像が録画中(動画撮像中)である場合、フレーム毎の記録範囲現像処理(ステップS500)や、一次記録処理(ステップS600)での映像ファイル1000の更新(ステップS606)が順次行われている状態となる。無線転送は電力負荷が大きいため、録画中に並行して行うと、バッテリー94の電池容量を多く必要としたり発熱対策を別途行う必要があったりする。また、演算能力の観点で見ても、録画中に並行して無線転送を行うと演算負荷が大きくなるため、高スペックの全体制御CPU101を準備する必要があり、コストとしても大きくなってしまう。本実施例ではこれらを鑑み、動画映像の録画の終了を待ってから(ステップS701でYES)、ステップS702へ進み、表示装置800との接続を確立する。ただし、本実施例のカメラシステムが、バッテリー94から供給される電力に余裕があり且つ別途の発熱対策は不要であれば、カメラ本体1の起動時や録画を開始する前などであらかじめ表示装置800と接続をしてもよい。
ステップS702では、データ量の多い映像ファイル1000を表示装置800に転送するため、高速無線ユニット72を介して表示装置800との接続を確立する。尚、小電力無線ユニット71は、表示装置800への画角確認のための低解像度映像(あるいは映像)の転送や、表示装置800との間での各種設定値の送受信に利用するが、伝送に時間を要してしまうため映像ファイル1000の転送には利用しない。
ステップS703では、高速無線ユニット72を介して映像ファイル1000を表示装置800へ転送し、転送が終了した時点で、ステップS704に進み、表示装置800との接続を閉じた後、本サブルーチンを抜ける。
ここまでは1つの動画映像の全フレームの画像を含む1つの映像ファイルを転送する場合を説明したが、数分にわたる長時間の動画映像の場合は、時間単位で区切った複数の映像ファイルとしても良い。図15に示すデータ構造の映像ファイルであれば、1つの動画映像を複数の映像ファイルとして表示装置800に転送しても、表示装置800において補正データとのタイミングズレなく動画映像を補正することが可能となる。
図17は、図7AのステップS800の光学補正処理のサブルーチンのフローチャートである。本処理を、以下、図18を参照して説明する。尚、上述の通り、本処理は、表示装置800の表示装置制御部801が実行する処理である。
ステップS801では、まず表示装置制御部801は、表示装置800への転送処理(ステップS700)にて転送されたカメラ本体1からの映像ファイル1000を受信する。その後、表示装置制御部801は、受信した映像ファイル1000から抽出した光学補正値を取得する。
続いてステップS802では、表示装置制御部801は、映像ファイル1000から映像(動画撮像で得られた1つのフレームの画像)を取得する。
ステップS803では、表示装置制御部801は、ステップS801で取得した光学補正値によりステップS802で取得した映像の光学補正を行い、補正した映像を1次メモリ813に保存する。光学補正を行う際、ステップS802で取得した映像からの切り出しを行う場合、ステップS303で決定した現像範囲(狙い視野125i)よりも狭い画像の範囲で切り出して処理を行う(切り出し現像領域)。
図18は、図17のステップS803において歪曲収差補正を実施した場合を説明するための図である。
図18(a)は、使用者が撮像時に肉眼でみた被写体1401の位置を示す図であり、図18(b)は、被写体1401が固体撮像素子42上に映った像を示す図である。
図18(c)は、図18(b)の像における現像領域1402を示す図である。ここで、現像領域1402は先ほど説明した切り出し現像領域のことである。
図18(d)は、現像領域1402の像が切り出された、切り出し現像領域を示す図であり、図18(e)は、図18(d)の切り出し現像領域を歪曲補正した映像を示す図である。切り出し現像映像の歪曲補正時に切り出し処理を行うので、図18(e)に示す映像は、図18(d)に示す切り出し現像領域よりさらに画角は小さくなる。
図19は、図7AのステップS900の防振処理のサブルーチンのフローチャートである。本処理を、以下、図18も参照して説明する。尚、上述の通り、本処理は、表示装置800の表示装置制御部801が実行する処理である。
ステップS901では、映像ファイル1000のフレームメタから、現フレーム及び前フレームのジャイロデータと、前フレームに対して後述のステップS902で算出されたブレ量Vn-1 Detを取得する。その後、これらの情報からおおよそのブレ量V Preを算出する。尚、本実施例において、現フレームとは、現在処理中のフレームであり、前フレームとは現フレームの1フレーム前のフレームである。
ステップS902では、映像から詳細なブレ量V Detをもとめる。ブレ量の検出は、現フレームの画像の特徴点が前フレームからどの程度移動したかを計算することで行う。
特徴点の抽出は既知の方法が採用できる。例えば、フレームの画像の輝度情報のみを抽出した輝度情報画像を生成し、それを1乃至数ピクセルずらした画像をもとの画像から減算してその絶対値が閾値以上の画素を特徴点として抽出してもよい。また上記輝度情報画像にハイパスフィルターをかけた画像を、もとの輝度情報画像から減算し抽出されたエッジを特徴点として抽出してもよい。
現フレームと前フレームの輝度情報画像を1乃至数ピクセルずつずらしながら複数回差分を計算し、特徴点の画素での差分が少なくなる位置を計算することで移動量が算出される。
特徴点は後述するように複数点が必要となるため、現フレーム及び前フレームの夫々の画像を複数のブロックに分割して特徴点の抽出を行なうことが好ましい。ブロック分割は画像のピクセル数やアスペクト比にもよるが、一般的には4×3の12ブロック乃至は96×64ブロックが好ましい。ブロック数が少ないとカメラ本体1の撮影部40のあおりによる台形や光軸方向の回転などの補正が正確にできなくなるが、ブロック数が多すぎると1ブロックのサイズが小さくなり、特徴点が近くなるため誤差を含むようになるためである。このようなことから画素数や特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数が選択される。
移動量の算出には、現フレームと前フレームの輝度情報画像を1乃至数ピクセルずつずらして複数回の差分計算を行う必要があるため計算量が多くなる。そこで実際の移動量はブレ量V Preから何ピクセルだけずれているかを算出すべく、その近傍のみの差分計算を行うことで大幅に計算量を減らすことが可能である。
次にステップS903では、ステップS902で取得した詳細なブレ量V Detを用いて防振補正を行った後、本サブルーチンを抜ける。
尚、防振処理の方法としては、回転や平行移動が可能なユークリッド変換、それらが可能なアフィン変換、さらに台形補正が可能な射影変換などが従来より知られている。
X軸、Y軸への移動や回転の場合はユークリッド変換で可能であるが、実際にカメラ本体1の撮影部40で撮像した場合に生じるブレは前後方向やパン・チルト方向の手振れなどもある。よって、本実施例では拡大、スキューなども補正可能なアフィン変換を用いて防振補正を行う。アフィン変換では、基準となる特徴点の座標(x,y)が座標(x’,y’)に移動する場合、以下の式100で表わされる。
Figure 2022140418000002
式100の3×3行列をアフィン係数は、最低3か所の特徴点のずれが検出できれば算出可能である。ただし、検出された特徴点が互いに近い距離にある場合や、直線上にのってしまう場合、特徴点よりも遠い箇所やその直線から離れた箇所の防振補正が不正確になる。よって検出される特徴点は、互いに遠い距離にあり、且つ直線上にのらないものを選択することが好ましい。よって、複数の特徴点が検出された場合は、互いに近い特徴点を省いて残りを最小二乗法で正規化を行う。
図18(f)は、図18(e)に示す歪曲補正をした映像に対してステップS903の防振補正をした映像を示す図である。防振補正時に切り出し処理を行うので、図18(f)に示す映像は、図18(e)に示す映像より画角は小さくなる。
このような防振処理を行うことで、ブレを補正した品位のある映像を得ることが可能である。
以上、本実施例のカメラシステムに含まれるカメラ本体1及び表示装置800で実行される一連の動作を説明した。
使用者が電源スイッチ11をONとした後に撮像モードスイッチ12で動画モードを選択し、顔を上下左右の方向を向かずにただ正面を観察していると、まず顔方向検出部20が観察方向vo(ベクトル情報[0°,0°])(図12A)を検出する。その後、記録方向・画角決定部30が、固体撮像素子42に投影される超広角映像から図12Aに示す狙い視野125oの映像(図11B)を切り出す。
その後、使用者がカメラ本体1を操作することなく、例えば、図11Aの子供(被写体A131)の観察を開始すると、まず顔方向検出部20が観察方向vl(ベクトル情報[-42°,-40°])(図11C)を検出する。その後、記録方向・画角決定部30が、撮影部40で撮像された超広角映像から狙い視野125lの映像(図11C)を切り出す。
このように観察方向に応じて様々な形状に切り出された映像に対する光学補正処理及び防振処理が、ステップS800,S900で表示装置800において行われる。これにより、カメラ本体1の全体制御CPU101が低スペックでも、大きな歪みがある、例えば狙い視野125l(図11C)の映像を切り出した場合も、図11Dの様に子供(被写体A131)を中心とした歪や揺れの補正された映像とすることができる。すなわち使用者は、電源スイッチ11をONとし撮像モードスイッチ12でモード選択をする以外には、カメラ本体1に触れなくとも、自身の観察方向が撮像された映像を得ることができる。
ここでプリ設定モードについて説明する。上述の通り、カメラ本体1は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体1には設けられていない。このため、表示装置800のような外部機器(本実施例では表示装置800の設定画面(図13))でカメラ本体1の詳細設定の変更は行われる。
たとえば同じ動画撮像でも、90°の画角と45°の画角とで続けて撮像したい場合を考えてみる。通常の動画モードでは90°の画角が設定されているため、このような撮像を行う場合、まず通常の動画モードでの撮像後、動画撮像を一度終了し、表示装置800をカメラ本体1の設定画面に変えて、画角を45°に切り替える操作が必要となる。しかし、連続した撮像中であると、表示装置800に対するかかる操作は煩わしいし、録りたい映像を撮り逃すこともある。
一方、プリ設定モードを、画角45°で動画撮像するモードに事前設定しておけば、画角90°での動画撮像が終わった後、撮像モードスイッチ12を「Pri」にスライドするだけで、画角45°のズームアップした動画撮像に即座に変更できる。すなわち、使用者は、現在の撮像行為を中断し、上述の煩わしい操作を行う必要がなくなる。
プリ設定モードで設定する内容としては、画角の変更だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定変更なども含めてもよい。
たとえば先の撮像の状況で使用者が子供(被写体A131)の観察を継続したまま撮像モードスイッチ12で動画モードからプリ設定モードに切り替えると、画角設定値angが90°から45°に変更される。この場合、記録方向・画角決定部30は、撮影部40で撮像された超広角映像から図11Eに示す点線枠で示す狙い視野128lの映像を切り出す。
プリ設定モードにおいても光学補正処理及び防振処理は、ステップS800,S900で表示装置800において行われる。これにより、カメラ本体1の全体制御CPU101が低スペックでも、図11Fの様に子供(被写体A131)を中心にズームされた歪や揺れの補正された映像を得ることができる。動画モードで画角設定値angが90°から45°に変更する例で説明したが、静止画モードでも同様である。また、動画の画角設定値angが90°であり、静止画の画角設定値angが45°の場合も同様である。
このように、使用者は、カメラ本体1に対する撮像モードスイッチ12でのモード切り替えのみで、自身の観察方向が撮像されたズーム映像を得ることができる。
尚、本実施例では、カメラ本体1において顔方向検出部20と撮影部40とが一体的に構成される場合について説明したが、顔方向検出部20が使用者の頭部以外の身体上に装着され、撮影部40が使用者の身体上に装着されていればこれに限定されない。例えば、本実施例の撮影・検出部10を肩上や腹部に設置することも可能である。ただし、肩上の場合、右肩の上に撮影部40を設置すると、左側の被写体は頭部に遮られることが考えられるため、左肩なども含めた複数の撮影手段を設置して補う構成が好ましい。また、腹部の場合、撮影部40と頭部との間に空間的に視差が発生するため実施例3にあげるようなその視差を補正する観察方向の補正算出が行えることが望ましい。
(実施例2)
次に、実施例2について説明する。実施例2は実施例1と基本的に構成が同じであり、カメラ本体1には撮影・検出部10の代わりに、撮影・検出部1100が設けられる。以下、実施例1において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例2に特有の構成についてのみ説明する。
図20は、実施例2に係る撮影・検出部1100の構成を概略的に示す分解斜視図である。図20に示すように、撮影・検出部1100は、被写体を撮影するための撮像レンズ1101(撮像手段)と、使用者の観察方向を検出するための顔方向検出レンズ1102(観察方向検出手段)と、不図示の撮像センサが取り付けられた基板1103とを有する。また、撮影・検出部1100は、フレキシブル基板1110と、前カバー1104と、後ろカバー1105と、上カバー1109と、撮像レンズ1101を保護するレンズバリア1111(保護部材)とを有する。
フレキシブル基板1110には、使用者の顔の各部に赤外線を照射する赤外LED1110a、1110b(発光部材)を点灯させるための回路が配置される。なお、赤外LEDの数は2つに限られない。また、基板1103は撮像レンズ1101を保持する。上カバー1109は、顔方向検出レンズ1102や赤外LED1110a、1110bの上方に配置される。前カバー1104における撮像レンズ1101と対向する箇所には開口部1104aが開設される。実施例2において、撮像レンズ1101は魚眼レンズであり、その一部は開口部1104aを介して前カバー1104から外部へ突出する。
図21は、撮影・検出部1100を備えるカメラ本体1を使用者1112が装着している状態を示す図である。なお、図21において、撮影・検出部1100以外のカメラ本体1の構成要素である接続部80やバッテリー部90の図示は省略される。
図21に示すように、使用者1112は、撮影・検出部1100が使用者1112の正中面上であって、顎の下に位置するように、カメラ本体1を装着する。使用者1112の正面からカメラ本体1を眺めたときに、撮影・検出部1100における顔方向検出レンズ1102の光軸OA2は使用者1112の正中面(図中破線で示す)と略一致し、顔方向検出レンズ1102は使用者1112の顎を指向する。また、撮像レンズ1101の光軸OA1も使用者1112の正中面と略一致する。なお、使用者1112にカメラ本体1が装着された際、撮像レンズ1101は顔方向検出レンズ1102の下に位置する。
図22は、レンズバリア1111の動作を説明するための図であり、図22(a)は非撮影状態を示し、図22(b)は撮影状態を示し、いずれも、撮影・検出部1100を正面から眺めた場合を示す。また、図23Aは、非撮影状態における撮影・検出部1100の内部構成を示す、光軸OA1及び光軸OA2に沿う断面図であり、図23Bは、撮影状態における撮影・検出部1100の内部構成を示す、光軸OA1及び光軸OA2に沿う断面図である。図24は、前カバー1104を取り除いたときの撮影・検出部1100の正面図である。
レンズバリア1111は、使用者1112にカメラ本体1が装着された際、上下方向(図中Y方向)にスライド可能となるように撮影・検出部1100へ取り付けられる。非撮影状態(第1の状態)では、レンズバリア1111は、下方に移動して開口部1104aから一部が突出する撮像レンズ1101を覆う(図22(a)、図23A)。また、撮影状態(第2の状態)では、レンズバリア1111は、上方に移動して撮像レンズ1101を外部に晒すとともに、レンズバリア1111の一部は前カバー1104の上端から突出する(図22(b)、図23B)。すなわち、レンズバリア1111は、上下方向にスライドすることによって非撮影状態と撮影状態の間を遷移する。
図23A及び図23Bに示すように、前カバー1104と後ろカバー1105は、顔方向検出レンズ1102、フレキシブル基板1110や基板1103を挟み込んで間に収容する。また、上カバー1109は顔方向検出レンズ1102を覆う。基板1103には撮像センサ1103aが実装され、撮像レンズ1101の光軸OA1と撮像センサ1103aの撮像中心が略一致する。また、顔方向検出レンズ1102は撮像レンズ1101に対して図中Y方向にオフセットした位置(上方)に配置される。上述したように、顔方向検出レンズ1102の光軸OA2(図中破線で示す)は使用者1112の正中面と略一致し、撮像レンズ1101の光軸OA1(図中破線で示す)も使用者1112の正中面と略一致する。したがって、光軸OA1と光軸OA2は正中面上において交差する。
顔方向検出レンズ1102は不図示の撮像部を介して、赤外LED1110a、1110bを実装したフレキシブル基板1110と接続され、フレキシブル基板1110は基板1103のコネクタ1103bに接続される。また、基板1103には記録メディア1103cが実装される。
実施例1と同様に、実施例2においても、使用者1112がカメラ本体1を装着した際、顔方向検出レンズ1102は使用者1112の顎の真下に位置して使用者1112の顎を指向する。
また、撮影・検出部1100では、顔方向検出レンズ1102の光軸OA2上に撮像レンズ1101の光軸OA1が位置する。さらに、2つの赤外LED1110a、1110bは顔方向検出レンズ1102の光軸OA2に関して線対称にフレキシブル基板1110に実装される。これにより、撮影・検出部1100の重量バランスが安定し、撮像レンズ1101や顔方向検出レンズ1102が正中面に対して傾くのを防止することができる。その結果、使用者1112は、実施例2のカメラ本体1を装着した際、当該カメラ本体1によって安定した撮影を行うことができる。
また、顔方向検出レンズ1102の光軸OA2と撮像レンズ1101の光軸OA1は正中面上において交差するため、顔方向検出レンズ1102と撮像レンズ1101は左右方向(図中X方向)に関して光軸の位置が一致する。これにより、実施例1で説明した超広角映像から映像記録用枠の部分を切り出す範囲を決定する際、顔方向検出レンズ1102と撮像レンズ1101の左右方向の光軸のずれを考慮する必要が無くなる。その結果、切り出す範囲を決定するための計算処理の負荷を減らすことができる。
次に、実施例2におけるレンズバリア1111のスライド動作の詳細について説明する。
実施例2における撮像レンズ1101は魚眼レンズであり、上述したように、一部が前カバー1104の開口部1104aから前方(図中Z方向)に突出する。したがって、レンズバリア1111が前後方向へ移動せずに上下方向(図中Y方向)に移動した場合、レンズバリア1111が撮像レンズ1101の突出した部分と干渉するおそれがある。
これに対応して、実施例2では、レンズバリア1111は、上下方向に移動する際に前後方向にも移動する。具体的には、レンズバリア1111が下方に移動して撮像レンズ1101を覆う際、レンズバリア1111は前方へ移動する(図23A)。また、レンズバリア1111が上方に移動する際、レンズバリア1111は後方へ移動して前カバー1104の表面に沿うように上方へ移動する(図23B)。このとき、レンズバリア1111は撮像レンズ1101の光軸OA1から退避する。このレンズバリア1111の上下方向の移動と前後方向の移動の連動は、レンズバリア1111と撮影・検出部1100の間に配設されたカム連結機構(図示しない)によって実現される。このカム連結機構に形成されているカム軌跡は、撮像レンズ1101の曲面に合わせた形状となっており、これにより、レンズバリア1111は撮像レンズ1101の表面に干渉せず、且つ当該表面をトレースするように移動する。なお、レンズバリア1111は使用者1112が手動によって上下方向に移動させる。しかしながら、カム連結機構を駆動するモータを設け、使用者1112によるボタン等の操作をきっかけとするモータによる駆動によってレンズバリア1111を上下方向に移動させてもよい。
また、上述したように、レンズバリア1111を上方へ移動させて撮像レンズ1101を外部へ晒した際、レンズバリア1111の一部は前カバー1104の上端から突出する(図22(b)、図23B)。この突出したレンズバリア1111の一部は遮光壁として機能し、使用者1112の正面から差し込んでくる太陽光等の外光が上カバー1109を介して顔方向検出レンズ1102へ入射するのを抑制する。これにより、顔方向検出レンズ1102による使用者1112の観察方向の検出の精度が低下するのを防止することができる。すなわち、レンズバリア1111は、非撮影時では撮像レンズ1101を覆って保護し、撮影時では顔方向検出レンズ1102への外光の入射を抑制するという、2つの機能を奏することができ、カメラ本体1の小型化、構成の簡素化に寄与する。
(実施例3)
次に、実施例3について説明する。実施例3は実施例2と基本的に構成が同じであり、撮影・検出部1100の外形が異なる。以下、実施例2において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例3に特有の構成についてのみ説明する。
図25は、実施例3に係る撮影・検出部1100の構成を概略的に示す正面図である。なお、図25では、前カバー1104、後ろカバー1105、上カバー1109やレンズバリア1111が省略されている。実施例2では、基板1103が上下方向(図中Y方向)に延伸するように構成される。その結果、カメラ本体1が使用者1112に装着された場合において、使用者1112の正面から眺めたとき、撮影・検出部1100も上下方向に延伸して左右方向の全長よりも上下方向の全長が長くなる外形を呈していた。一方、実施例3では、基板1103が左右方向(図中X方向)に延伸するように構成される。
これにより、カメラ本体1が使用者1112に装着された場合において、使用者1112の正面から眺めたとき、撮影・検出部1100も左右方向に延伸し、上下方向の全長よりも左右方向の全長が長くなる外形を呈する様になる。その結果、撮影・検出部1100の左右方向に関する重量バランスを取りやすくなり、撮影・検出部1100が安定する。すなわち、顔方向検出レンズ1102の光軸OA2が使用者1112の顎から大きく外れることがなく、使用者1112の観察方向の検出を行い易くすることができる。
(実施例4)
次に、実施例4について説明する。実施例4は実施例2と基本的に構成が同じであり、顔方向検出レンズ1102が撮像レンズ1101に対して揺動可能に構成される点において実施例2と異なる。以下、実施例2において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例4に特有の構成についてのみ説明する。
図26は、実施例4に係る撮影・検出部1100の構成を概略的に示す分解斜視図であり、図27は、実施例4に係る撮影・検出部1100の内部構成を概略的に示す、光軸OA1及び光軸OA2に沿う断面図である。
図26及び図27に示すように、実施例4に係る撮影・検出部1100は、前カバー1104や後ろカバー1105の代わりに、これらのカバーとは形状が異なる前カバー1114と後ろカバー1115を有する。さらに、撮影・検出部1100は、顔方向検出レンズ1102、赤外LED1110a、1110bやフレキシブル基板1110を保持する顔検出レンズ保持枠1106(揺動部)を有する。顔検出レンズ保持枠1106は筐体であり、顔方向検出レンズ1102、赤外LED1110a、1110bやフレキシブル基板1110を内部に収容する。また、顔検出レンズ保持枠1106は上面が開口し、その開口へ上カバー1109が取り付けられる。
前カバー1114は左右方向(図中X方向)に関する側壁が上方(図中Y方向)へ突出してそれぞれ支持部1114c、1114dを形成する。なお、後ろカバー1115も類似の支持部を有する。支持部1114c、1114dの間には、顔検出レンズ保持枠1106が配置される。
支持部1114c、1114dのそれぞれには穴部1114a、1114bが設けられ、顔検出レンズ保持枠1106には、穴部1114a、1114bのそれぞれに対応するように、ネジ穴部1106a、1106bが設けられる。ネジ穴部1106a、1106bには、支持部1114c、1114dの穴部1114a、1114bを介して段付きネジ1107a、1107bが螺合する。このとき、段付きネジ1107a、1107bの軸部は穴部1114a、1114bへ遊嵌されるため、結果として、顔検出レンズ保持枠1106は前カバー1114の支持部1114c、1114dに対して段付きネジ1107a、1107bにより軸支される。これにより、顔検出レンズ保持枠1106は、段付きネジ1107a、1107bの軸まわりに、前カバー1104に対して回動可能となる。具体的には、ネジ穴部1106a、1106bの軸中心である顔検出レンズ保持枠1106の回動中心RCは、撮像レンズ1101の光軸OA1と直交するため、顔検出レンズ保持枠1106は撮像レンズ1101に対してチルティング方向に回動する。
また、段付きネジ1107a、1107bと穴部1114a、1114bとの間にはトルクを調節するためのワッシャ1108a、1108bが配置され、適度なトルクで顔検出レンズ保持枠1106を回動させる。
ところで、使用者1112がカメラ本体1を正しく装着する場合、撮像レンズ1101の光軸OA1は水平方向(図26や図27のZ方向)と一致する。しかしながら、使用者1112がカメラ本体1を正しく装着せず、カメラ本体1が使用者1112に対して傾いて装着された場合、光軸OA1が水平方向と一致せず、水平方向に対してチルトするように傾くことがある(図27)。このような場合、実施例2や実施例3のように、顔方向検出レンズ1102の光軸OA2が、常時、光軸OA1に対して垂直に交差していると、光軸OA2が使用者1112の顎と正対せず、顔方向検出レンズ1102が顎を指向しない。
実施例4では、これに対応して、上述したように、顔検出レンズ保持枠1106を前カバー1114や後ろカバー1115に対してチルティング方向に回動可能に構成する。これにより、顔検出レンズ保持枠1106を前カバー1114に対して使用者1112が手動でチルティング方向に回動させることにより、光軸OA1の向きにかかわらず、顔方向検出レンズ1102に顎を指向させることができる。
また、実施例4では、顔方向検出レンズ1102の撮像部1102aが、顔検出レンズ保持枠1106の回動中心RCと同じ高さに位置するように形成される。これにより、顔方向検出レンズ1102が撮像レンズ1101に対して回動しても、顔方向検出レンズ1102の撮影画界が変化するようなことが無い。
以上の構成より、実施例4では、カメラ本体1が使用者1112へ正しく装着されなくても、使用者1112の観察方向の検出を確実に行うことができる。
なお、実施例4では、使用者1112が顔検出レンズ保持枠1106を手動で回動させて回動角を調整した。しかしながら、撮影・検出部1100が顔検出レンズ保持枠1106を駆動する駆動源、例えば、モータを備え、該モータを用いて顔検出レンズ保持枠1106の回動角を自動で調整するように構成してもよい。
また、実施例4では、顔検出レンズ保持枠1106を撮像レンズ1101に対してチルティング方向に回動させた。しかしながら、顔検出レンズ保持枠1106の回動中心RCを正中面上に位置させることにより、顔検出レンズ保持枠1106を撮像レンズ1101に対してロール方向に回動させるように構成してもよい。さらに、顔検出レンズ保持枠を二重構造とし、顔方向検出レンズ1102を撮像レンズ1101に対してチルティング方向とロール方向の両方に関して回動させるように構成してもよい。
(実施例5)
次に、実施例5について説明する。実施例5は実施例2と基本的に構成が同じであり、2つの撮像レンズを有する点において実施例2と異なる。以下、実施例2において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例5に特有の構成についてのみ説明する。
図28は、実施例5に係る撮影・検出部1100の構成を概略的に示す正面図である。なお、図28では、図25と同様、前カバー1104、後ろカバー1105、上カバー1109やレンズバリア1111が省略されている。実施例5では、実施例3と同様に、基板1103が左右方向(図中X方向)に延伸するように構成される。
図28に示すように、撮影・検出部1100は、右眼撮像レンズ1101aと左眼撮像レンズ1101bを有する。カメラ本体1を正面から眺めたとき、実施例5の撮影・検出部1100では、右眼撮像レンズ1101aの光軸OA3と左眼撮像レンズ1101bの光軸中心OA4は、それぞれ顔方向検出レンズ1102の光軸OA2が通る正中面に位置しない。そして、右眼撮像レンズ1101aと左眼撮像レンズ1101bの重心CGが正中面に位置する。
これにより、撮影・検出部1100の左右方向に関する重量バランスを取りやすくなり、使用者1112がカメラ本体1を装着する際、撮影・検出部1100が使用者1112に対して傾斜するのを抑制することができる。その結果、顔方向検出レンズ1102を安定して使用者1112の顎へ指向させることができ、使用者1112の観察方向の検出精度が悪化するのを防止することができる。
なお、実施例5では、撮影・検出部1100が2つの撮像レンズ1101を有するが、
撮影・検出部1100が3つ以上の撮像レンズ1101を有してもよい。但し、いずれの場合においても、複数の撮像レンズ1101の重心が、顔方向検出レンズ1102の光軸OA2が通る正中面に位置する必要がある。
(実施例6)
次に、実施例6について説明する。実施例6は実施例1や実施例2と基本的に構成が同じであり、カメラ本体1には撮影・検出部10の代わりに、撮影・検出部2100が設けられる。以下、実施例1や実施例2において既に説明した構成要素と同じ機能や構成を有するものについては同一の名称や番号を付して本明細書中の説明を省略し、実施例6に特有の構成についてのみ説明する。
図29は、実施例6に係る撮影・検出部2100の構成を概略的に示す分解斜視図である。図29に示すように、撮影・検出部2100は、被写体等の映像を撮影するための撮像レンズ2101(撮像手段)と、使用者の観察方向を検出するための顔方向検出レンズ2102(観察方向検出手段)とを有する。撮像レンズ2101は、撮像光軸OA5を有するレンズ(撮像光学手段)である。顔方向検出レンズ2102は、検出光軸OA6を有するレンズ(観察方向検出光学手段)である。さらに、撮影・検出部2100は、撮像センサ2103aが取り付けられた基板2103と、観察方向検出フレキシブル基板2110と、前カバー2104と、後ろカバー2105と、観察方向検出窓2109とを有する。本実施例では、撮像レンズ2101、顔方向検出レンズ2102、基板2103、観察方向検出フレキシブル基板2110、前カバー2104、後ろカバー2105、観察方向検出窓2109が撮影・検出部2100の本体2140(本体手段)を構成する。
基板2103は、撮像レンズ2101を保持する。観察方向検出フレキシブル基板2110は、基板2103と接続され、顔方向検出レンズ2102を保持する。また、観察方向検出フレキシブル基板2110には、使用者の顔の各部に赤外線を照射する赤外LED2110a、2110bを点灯させるための回路が配置される。赤外LEDの配置数は、本実施例では2つであるが、これに限定されない。
前カバー2104は、箱状の部材であり、その撮像レンズ2101と対向する箇所には、開口部2104cが開設される。本実施例では、撮像レンズ2101は、魚眼レンズであり、その一部が開口部2104cを介して前カバー2104から外部(前方)へ突出する。前カバー2104の天板部には、観察方向検出窓2109が嵌め込まれている。観察方向検出窓2109は、透明な板部材であり、顔方向検出レンズ2102や赤外LED2110a、2110bの上方に配置される。また、観察方向検出窓2109は、当該観察方向検出窓2109を上側から見たときに、顔方向検出レンズ2102や赤外LED2110a、2110bと重なる。後ろカバー2105は、前カバー2104の後方から覆う箱状の部材である。そして、前カバー2104と後ろカバー2105と観察方向検出窓2109とで囲まれ空間内に、撮像レンズ2101、顔方向検出レンズ2102、基板2103、観察方向検出フレキシブル基板2110等が収納、配置されている。
図29に示すように、撮影・検出部2100は、第1のボタン2121(第1の記録開始部材)と、第2のボタン2122(第2の記録開始部材)と、操作部フレキシブル基板2120とを有する。第1のボタン2121と第2のボタン2122とは、互いに異なる位置に配置されているが、いずれのボタンも、使用者が映像の記録開始を指示するための記録開始手段として機能する。また、第1のボタン2121と第2のボタン2122とは、いずれも、押圧操作されるボタンである。操作部フレキシブル基板2120は、基板2103と接続され、第1のボタン2121に対する押圧操作を検出する第1のスイッチ2120aと、第2のボタン2122に対する押圧操作を検出する第2のスイッチ2120bとを有する。
図30は、撮影・検出部2100を備えるカメラ本体1を使用者2112が装着して、撮影開始動作を行っている状態を示す図である。なお、図30では、撮影・検出部2100以外のカメラ本体1の構成要素である接続部80やバッテリー部90の図示は省略されている。図31は、前カバー2104を取り除いたときの撮影・検出部2100の正面図である。
図30に示すように、使用者2112は、撮影・検出部2100が使用者2112の正中面上であって、顎の下に位置するように、カメラ本体1を装着する。使用者2112の正面からカメラ本体1を眺めたときに、撮影・検出部2100における顔方向検出レンズ2102は、使用者の正中面上であって使用者の顎の下に位置する。また、顔方向検出レンズ2102の検出光軸OA6は、使用者2112の正中面(図中破線で示す)と略一致する。使用者2112と顔方向検出レンズ2102とがこのような位置関係にあることにより、顔方向検出レンズ2102は、使用者2112の顎を指向する。これにより、顔方向検出を容易に行うことができるとともに、顔方向検出の精度を高めることができる。
撮像レンズ2101の撮像光軸OA5は、使用者2112の正中面と一致せず、すなわち、正中面上に位置せず、検出光軸OA6とは互いに交わらないねじれの位置関係にある。撮像光軸OA5が使用者2112の正中面からズレることにより、左右のパララックスズレが発生する。しかしながら、前述したように撮像レンズ2101は魚眼レンズであるため、パララックスズレによる撮影時の影響は、軽微である。また、撮像光軸OA5と検出光軸OA6とがねじれの位置関係にあることにより、撮像レンズ2101と顔方向検出レンズ2102とを、撮影・検出部2100の高さ方向に積み上げる、すなわち、重ねて配置された構成とするのを防止することができる。これにり、撮影・検出部2100の高さ方向の大きさを抑えて、撮影・検出部2100の小型化を図ることができる。また、撮像レンズ2101を使用者2112の目線高さに少しでも近づけることができる。これにより、カメラ本体1に記録された映像を使用者2112の見ている映像に近づけることができる。
図30、図31に示すように、カメラ本体1を装着した使用者2112に向かって、第1のボタン2121は、本体2140の前カバー2104の右側面(側壁部)2104aの下部に突出して配置されている。第2のボタン2122は、第1のボタン2121と反対側、すなわち、前カバー2104の左側面(側壁部)2104bの下部に突出して配置される。
本実施例では、第1のボタン2121と第2のボタン2122との両方が同時に押圧操作されたときに、第1のスイッチ2120a及び第2のスイッチ2120bによって、その同時操作が検出される。そして、不図示の全体制御CPU101は、第1のスイッチ2120a及び第2のスイッチ2120bでの同時操作検出が得られたときに、映像の記録を開始する。このような構成により、例えば誤って第1のボタン2121と第2のボタン2122とのうちの一方のボタンが押圧操作されたとしても、映像の記録開始が意図せずに実行されるのを防止することができる。
また、図30に示すように、第1のボタン2121と第2のボタン2122とが本体2140を介して互いに反対側、すなわち、左右に配置されている。これにより、使用者2112は、撮影・検出部2100を、その下から親指2130と人差し指2131との間で挟み込んで(以下「下側からの挟み込み」と言う)、第1のボタン2121と第2のボタン2122とを操作することが可能となる。このような操作は、ボタンの同時操作にとっては好ましい。また、使用者2112の身に着けられた本撮像装置(カメラ本体1)は、使用者2112の目の前に現れた撮影機会があれば、とっさに記録開始操作が実行されることが多い。そのため、第1のボタン2121と第2のボタン2122とは、左右どちらの手でも操作し易いことが求められる。また、前述した下側からの挟み込みにより、使用者2112は、左右どちらの手でも同様の操作感で各ボタンに対する操作が可能になるとともに、記録開始時に手や指が映り込むことが軽減される。さらに、下側からの挟み込みにより、万が一撮影・検出部2100が使用者2112に対して傾いたり回転したりしていた場合でも、使用者2112が自然と撮影・検出部2100を正しい位置に戻すことが可能となる。
第1のボタン2121を押圧操作するときの操作力(押圧力)F2121は、その大きさが主に第1のスイッチ2120aによって変化する(図31参照)。第2のボタン2122を押圧操作するときの操作力(押圧力)F2122も、その大きさが主に第2のスイッチ2120bによって変化する(図31参照)。撮影・検出部2100では、操作力F2121が操作力F2122に対し大きくなるように設定されている。このような力の大小関係により、各ボタンを同時操作する際、操作力F2122の小さい第2のボタン2122を支える側、操作力F2121の大きい第1のボタン2121を押し込む側とすることができる。その結果、第2のボタン2122側の親指2130をできる限り動かさないようにすることができ、よって、同時操作が行い易くなる。このような同時操作が可能となるには、例えば、操作力F2121が操作力F2122に対し、2倍以上が好ましいが、これに限定されるものではない。
なお、操作力F2121の大小は、第1のスイッチ2120aによって変化し、操作力F2122の大小は、第2のスイッチ2120bによって変化するが、これに限定されず、例えば、各地からの大小をバネ等の弾性部材によって変化させてもよい。
第1のボタン2121と第2のボタン2122とがそれぞれ最大に突出した状態、すなわち、操作前状態では、第1のボタン2121と第2のボタン2122との距離Lは、例えば、50mm以上200mm以下の範囲にあるのが好ましい(図31参照)。距離Lが5cm以下の場合、使用者2112によっては、前述した下側からの挟み込みを行い辛くなるおそれがある。また、距離Lが20cm以上の場合、使用者2112の手の大きさによっては、前述した下側からの挟み込みを片手で行い辛くなるおそれがある。また、距離Lが5cm以上を満たしつつ、撮影・検出部2100の小型化を図る場合、撮影・検出部2100を横長の形状とするのが好ましい。従って、撮像レンズ2101と顔方向検出レンズ2102を左右にズレして配置して、撮影・検出部2100の高さ方向の大きさを抑えることは、撮影・検出部2100を小型化に寄与する。
(実施例7)
次に、図32A~図32Cを用いて実施例7について説明する。実施例7は実施例6と基本的に構成が同じであり、以下、実施例6において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例7に特有の構成についてのみ説明する。
図32A~図32Cは、実施例7に係る第1のボタン2221及び第2のボタン2222の形状を示した図である。
本実施例では、撮影・検出部2200は、互いに形状(大きさを含む)が異なる第1のボタン2221と第2のボタン2222とを有する。図32Aに示す構成では、第1のボタン2221と第2のボタン2222とは、互いに大きさが異なる。第1のボタン2221の直径φd2221は、第2のボタン2222の直径φd2222よりも小さい。図32Bに示す構成では、第1のボタン2221と第2のボタン2222との突出量が異なる。第1のボタン2221の突出量Q2221は、第2のボタン2222の突出量Q2222よりも大きい。図32Cに示す構成では、第1のボタン2221と第2のボタン2222との表面の状態が異なる。第1のボタン2221の表面2221aには、複数の凹凸が形成されており、第2のボタン2222の表面2222aは、表面2221aよりも滑らかである。
このように第1のボタン2221と第2のボタン2222とが互いに形状が異なることにより、各ボタンに触れたときの感触がそれぞれ異なる。これにより、使用者2112が左右どちらの手でとっさに操作しようとした際にも、操作力の高い側と低い側とを迅速に判断することができ、操作ブレを抑制し易くなる。
なお、本実施例では、第1のボタン2221と第2のボタン2222とは、互いに形状が異なるよう構成されているが、例えば、互いに剛性や柔軟性等が異なるよう構成されていてもよい。この場合も、各ボタンに触れたときの感触をそれぞれ異ならせることができる。
(実施例8)
次に、図33を用いて実施例8について説明する。実施例8は実施例6と基本的に構成が同じであり、以下、実施例6において既に説明した構成要素と同じ機能や構成を有するものについては同一の番号を付して本明細書中の説明を省略し、実施例8に特有の構成についてのみ説明する。
図33は、実施例8に係る撮影・検出部2300を備えるカメラ本体1を使用者2112が装着して、撮影開始動作を行っている状態を示す図である。
本実施例の撮影・検出部2300は、実施例6の撮影・検出部2100に対して、第2のボタン2122及び第2のスイッチ2120bが省略されている。また、撮影・検出部2300は、第2のボタン2122に代えて、指置き部2340(支持部材)を有する。指置き部2340は、第2のボタン2122と同様に、本体2140の第1のボタン2121と反対側の側面、すなわち、左側面2104bの下部に配置されている。
指置き部2340は、記録開始操作の際に使用者2112の親指2130を置いて(添えて)、本体2140を支えるためのものである。これにより、第1のボタン2121を安定して押圧操作することができる。なお、指置き部2340は、図33に示すように扁平形状をなし、左側面2104bから突出したものであっても良いし、左側面2104bと同一面に形成されたものであっても良い。また、本実施形態では指置き部2340は指を添えて第1のボタン2121押圧時に本体2340を支える例を示したが、これに限らない。例えば使用者の身体上に第1のボタン2121押圧時の指置き部2340の移動を妨げるための部材を装着し、当該部材と指置き部2340が当接あるいは嵌合することにより本体2140を支持するようにしてもよい。
以上、本発明の好ましい実施例について説明したが、本発明は上述した各実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
1 カメラ本体
1100 撮影・検出部
1101 撮像レンズ
1102 顔方向検出レンズ
1106 顔検出レンズ保持枠
1110a、1110b 赤外LED
1111 レンズバリア
1112 使用者
2100 撮影・検出部
2101 撮像レンズ
2102 顔方向検出レンズ
2112 使用者
2121 第1のボタン
2122 第2のボタン
撮像光軸 OA5
検出光軸 OA6

Claims (18)

  1. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出部と、
    前記使用者の身体上に装着され、映像を撮影する撮像部と、
    前記検出された観察方向に基づいて記録方向を決定する記録方向決定手段と、
    前記撮像部よって撮影された映像のうち、前記決定された記録方向に対応する映像を記録する映像記録手段と、を備え、
    前記撮像装置が前記使用者に装着された際、前記観察方向検出部と前記撮像部は前記使用者の正中面上であって顎の下に位置し、前記観察方向検出部は前記撮像部より前記顎へ近い位置に位置することを特徴とする撮像装置。
  2. 複数の前記撮像部を有し、
    前記撮像装置が前記使用者に装着された際、前記観察方向検出部は前記使用者の正中面上であって顎の下に位置し、
    前記複数の撮像部の重心が、前記使用者の正中面上に位置することを特徴とする請求項1に記載の撮像装置。
  3. 前記観察方向検出部を前記撮像部に対して揺動させる揺動部を有することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記揺動部は、前記観察方向検出部を前記撮像部に対してロール方向及びチルティング方向の少なくとも一つの方向に回動させることを特徴とする請求項3に記載の撮像装置。
  5. 前記撮像部を保護する保護部材をさらに有し、
    前記保護部材は、前記撮像部の光軸の上に位置する第1の状態と、前記光軸と直交する方向に移動して前記撮像部の光軸から退避する第2の状態との間を遷移することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記保護部材は、前記観察方向検出部の方へ移動して前記第2の状態に遷移することを特徴とする請求項5に記載の撮像装置。
  7. 前記撮像装置が前記第2の状態に遷移した際、前記保護部材の一部が前記観察方向検出部よりも前記使用者の顎へ向けて突出することを特徴とする請求項6に記載の撮像装置。
  8. 少なくとも2つの発光部材を有し、
    前記少なくとも2つの発光部材は、前記観察方向検出部の光軸に対して線対称に配置されることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記使用者に装着された場合において、前記使用者の正面から眺めたとき、上下方向の全長よりも左右方向の全長が長くなる外形を呈することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出部と、
    映像を撮影する撮像部と、を有し、
    前記観察方向検出部は、検出光軸を有する観察方向検出光学部を備え、
    前記撮像部は、撮像光軸を有する撮像光学部を備え、
    前記検出光軸は、前記撮像光軸と互いに交わらないねじれの関係にあることを特徴とする撮像装置。
  11. 前記撮像装置が前記使用者に装着された際、前記観察方向検出部は、前記使用者の正中面上であって該使用者の顎の下に位置し、前記撮像部は、前記使用者の正中面上に位置しないことを特徴とする請求項10に記載の撮像装置。
  12. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出部と、映像を撮影する撮像部と、を有する本体と、
    前記本体の側面に設けられ、前記使用者が前記映像の記録開始を指示するための第1の記録開始部材と、
    前記本体の前記第1の記録開始部材とは反対側の側面に配置され、前記使用者が前記撮像手段に前記映像の記録開始を指示するための第2の記録開始部材と、を有し、
    前記撮像手段は、前記第1の記録開始部材と前記第2の記録開始部材との両方が同時に操作されたことを検出した際に前記映像の記録を開始することを特徴とする撮像装置。
  13. 前記第1の記録開始部材の操作に必要な力は、前記第2の記録開始部材の操作に必要な力に対し大きいことを特徴とする請求項12に記載の撮像装置。
  14. 前記第1の記録開始部材の形状は、前記第2の記録開始部材の形状と異なることを特徴とする請求項12または13に記載の撮像装置。
  15. 前記第1の記録開始部材と前記第2の記録開始部材との距離は、50mm以上であることを特徴とする請求項12乃至14のいずれか1項に記載の撮像装置。
  16. 前記第1の記録開始部材と前記第2の記録開始部材との距離は、200mm以下であることを特徴とする請求項12乃至15のいずれか1項に記載の撮像装置。
  17. 前記第1の記録開始部材と前記第2の記録開始部材との距離は、50mm以上200mm以下の範囲にあることを特徴とする請求項12乃至16のいずれか1項に記載の撮像装置。
  18. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出部と、映像を撮影する撮像部と、を有する本体と、
    前記使用者が前記映像の記録開始を指示するための記録開始部材と、
    前記記録開始部材への操作の際に前記本体を支えるための支持部材と、を有し、
    前記記録開始部材は、前記本体の側面に設けられており、
    前記支持部材は、前記本体の前記記録開始部材とは反対側の側面に配置されていることを特徴とする撮像装置。
JP2022038689A 2021-03-12 2022-03-11 撮像装置 Pending JP2022140418A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020220081643A KR20230019016A (ko) 2021-07-30 2022-07-04 액션 카메라로서 사용되는 촬상장치
GB2210460.8A GB2611397A (en) 2021-07-30 2022-07-15 Image pickup apparatus used as action camera
US17/866,695 US11849205B2 (en) 2021-07-30 2022-07-18 Image pickup apparatus used as action camera
DE102022118931.7A DE102022118931A1 (de) 2021-07-30 2022-07-28 Als Actionkamera verwendete Bildaufnahmevorrichtung
CN202210902586.5A CN115695959A (zh) 2021-07-30 2022-07-29 用作运动型照相机的摄像设备

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021040848 2021-03-12
JP2021040848 2021-03-12
JP2021126103 2021-07-30
JP2021126103 2021-07-30

Publications (1)

Publication Number Publication Date
JP2022140418A true JP2022140418A (ja) 2022-09-26

Family

ID=83399056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022038689A Pending JP2022140418A (ja) 2021-03-12 2022-03-11 撮像装置

Country Status (1)

Country Link
JP (1) JP2022140418A (ja)

Similar Documents

Publication Publication Date Title
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
JP4553346B2 (ja) 焦点調節装置及び焦点調節方法
CN115086547A (zh) 摄像设备、便携式装置和校准器及其控制方法和存储介质
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
JP2010147715A (ja) 撮像装置
JP2015186020A (ja) 表示機器、撮影機器及び表示方法
CN115695960A (zh) 摄像设备及其控制方法和存储介质
WO2015194084A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN115695961A (zh) 摄像设备及其控制方法、校准系统和存储介质
JP2012222387A (ja) 撮像装置
KR20230019016A (ko) 액션 카메라로서 사용되는 촬상장치
JP2022140418A (ja) 撮像装置
JP6700693B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2023055074A (ja) 撮像装置及びその制御方法並びにプログラム
JP2022140421A (ja) 撮影システム、撮像装置、表示装置、制御方法、及びプログラム
JP2023087468A (ja) 撮像装置、制御方法およびプログラム
JP2023067530A (ja) 撮像装置及びその制御方法並びにプログラム
JP2022140424A (ja) 撮像装置及びその制御方法並びにプログラム
JP2022140417A (ja) 撮像装置、キャリブレーションシステム、及び撮像装置の制御方法並びにプログラム
JP2023154539A (ja) 撮像装置、撮像装置の制御方法、表示装置及び撮像システム
JP2022140419A (ja) 撮像装置、制御方法及びプログラム
JP2024097267A (ja) 撮像装置、キャリブレータ、及びこれらの制御方法並びにプログラム
JP2023142257A (ja) 表示装置、及び表示装置の制御方法
JP5750792B1 (ja) 撮像装置、撮像方法およびプログラム