JP2019153874A - 情報記録装置、画像記録装置、操作補助装置、操作補助システム、情報記録方法、画像記録方法及び操作補助方法 - Google Patents

Abstract

【課題】様々な手順の操作が要求され得る装置の操作手順を簡単にするための情報記録装置を提供する。【解決手段】情報記録装置は、情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、前記変更操作の時系列操作データを操作履歴として取得する操作履歴取得部１１１と、前記情報取得結果と前記操作履歴とを関連付けて記録するカメラ記録部１３１とを備える。【選択図】 図１

Description

本発明は、情報記録装置、画像記録装置、操作補助装置、操作補助システム、情報記録方法、画像記録方法及び操作補助方法に関する。

ユーザが確認して操作する機器において、短期間で変化する事象を思い通りに捉えるには操作の熟練又は工夫が要求されるため、撮影、撮像又は確認を行うときに的確な操作をすることが困難であった。

このようなことから、様々な手順の操作が要求される装置の操作手順を簡単にする技術には需要がある。例えば特許文献１には、所望の解析結果を得るのに必要な操作を適切な順番に表示し、同時に、個々の操作の意味又は具体的な操作方法を記載した操作説明を表示する呼吸代謝測定解析装置に係る技術が開示されている。この呼吸代謝測定解析装置では、操作が順番に実行されると、所望の解析結果が得られる。一方で、デジタルカメラ等の情報取得機器では、取得状況、取得データ及びその他のニーズに応じて、多様な操作手順があり得る。

特開２０１０−４６４７７号公報

本発明は、様々な手順の操作が要求され得る装置の操作手順を簡単にするための情報記録装置、画像記録装置、操作補助装置、操作補助システム、情報記録方法、画像記録方法及び操作補助方法を提供することを目的とする。

本発明の一態様によれば、情報記録装置は、情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、前記変更操作の時系列操作データを操作履歴として取得する操作履歴取得部と、前記情報取得結果と前記操作履歴とを関連付けて記録する記録部とを備える。

本発明の一態様によれば、画像記録装置は、取得した画像を選択する選択部と、前記画像の取得のための対処を判定する対処判定部とを具備する情報取得装置において、前記選択された画像が取得されたタイミングで行われた前記対処と、前記対処が行われたタイミングとを示す時系列操作データを操作履歴として取得する操作履歴取得部と、前記選択された画像と前記時系列操作データとを関連付けて記録する記録部とを備える。

本発明の一態様によれば、操作補助装置は、情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、前記変更操作の時系列操作データである操作履歴が関連付けられた前記情報取得結果が記録されている記録部と、前記操作履歴に基づいて操作補助データを出力する操作補助部とを備える。

本発明の一態様によれば、操作補助システムは、情報記録装置と、操作補助装置と、前記情報記録装置及び前記操作補助装置と通信可能に構成され、前記操作履歴が関連付けられた前記情報取得結果を、前記情報記録装置から受信して前記情報取得結果の分類毎に蓄積し、前記操作補助装置へ送信するサーバとを備える。

本発明の一態様によれば、情報記録方法は、情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、前記変更操作の時系列操作データを操作履歴として取得することと、前記情報取得結果と前記操作履歴とを関連付けて記録することとを含む。

本発明の一態様によれば、画像記録方法は、取得した画像を選択する選択部と、前記画像の取得のための対処を判定する対処判定部とを具備する情報取得装置において、前記選択された画像が取得されたタイミングで行われた前記対処と、前記対処が行われたタイミングとを示す時系列操作データを操作履歴として取得することと、前記選択された画像と前記時系列操作データとを関連付けて記録することとを含む。

本発明の一態様によれば、操作補助方法は、情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、前記変更操作の時系列操作データである操作履歴が関連付けられた前記情報取得結果を取得することと、前記操作履歴に基づいて操作補助データを出力することを含む。

本発明によれば、様々な手順の操作が要求され得る装置の操作手順を簡単にするための情報記録装置、画像記録装置、操作補助装置、操作補助システム、情報記録方法、画像記録方法及び操作補助方法を提供できる。

図１は、第１の実施形態に係る操作ガイドシステムの構成例の概略を示す模式図である。 図２は、第１の実施形態に係るカメラの構成の一例を示すブロック図である。 図３は、第１の実施形態に係るスマートフォンの構成の一例を示すブロック図である。 図４は、第１の実施形態に係るサーバの構成の一例を示すブロック図である。 図５は、第１の実施形態に係るカメラ制御処理の一例を示すフローチャートである。 図６は、第１の実施形態に係る操作記録を伴う撮影処理の一例を示すフローチャートである。 図７は、第１の実施形態に係る操作履歴の一例について説明するための図である。 図８は、第１の実施形態に係る画像ファイルの一例について説明するための図である。 図９は、第１の実施形態に係る画像ファイルの別の一例について説明するための図である。 図１０は、第１の実施形態に係る操作ガイドを伴う再生処理の一例を示すフローチャートである。 図１１は、第１の実施形態に係るカメラにおける表示の一例を示す模式図である。 図１２は、第１の実施形態に係るカメラにおける表示の一例を示す模式図である。 図１３は、第１の実施形態に係るカメラにおける表示の一例を示す模式図である。 図１４は、第１の実施形態に係るスマートフォン制御処理の一例を示すフローチャートである。 図１５は、第１の実施形態に係るサーバ制御処理の一例を示すフローチャートである。 図１６は、第２の実施形態に係る操作履歴の一例について説明するための図である。 図１７は、第２の実施形態に係る画像ファイルの一例について説明するための図である。 図１８Ａは、第２の実施形態に係る操作ガイドを伴う撮影処理の一例を示すフローチャートである。 図１８Ｂは、第２の実施形態に係る操作ガイドを伴う撮影処理の一例を示すフローチャートである。 図１９は、第２の実施形態に係るカメラにおける表示の一例を示す模式図である。 図２０は、第２の実施形態に係るカメラにおける表示の一例を示す模式図である。 図２１は、第３の実施形態に係る操作ガイドシステムが使用されるときの様子の一例を示す模式図である。 図２２は、第３の実施形態に係る画像ファイルの一例について説明するための図である。 図２３は、第３の実施形態に係る操作ガイドを伴う撮影処理の一例を示すフローチャートである。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。

＜操作ガイドシステムの概要＞
ここでは、本実施形態に係る操作補助システムの概要について、図面を参照して説明する。本実施形態では、操作補助の一例として、操作ガイドが行われる操作補助システムを例として説明をする。以下、操作ガイドが行われる操作補助システムを操作ガイドシステムと記載する。図１は、本実施形態に係る操作ガイドシステム１の構成例の概略を示す模式図である。

本実施形態に係る操作ガイドシステム１は、情報取得装置と、操作記録装置と、操作ガイド装置と、情報端末と、サーバ３００とを含む。つまり、操作補助システムには、情報取得装置と、情報記録装置と、操作補助装置と、情報端末と、サーバ３００とが含まれ得る。

情報取得装置は、ユーザ操作に応じて動作して、情報を取得する電子機器である。情報取得装置は、例えば、デジタルカメラ等の撮像装置、ＩＣレコーダである。情報取得装置では、複雑な手順の操作が要求され得る。

操作記録装置は、情報取得装置におけるユーザの操作と、情報取得装置の取得データとを記録する情報記録装置である。なお、本実施形態に係る操作記録装置は、操作記録部１０として、カメラ１０１に搭載されている。つまり、本実施形態に係るカメラ１０１は、情報取得装置であるとともに操作記録装置であるとも表現できる。なお、操作記録部１０は、情報記録部に含まれる。カメラ１０１は、デジタルカメラである。カメラ１０１は、例えば、撮像機能を有する顕微鏡、内視鏡及びスマートフォン等であってもよい。

カメラ１０１は、ユーザＵ１の操作に応じて被写体像を撮像し、画像データである画像Ｄ１２を生成する。ここで、ユーザＵ１は、複雑な手順の操作を実現できるカメラ１０１のユーザであり、例えば、プロの写真家である。例えばプロの写真家は、所望の画像Ｄ１２を得るために、露出中にピント操作等を行ったりする。また、露光中に複数の操作が行われることもある。操作記録部１０は、画像Ｄ１２の取得時にカメラ１０１に対して行われたユーザＵ１の操作に係る情報を操作履歴として取得する。操作記録部１０は、少なくとも画像Ｄ１２の取得中における操作履歴を操作情報Ｄ１３として取得する。画像Ｄ１２の取得は、指示操作によって開始される。つまり、指示操作部は、例えば、操作／センサ部１４０に含まれる２ｎｄレリーズボタンである。そして、操作情報Ｄ１３は、指示操作と、画像Ｄ１２の取得の間に行われる変更操作との履歴である。変更操作部は、上述の変更操作を取得する操作／センサ部１４０である。操作記録部１０は、画像Ｄ１２と、操作情報Ｄ１３とを関連付けて記録する。このとき、画像Ｄ１２と操作情報Ｄ１３とを含む画像ファイルＤ１が生成される。このように、以下の説明では、主に情報取得中の操作履歴が操作情報Ｄ１３として取得される場合を例として記載するが、これに限らない。操作情報Ｄ１３は、情報取得の前後に取得された操作履歴が含まれていてもよい。

この操作／センサ部１４０は、機械的なスイッチに限らない。最近の機器は、必ずしも機械的なスイッチによって操作が行われるものに限らず、ユーザの様々なジェスチャや状況判断によって操作が行われることを前提としたものもある。例えば、姿勢センサ、加速度センサ、ジャイロセンサ、距離センサ又は画像を判定するためのセンサ等の出力等を代用しても機器の操作は可能となる。このため、操作／センサ部１４０として、これらセンサのうち何れか又は複数が用いられればよい。

その他、他の機器又はアクセサリを装着したり、他の機器又はアクセサリと連携したりして情報取得がなされた場合、「これがないとこの撮影はできない」、という情報は貴重である。カメラを例とした場合、他の機器又はアクセサリとして三脚及び照準器があり得る。他の機器又はアクセサリが使われたかどうかは、通信部で判定されてもよいし、操作／センサ部１４０で判定されてもよい。例えば、鳥の撮影では、長焦点のレンズ又は望遠レンズが使われるが、視野が狭くなるので対象物が見つけにくいという問題がある。このような場合、照準器を使うことで対策が可能であるが、それを知らないユーザは多い。また、照準器を確認してから、カメラの背面に設けられた表示部又は接眼式の電子ビューファインダで、実際にカメラで撮影される画像も確認してから撮影するような技法は、本願のような工夫をしないと初心者に伝えることが困難である。ここで書いた背面表示部を見たか、接眼式ファインダを使ったか等も、専門家の使い方が分かった方が初心者の参考になる。例えば、専門家が何れの場所で画像を確認していたかは、どちらに画像が表示されているかによって判定が可能である。こうした表示切換があったかどうかも操作の判定の一つとなる。

画像ファイルＤ１は、カメラ１０１から情報端末へ送信される。ここで、情報端末は、スマートフォン、タブレットＰＣ等の電子機器である。なお、本実施形態では、情報端末は、スマートフォン２００であるとする。スマートフォン２００は、インターネット５００を介して、サーバ３００へ画像ファイルＤ１を送信する。

サーバ３００に送信された画像ファイルＤ１等の画像ファイルは、ガイド情報として、サーバ３００に蓄積される。ガイド情報は、操作ガイドに用いられる情報であり、操作補助データの一例である。ガイド情報は、例えば、撮影条件、被写体種別等に基づいて分類され、分類毎にサーバ３００の備えるガイド情報ＤＢ（データベース）３３１に蓄積される。図１には、一例として、撮影シーン毎にガイド情報が分類されて蓄積されている場合が示されている。図１に示すガイド情報ＤＢ３３１は、花火撮影用のガイド情報３３１ａと、電車撮影用のガイド情報３３１ｂと、スポーツ撮影用のガイド情報３３１ｃとを含む。

このようにしてサーバ３００に蓄積されたガイド情報は、ユーザＵ２によって参照される。ここで、ユーザＵ２は、ガイド情報を参考にして、複雑な手順の操作を実現しようと図るカメラ１０２のユーザである。ユーザＵ２は、情報端末であるスマートフォン２００を操作し、インターネット５００を介して、サーバ３００のガイド情報ＤＢ３３１にアクセスする。例えば、ユーザＵ２は、花火を撮影したいときには、花火撮影用のガイド情報３３１ａを閲覧する。このとき、スマートフォン２００の表示部２７０には、図１に示すように、サーバ３００に蓄積されているガイド情報を示すサムネイル画像が表示される。

例えば、ユーザＵ２は、撮りたいイメージに合うサムネイル画像Ｄ１１を選択し、画像Ｄ１２と操作情報Ｄ１３とを確認する。また、ユーザＵ２は、確認した画像Ｄ１２のような画像を撮りたいときには、画像Ｄ１２に対応するガイド情報を、操作ガイド装置へ送信させる。もちろん、手動選択に限らず、装置が予め判定して記録しておいたユーザの嗜好等を分析して、Ｄ１１に相当するものが自動で選択されてもよい。また、証拠写真等は、ユーザの嗜好ではなく、状況が正しく記録されるような点が重要な場合がある。

本願に係る操作補助は、特定用途に対し、求められる仕様を満たした画像にするための操作ガイド、撮影対処ガイド、撮影態様ガイド、機器取り扱いガイドであってもよい。この場合は、必ずしもサムネイル画像ではなく、サムネイル画像に代わるものを、その対象物又は記録目的から選択できるようにしてもよい。この場合、「どのように撮る」というアドバイスは、「何々が見えるように」とか「画面の中心になるように」といった文字アドバイスが一般的である。このようなとき、ユーザは、その目的にかなうように、対象物に近づいたり遠ざかったり、横にずれたり、角度を変えたりと、いろいろな対処をする。ユーザに対して、より具体的なガイドを行うときには、こうした状況に応じた対処又は態様変化の情報、あるいは求められる画像の質に対する対処又は態様変化の情報が、実際にガイドとなる画像を撮影したときの状況を伝えるには重要である。状況というと撮影者の意志とは異なる要因をも含むが、その状況を考慮した対処、機器取り扱いの過程等の情報が、具体的な行動に反映させる場合に参考となる。

操作ガイド装置は、ユーザＵ２の情報取得装置を用いた情報取得を補助する操作ガイドを行う操作補助装置である。つまり、操作ガイドは、操作補助装置による操作補助の一例である。なお、操作補助装置は、操作補助部として情報取得装置に搭載され得る。操作補助部が設けられた情報取得装置は、操作補助装置とも表現できる。操作補助部は、操作履歴に基づいて操作補助データを出力する。操作補助データは、例えば、操作ガイドのための表示用の画像データ又は音声データである。操作補助データは、例えば、変更操作に伴う情報取得パラメータの時系列データに基づいた情報取得装置の制御パラメータ又は制御プログラムである。情報取得装置では、これら操作補助データに基づいて、操作ガイド等の操作補助が行われる。操作補助では、操作ガイドのための表示用の画像データが表示されたり、操作ガイドのための音声データが再生されたりする。操作補助では、情報取得前に制御パラメータが設定されたり、情報取得中に制御パラメータが更新されたりする。操作補助では、制御プログラムに従った制御が行われたりする。操作ガイド装置は、スマートフォン２００を介して、サーバ３００に蓄積されているガイド情報を受信する。操作ガイド装置は、情報取得装置のユーザ操作に係る情報をユーザに提供する。なお、本実施形態に係る操作ガイド装置は、操作ガイド部２０として、カメラ１０２に搭載されている。つまり、本実施形態に係るカメラ１０２は、情報取得装置であるとともに操作ガイド装置であるとも表現できる。なお、操作ガイド部２０は、操作補助部に含まれる。

カメラ１０２は、操作ガイドにおいて、ガイド情報に含まれる画像Ｄ１２と、操作情報Ｄ１３とを表示する。カメラ１０２は、操作ガイドにおいて、操作情報Ｄ１３の概要を表示してもよいし、操作手順を表示してもよい。また、表示の代わりに又は表示とともに、音声によって操作情報Ｄ１３がユーザに提示されてもよい。また、カメラ１０２は、操作ガイドにおいて、操作情報Ｄ１３を制御に反映させてもよい。例えば、カメラ１０２は、操作情報Ｄ１３に従って、各種制御パラメータの値を設定する。例えば、カメラ１０２は、各種パラメータを設定するための設定画面を、操作情報Ｄ１３の操作手順に従って表示する。

このように、本実施形態に係る操作ガイドシステム１は、撮影時の操作情報と、撮影によって取得された画像とを関連付けてガイド情報として記録する。ガイド情報は、類似条件毎に分類して蓄積される。蓄積されたガイド情報は、ユーザの撮影補助に使用される。

つまり、ユーザＵ１は、本実施形態に係る操作ガイドシステム１を使用すれば、容易にガイド情報を記録できる。このため、ユーザＵ１は、複雑な操作、撮影中の操作等を要する撮影における操作方法を、簡単にユーザＵ２に教えることができる。また、ユーザＵ２は、本実施形態に係る操作ガイドシステム１を使用すれば、撮りたいイメージの画像Ｄ１２が、どのような操作によって撮影できるのかを簡単に把握できる。ユーザＵ２は、撮影前の各種パラメータ設定に限らず、撮影中に行われた操作に係る操作情報を参照できる。このため、ユーザＵ２は、複雑な操作、撮影中の操作等を要する撮影であっても、簡単に再現できる。例えば、野鳥の撮影等では、プロ写真家がずっと構えて待って撮ったのか、あるいは構えていなくても撮れたのか、といった情報があるだけで、初心者は心の準備ができたりする。また、短時間に迅速に構図を決める場合、様々な設定操作等の操作を行う場合等には、初心者は訓練が必要である。このような場合でも、情報があれば、初心者は、事前に訓練を行い、撮影に備えることができる。また、こうしたプロ写真家等の操作がプログラム可能であれば、プロ写真家等の操作に係る操作情報によって装置が制御されてもよい。つまり、プログラムされた操作情報に基づいて、カメラ１０２等の装置が自動でユーザ操作を代行してもよい。さらに、カメラ１０１がどのようなアクセサリ又は機器と連携して撮影したかの情報も重要である。また、前述のように、何かの証拠の写真を求められる場合は、その対象物の状況が正しく見て分かる画像になるように、あるいは、特定用途に合致した画像になるように、専門家でも気にして、撮像、撮影時に状況に応じて対処したり、機器を取り扱ったりする。本願に係る技術によれば、操作した要素等が記録されている。つまり、画面中央に捉えようとした過程、乱反射がないように角度を変えようとした過程等が、例えば、画像の変化、加速度センサの出力の変化等として記録されている。このため、操作補助において、その動き等を表示できるようにしておけば、これらを参考にしての極めてきめ細かい対応、対処、機器の取り扱い等を行った撮影が初心者でもできるようになる。

なお、カメラ１０１及びカメラ１０２は、それぞれ、インターネット５００に接続されていてもよい。この場合、カメラ１０１又はカメラ１０２とサーバ３００との間の通信は、スマートフォン２００を介さずに行われてもよい。このように、操作ガイドシステム１又は操作補助システムには、必ずしも携帯端末が含まれていなくてもよい。また、カメラ１０１とカメラ１０２とは、互いに通信できるように構成されていてもよい。この場合、カメラ１０１とカメラ１０２との間の通信によって、ガイド情報が送受信されてもよい。

なお、操作記録部１０は、カメラ１０１とともに用いられるカメラアクセサリの内部に設けられていてもよい。カメラアクセサリは、例えば、交換レンズ、ストロボ、水中ハウジング等である。このとき、操作記録部１０を備えるカメラアクセサリは、操作記録装置として表現できる。同様に、操作ガイド部２０は、カメラ１０２とともに用いられるカメラアクセサリの内部に設けられていてもよい。このとき、操作ガイド部２０を備えるカメラアクセサリは、操作情報に基づいて操作ガイドを行う操作ガイド装置として動作してもよい。この場合、特殊な用途、限られた用途に用いられるカメラアクセサリであっても、容易に、操作手順等がユーザ間で共有される。また、予め操作情報が記録されているカメラアクセサリであれば、ユーザは、カメラアクセサリを購入したときから、複雑な操作手順、不慣れな操作手順を要する操作があっても、容易にカメラアクセサリを使用して撮影ができる。アクセサリが照明の場合は、操作情報には、特殊光観察であったか、専用光源を使ったか等の情報が含まれる。

また、操作記録部１０又は操作ガイド部２０は、カメラ１０１又はカメラ１０２に限らず、例えば、撮影機能を有する顕微鏡や、医療用又は工業用の内視鏡に搭載されていてもよい。本実施形態に係る技術は、情報取得時の操作が、複雑であったり、習熟が必要であったりするときに有用である。

また、操作記録部１０が操作情報とともに記録する情報は、静止画像に限らない。操作記録部１０は、動画と操作情報とを関連付けて記録してもよい。この場合、指示操作は、動画撮影の開始を指示する操作であり、変更操作は、動画撮影中に行われる各種のユーザ操作である。また、操作情報は、少なくとも動画取得中の変更操作に係る操作履歴を含む。操作記録部１０は、音声と操作情報とを関連付けて記録してもよい。つまり、操作記録部１０及び操作ガイド部２０は、収音対象によって音質や指向性が調整されるＩＣレコーダ等に搭載されていてもよい。

なお、カメラ１０１及びカメラ１０２は、それぞれ、筐体の動きを検出するセンサを備えていてもよい。この場合、ユーザ操作に伴うカメラ１０１の筐体の動きも操作情報として取得され得る。こうしたものも操作の一部に含まれるべきである。単にパラメータを変更するだけでは、構図、対象物の角度又は姿勢及び表情等を含む観点から良好と言える画像取得はできない。したがって、こうした対象物と装置との位置関係の変化等も操作情報として取り扱われることが重要である。つまり、操作情報は、撮像時の対処、情報取得の態様又は機器の取り扱いを含むと表現できる。こうした対処の変化又は態様変化に係る情報がある場合、カメラ１０２は、カメラ１０２の筐体の動かし方をユーザに提示してもよいし、操作情報とカメラ１０２の筐体の動きとを比較してもよく、それを用いた移動装置との連携を行ってもよい。操作情報とカメラ１０２の筐体の動きとが比較された結果は、ユーザＵ２に通知されたり警告されたりし得る。「態様」、「対処」及び「取り扱い」という言葉をあえて使う以外に、これらを総称して、より一般的な「操作」という書き方をしてもよい。

なお、操作記録部１０は、カメラ１０１と通信可能に構成されていれば、カメラ１０１の外部にあってもよい。このとき、操作記録部１０は、操作記録装置として単体で存在していてもよい。同様に、操作ガイド部２０は、カメラ１０２と通信可能に構成されていれば、カメラ１０２の外部にあってもよい。このとき、操作ガイド部２０は、操作ガイド装置として単体で存在していてもよい。また、操作記録装置及び操作ガイド装置は、スマートフォン等の情報端末の動作を制御するためのコンピュータプログラムとして用意されていてもよい。

なお、操作記録装置及び操作ガイド装置は、同一の電子機器の内部に設けられていてもよいし、それぞれ異なる電子機器の内部に設けられていてもよい。例えば、操作記録部１０を備えるカメラ１０１は、操作ガイド部２０をさらに備えていてもよい。例えば、操作ガイド部２０を備えるカメラ１０２は、操作記録部１０をさらに備えていてもよい。つまり、ユーザＵ２が使用するカメラ１０２は、ユーザＵ１が使用するカメラ１０１と同じであってもよいし、異なっていてもよい。

＜操作ガイドシステムの構成＞
ここでは、本実施形態に係る操作ガイドシステム１の構成について、図面を参照して説明する。以下、操作ガイドシステム１が、カメラ１００と、スマートフォン２００と、サーバ３００とを含む場合を例として説明する。カメラ１００は、操作記録装置及び操作ガイド装置としての機能を有する情報取得装置である。つまり、カメラ１００は、上述のカメラ１０１及びカメラ１０２であると表現できる。スマートフォン２００は、情報端末である。

図２は、本実施形態に係るカメラ１００の構成例の概略を示すブロック図である。図２に示すように、本実施形態に係るカメラ１００は、操作記録部１０を備える。また、本実施形態に係るカメラ１００は、操作ガイド部２０をさらに備える。

図２に示すように、カメラ１００は、カメラ制御部１１０と、画像処理部１１９と、時計部１２０と、カメラ記録部１３１と、カメラ仮記録部１３２と、操作／センサ部１４０と、撮像部１５０と、通信部１６０と、表示部１７０とを備える。

カメラ制御部１１０は、カメラ１００の各部の動作を制御する。カメラ制御部１１０は、操作履歴取得部１１１と、操作情報取得部１１３と、記録制御部１１４と、通信制御部１１７と、表示制御部１１８としての機能を有する。操作履歴取得部１１１は、時計部１２０及び操作／センサ部１４０の出力に基づいて、ユーザ操作に係る情報を操作履歴として取得する。操作履歴取得部１１１は、操作判定部１１２としての機能を有する。操作判定部１１２は、時計部１２０及び操作／センサ部１４０の出力に基づいて、何れの操作が行われたか、操作が行われたタイミング等の判定を行う。操作履歴は、ユーザ操作のタイミングを含む。また、操作履歴は、各々の操作の操作量、各々の操作に応じた制御パラメータの値、各々の操作に応じたカメラ１００の動作量等を含んでいてもよい。操作履歴は、ユーザ操作に応じたカメラ１００の傾き、高さ、撮影方向等の変化のタイミング又は変化量を含んでいてもよい。操作情報取得部１１３は、操作履歴取得部１１１の取得した操作履歴に基づいて、操作情報を生成する。操作情報は、少なくとも、撮影中の操作履歴を含む。記録制御部１１４は、カメラ記録部１３１及びカメラ仮記録部１３２への各種情報の記録を制御する。記録制御部１１４は、画像記録制御部１１５と、操作記録制御部１１６としての機能を有する。画像記録制御部１１５は、カメラ記録部１３１への画像データの記録を制御する。操作記録制御部１１６は、カメラ記録部１３１への操作情報の記録を制御する。また、記録制御部１１４は、画像と、画像取得時の操作情報とを関連付けて画像ファイルを生成する。記録制御部１１４は、生成された画像ファイルをカメラ記録部１３１へ記録させる。なお、記録制御部１１４の機能の一部がカメラ記録部１３１に設けられていてもよい。通信制御部１１７は、通信部１６０の通信等の動作を制御する。通信制御部１１７は、カメラ１００で生成された画像ファイル等をスマートフォン２００又はサーバ３００へ送信させる。通信制御部１１７は、スマートフォン２００又はサーバ３００から、画像ファイル等を受信させる。表示制御部１１８は、表示部１７０に表示させる表示情報を生成する。表示制御部１１８は、表示部１７０の動作を制御する。

画像処理部１１９は、画像データに各種画像処理を施す。画像処理部１１９は、カメラ制御部１１０の内部に設けられていてもよい。

時計部１２０は、日付や時刻に係る情報を生成し、カメラ制御部１１０へ出力する。

カメラ記録部１３１には、カメラ１００が取得した情報、カメラ１００の動作に係る情報等の各種情報が記録される。また、カメラ記録部１３１には、カメラ１００の備える各部で用いられるプログラム及びパラメータが記録される。カメラ記録部１３１には、画像ファイルＤ１と、操作履歴Ｈ１とが記録される。画像ファイルＤ１は、サムネイル画像Ｄ１１と、画像Ｄ１２と、操作情報Ｄ１３とを含む。カメラ仮記録部１３２には、カメラ１００の動作時の処理データを含む各種データが一時的に記録される。

操作／センサ部１４０は、ユーザのカメラ１００に対する各種の操作結果を取得するための操作部材を含む。操作／センサ部１４０は、ユーザ操作を取得できる要素であればよく、例えば押しボタン、つまみ、スライダ、ダイヤル、レバー等の機械的な操作部材であってもよいし、タッチパネルであってもよい。なお、操作／センサ部１４０は、時計部１２０の出力を取得して、ユーザ操作のタイミング等の時系列データを、操作記録部１０に出力してもよい。

撮像部１５０は、対象を撮像し、対象に係る画像データを取得する。撮像部１５０は、撮像素子１５１と、光学系１５２と、アクチュエータ１５３と、センサ１５４とを備える。撮像素子１５１は、例えばComplementary Metal-Oxide Semiconductor（ＣＭＯＳ）センサやCharge-Coupled Device（ＣＣＤ）センサであり、受光面に入射した光束を電気信号（画像信号）に変換する。また、撮像素子１５１は、画像信号を増幅し、デジタル化して画像データを生成するといった前処理も行う。光学系１５２は、対象からの光束を撮像素子１５１の受光面上に結像させる。アクチュエータ１５３は、光学系１５２のズームレンズ、フォーカスレンズ等を駆動させる。センサ１５４は、レンズ位置を検出する。

通信部１６０は、カメラ１００が他の機器と通信するための回路を備える。カメラ１００とスマートフォン２００との間の通信は、例えば無線通信である。通信部１６０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信又はＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）通信に対応した通信回路と、Ｗｉ−Ｆｉ（登録商標）通信に対応した通信回路とのうち少なくとも１つを備える。例えば、画像データ、音声データ等の通信には比較的に大容量の通信であるＷｉ−Ｆｉ通信が用いられる。また、制御信号等の通信には比較的に低消費電力の通信であるＢＬＥ通信が用いられる。

なお、サムネイル画像等のデータ容量が小さい画像データは、ＢＬＥ通信によって送受信されてもよい。なお、通信部１６０は、携帯電話通信に対応した通信回路をさらに備えていてもよい。また、カメラ１００とカメラ１００の外部との間の通信は、有線通信であってもよいし、互いにインターネット等の電気通信回線に接続されてインターネット等の電気通信回線を介して行われてもよい。なお、カメラ１００とスマートフォン２００等の間におけるデータの移動は、例えばＵＳＢメモリ、ＳＤ（登録商標）カード、ＣＤ−ＲＯＭ等の操作ガイドシステム１の外部にある記録媒体を介して行われてもよい。

表示部１７０は、表示制御部１１８の生成する表示情報を表示する。表示情報は、画像データ、操作情報を含む。表示部１７０は、例えば液晶ディスプレイ、有機ＥＬディスプレイである。表示部１７０は電子ビューファインダ（ＥＶＦ）としての機能を有する。一般に、接眼部に近接センサを設けることにより、ファインダへの接眼の有無が検出できるため、ユーザは、状況に応じた撮影方法を選択できる。例えば、ファインダへの接眼を検出したと判定された場合はＥＶＦを表示させ、その他の場合は、カメラ背面に設けた表示パネルに表示させる等の方法がある。接眼して行う撮影では、ユーザは画面内に没入できる。一方で、背面パネルを見ながら行う撮影では、ユーザは画面外の動き等を察知しやすくなる。このような中、良い画像を取得する際、専門家が、このどちらを使ったかの情報も、初心者にとっては参考になる。必要に応じて、外部の機器に設けられた表示部が用いられて撮影が行われることもある。こうした外部の表示部を含めた表示設定もまた重要な操作情報であることは言うまでもない。図１の花火等も、カメラ１００が三脚に乗せられて撮影されたか否か及びどの表示部が用いられて撮影されたかが気になるシーンであると言える。例えば、手振れがないようにするために、カメラを三脚に乗せて撮影が行われている場合がある。また、例えば、カメラを触らなくてよいように、外部モニタを使った撮影が行われている場合がある。つまり、使用されたアクセサリの情報及び表示の方法の切り替えに係る情報もまた、操作履歴等として考えることができる。

なお、本実施形態に係る操作記録部１０は、例えば、カメラ制御部１１０の操作履歴取得部１１１、操作情報取得部１１３及び記録制御部１１４としての機能と、時計部１２０と、カメラ記録部１３１とを備える。また、本実施形態に係る操作ガイド部２０は、例えば、カメラ制御部１１０の表示制御部１１８としての機能と、画像処理部１１９と、カメラ記録部１３１と、表示部１７０とを備える。

図３は、本実施形態に係るスマートフォン２００の構成例の概略を示すブロック図である。図３に示すように、スマートフォン２００は、スマートフォン制御部２１０と、時計部２２０と、スマートフォン記録部２３０と、操作部２４０と、機器通信部２６１と、ネットワーク通信部２６２と、表示部２７０とを備える。

スマートフォン制御部２１０は、スマートフォン２００の各部の動作を制御する。スマートフォン制御部２１０は、記録制御部２１１と、通信制御部２１２と、表示制御部２１３としての機能を有する。記録制御部２１１は、スマートフォン記録部２３０への各種情報の記録を制御する。記録制御部２１１は、カメラ１００又はサーバ３００から受信した画像ファイル等をスマートフォン記録部２３０へ記録させる。なお、記録制御部２１１の機能の一部がスマートフォン記録部２３０に設けられていてもよい。通信制御部２１２は、機器通信部２６１及びネットワーク通信部２６２の通信等の動作を制御する。表示制御部２１３は、表示部２７０に表示させる表示情報を生成する。表示制御部２１３は、表示部２７０の動作を制御する。

時計部２２０は、日付や時刻に係る情報を生成し、スマートフォン制御部２１０へ出力する。

スマートフォン記録部２３０には、スマートフォン２００が取得した情報、スマートフォン２００の動作に係る情報等の各種情報が記録される。また、スマートフォン記録部２３０には、スマートフォン２００の備える各部で用いられるプログラム及びパラメータが記録される。スマートフォン記録部２３０には、カメラ１００又はサーバ３００から取得された画像ファイルＤ１、画像ファイルＤ２等の複数の画像ファイルが記録され得る。スマートフォン記録部２３０には、スマートフォン２００の動作時の処理データを含む各種データが一時的に記録されてもよい。

操作部２４０は、ユーザのスマートフォン２００に対する各種の操作結果を取得するための操作部材を含む。操作部２４０は、ユーザ操作を取得できる要素であればよく、例えば押しボタン、つまみ、スライダ、ダイヤル、レバー等の機械的な操作部材であってもよいし、タッチパネルであってもよい。

機器通信部２６１は、スマートフォン２００がカメラ１００と通信するための回路を備える。機器通信部２６１は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信又はＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）通信に対応した通信回路を備える。

ネットワーク通信部２６２は、スマートフォン２００がインターネット５００を介して、サーバ３００と通信するための回路を備える。ネットワーク通信部２６２は、例えば、Ｗｉ−Ｆｉ（登録商標）通信に対応した通信回路を備える。

なお、スマートフォン２００は、携帯電話通信に対応した通信回路をさらに備えていてもよい。また、スマートフォン２００とスマートフォン２００の外部との間の通信は、有線通信であってもよいし、互いにインターネット等の電気通信回線に接続されてインターネット等の電気通信回線を介して行われてもよい。

表示部２７０は、表示制御部２１３の生成する表示情報を表示する。表示情報は、画像データ、操作情報を含む。表示部２７０は、例えば液晶ディスプレイ、有機ＥＬディスプレイである。

図４は、本実施形態に係るサーバ３００の構成例の概略を示すブロック図である。図４に示すように、サーバ３００は、サーバ制御部３１０と、サーバ記録部３３０と、通信部３６０とを備える。

サーバ制御部３１０は、サーバ３００の各部の動作を制御する。サーバ制御部３１０は、アクセス判定部３１１と、表示制御部３１２と、記録制御部３１３と、通信制御部３１４と、機器換算部３１５としての機能を有する。アクセス判定部３１１は、サーバ３００にアクセスがあったか否か、何れの通信機器からアクセスがあったか、アクセスのあった通信相手はサーバ３００へログインする権限を有しているか否か等の判定を行う。表示制御部３１２は、サーバ３００へアクセスのあった通信機器に表示させるために送信する表示情報を生成する。記録制御部３１３は、カメラ１００又はスマートフォン２００から受信した画像ファイル等をサーバ記録部３３０へ記録させる。記録制御部３１３は、受信した画像ファイル等を、カテゴリ毎に分類してガイド情報ＤＢ３３１に記録させる。通信制御部３１４は、通信部３６０の動作を制御する。機器換算部３１５は、機器情報又はアクセサリ情報に基づいて、操作情報に含まれる制御パラメータの値等を換算する。機器情報は、操作記録装置及び操作ガイド装置の装置情報を含む。機器換算部３１５は、操作情報に基づいた制御プログラムの生成を行ってもよい。

サーバ記録部３３０には、サーバ３００が取得した情報、サーバ３００の動作に係る情報等の各種情報が記録される。サーバ記録部３３０には、サーバ３００の動作時の処理データを含む各種データが一時的に記録されてもよい。サーバ記録部３３０には、ガイド情報ＤＢ３３１が設けられている。ガイド情報ＤＢ３３１には、サーバ３００が受信した画像ファイル等が蓄積される。ガイド情報ＤＢ３３１には、画像情報Ｄｉと、操作情報Ｄｏとが設けられている。画像情報Ｄｉには、サムネイル画像Ｄ１１、画像Ｄ１２等の画像データが記録される。操作情報Ｄｏには、操作情報Ｄ１３等が記録される。図１では、画像ファイルＤ１及び画像ファイルＤ２が撮影画像の種類で分類されている場合が例として示されているが、これに限らない。もっと別の分野への応用であれば、画像で分類せず、対象物を文字情報にして検索できるようにする応用例があり得る。また、事故現場の写真及び破損した器物の証拠写真等、必ずしも感性的に訴える画像でない場合は、正確な状況再現ができるような画像が重要である。このため、対象物というよりも、「傷」、「ケガ」、「へこみ」等、対象物の何を記録したかったのかに基づいてガイドが得られる方が良い場合がある。本願はそうした状況をも想定したものであることを明記しておく。

通信部３６０は、サーバ３００がサーバ３００の外部と通信するための回路を備える。つまり、サーバ３００は、通信部３６０を介してインターネット５００に接続されている。

なお、カメラ制御部１１０、画像処理部１１９、スマートフォン制御部２１０及びサーバ制御部３１０は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等の集積回路等を含む。カメラ制御部１１０、画像処理部１１９、スマートフォン制御部２１０及びサーバ制御部３１０は、それぞれ、１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。これら集積回路の動作は、例えばカメラ記録部１３１、スマートフォン記録部２３０又はサーバ記録部３３０や集積回路内の記録領域に記録されたプログラムに従って行われる。

なお、カメラ記録部１３１、スマートフォン記録部２３０及びサーバ記録部３３０は、例えばハードディスク、フラッシュメモリ等の不揮発性メモリである。カメラ仮記録部１３２は、例えば、Static Random Access Memory（ＳＲＡＭ）やDynamic Random Access Memory（ＤＲＡＭ）のような揮発性メモリである。カメラ記録部１３１、スマートフォン記録部２３０及びサーバ記録部３３０は、揮発性メモリをさらに有していてもよい。また、カメラ記録部１３１、カメラ仮記録部１３２、スマートフォン記録部２３０及びサーバ記録部３３０は、それぞれ、１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。また、操作ガイドシステム１の外部にあるデータサーバ等が、そのメモリの一部として利用されてもよい。

＜操作ガイドシステムの動作＞
ここでは、本実施形態に係る操作ガイドシステム１の動作について、図面を参照して説明する。ここで、操作ガイドシステム１は、操作補助システムの一例である。つまり、以下の操作ガイドシステム１の動作は、情報記録方法及び操作補助方法の一例を示すものである。情報記録方法は、操作記録方法及び画像記録方法を含み、操作補助方法は、操作ガイド方法を含む。図５は、本実施形態に係るカメラ制御処理の一例を示すフローチャートである。以下の処理は、例えばカメラ１００の電源がオンとされている状態で開始される。

ステップＳ１０１において、カメラ制御部１１０は、撮影モードが選択されたか否かを判定する。本判定は、例えば、操作／センサ部１４０又は通信部１６０の出力に基づいて行われる。処理は、撮影モードが選択されたと判定された場合はステップＳ１０２へ進み、判定されなかった場合はステップＳ１０７へ進む。

ステップＳ１０２において、カメラ制御部１１０は、操作記録を行うか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。ユーザは、例えば、カメラ１００を用いて操作手順等を記録したいとき、自身の操作と操作情報とを比較して撮影の練習をしたいとき等に、操作記録を行うことを指示する操作を行う。処理は、操作記録を行うと判定された場合はステップＳ１０３へ進み、判定されなかった場合はステップＳ１０４へ進む。

ステップＳ１０３において、カメラ制御部１１０は、操作記録を伴う撮影処理を実行する。操作記録を伴う撮影処理の詳細は後述する。処理は、操作記録を伴う撮影処理が終了した後、ステップＳ１１１へ進む。

ステップＳ１０４において、カメラ制御部１１０は、撮影モードで操作ガイドを行うか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。ユーザは、例えば、操作情報を参考にして撮影したいとき等に、撮影モードで操作ガイドを行うことを指示する操作を行う。処理は、操作ガイドを行うと判定された場合はステップＳ１０５へ進み、判定されなかった場合はステップＳ１０６へ進む。

ステップＳ１０５において、カメラ制御部１１０は、操作ガイドを伴う撮影処理を実行する。操作ガイドを伴う撮影処理の詳細は後述する。処理は、操作ガイドを伴う撮影処理が終了した後、ステップＳ１１１へ進む。

ステップＳ１０６において、カメラ制御部１１０は、通常の撮影処理を実行する。通常の撮影処理では、ユーザ操作に応じて、各種パラメータの設定が行われたり、撮影が行われたりする。なお、通常の撮影処理は、ユーザ操作に応じて、操作ガイドを伴う撮影処理又は操作記録を伴う撮影処理へ移行できるように構成されていてもよい。処理は、通常の撮影処理が終了した後、ステップＳ１１１へ進む。

ステップＳ１０７において、カメラ制御部１１０は、再生モードが選択されたか否かを判定する。本判定は、例えば、操作／センサ部１４０又は通信部１６０の出力に基づいて行われる。処理は、再生モードが選択されたと判定された場合はステップＳ１０８へ進み、判定されなかった場合はステップＳ１１１へ進む。

ステップＳ１０８において、カメラ制御部１１０は、再生モードで操作ガイドを行うか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。ユーザは、例えば、記録した操作情報を確認したいとき、操作情報を参照したいとき、再生モードで操作ガイドを行うことを指示する操作を行う。処理は、操作ガイドを行うと判定された場合はステップＳ１０９へ進み、判定されなかった場合はステップＳ１１０へ進む。

ステップＳ１０９において、カメラ制御部１１０は、操作ガイドを伴う再生処理を実行する。操作ガイドを伴う再生処理の詳細は後述する。処理は、操作ガイドを伴う再生処理が終了した後、ステップＳ１１１へ進む。

ステップＳ１１０において、カメラ制御部１１０は、通常の再生処理を実行する。通常の再生処理では、ユーザ操作に応じて、各種パラメータの設定が行われたり、カメラ記録部１３１に記録されている各種コンテンツの再生が行われたりする。なお、通常の再生処理は、ユーザ操作に応じて、操作ガイドを伴う再生処理へ移行できるように構成されていてもよい。処理は、通常の再生処理が終了した後、ステップＳ１１１へ進む。

ステップＳ１１１において、カメラ制御部１１０は、通信を行うか否かを判定する。本判定は、例えば、操作／センサ部１４０又は通信部１６０の出力に基づいて行われる。本判定では、通常の撮影処理及び再生処理、操作ガイドを伴う撮影処理及び再生処理又は操作記録を伴う撮影処理においてスマートフォン２００又はサーバ３００へ画像ファイル等を送信すると判定された場合に通信を行うと判定される。また、本判定では、スマートフォン２００から制御信号又は画像ファイルを受信した場合に通信を行うと判定される。処理は、通信を行うと判定された場合はステップＳ１１２へ進み、判定されなかった場合はステップＳ１０１へ戻る。

ステップＳ１１２において、カメラ制御部１１０は、通信処理を実行する。通信処理では、通信先の設定等の各種通信に係る設定が行われる。通信処理では、カメラ１００で取得された画像、生成された画像ファイル等がスマートフォン２００又はサーバ３００へ送信される。このとき、ユーザ入力等に応じて、画像ファイルにタイトルやタグが添付されてもよい。通信処理では、スマートフォン２００から、画像ファイル等が受信される。カメラ制御部１１０は、受信した画像ファイル等をカメラ記録部１３１に記録させる。処理は、通信処理の終了後、ステップＳ１０１へ戻る。

（操作記録を伴う撮影処理）
ここで、本実施形態に係るカメラ制御処理のステップＳ１０３で実行される操作記録を伴う撮影処理について、図面を参照して説明する。図６は、本実施形態に係る操作記録を伴う撮影処理の一例を示すフローチャートである。図６に示す処理は、操作記録装置として機能するカメラ１００の動作又は操作記録部１０の動作であると表現できる。

ステップＳ２０１において、カメラ制御部１１０は、時間計測を開始する。カメラ制御部１１０は、撮像部１５０にライブビュー（ＬＶ）用の撮像をさせ、ＬＶ表示を開始させる。

ステップＳ２０２において、カメラ制御部１１０は、パラメータ操作が行われたか否か、アクセサリ情報が入力又は取得されたか否か及び注意事項等の入力が行われたか否かを判定する。これらの判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。つまり、操作記録部１０の操作履歴取得部１１１は、操作／センサ部１４０の出力を取得する。操作履歴取得部１１１の操作判定部１１２は、パラメータ操作の種類、タイミングを判定する。処理は、パラメータ操作が行われた、アクセサリ情報が入力又は取得された又は注意事項等の入力が行われたと判定された場合はステップＳ２０３へ進み、判定されなかった場合はステップＳ２０５へ進む。ステップＳ２０３において、カメラ制御部１１０は、パラメータ操作に応じて制御パラメータの値を設定又は更新する。ステップＳ２０４において、カメラ制御部１１０は、パラメータ操作が行われたタイミング等を操作履歴として記録する。カメラ制御部１１０は、入力又は取得されたアクセサリ情報を更新する。カメラ制御部１１０は、入力された注意事項等を記録する。つまり、操作記録部１０では、操作履歴取得部１１１によって取得されたユーザ操作に係る情報の時系列データが操作履歴として記録される。ステップＳ２０５において、カメラ制御部１１０は、撮像部１５０にＬＶ用の撮像をさせ、ＬＶ表示を更新する。なお、本ステップで表示される画像データは、現在の各制御パラメータの設定が反映された画像データである。

ここで、パラメータ操作は、撮影に係る制御パラメータを設定したり更新したりするユーザ操作である。パラメータ操作は、シャッタースピードを設定するための操作、ズーム操作、ピント操作、絞り操作等を含む。また、アクセサリ情報は、カメラアクセサリの着脱があったとき、カメラアクセサリの設定が変更されたとき等に、更新されたと判定される。ここで、カメラアクセサリは、カメラ１００とともに撮影に用いられる周辺機器である。例えば、ユーザは、表示部１７０に表示されたアクセサリ選択画面からアクセサリ情報を入力する。なお、アクセサリ情報は、カメラ１００と、カメラ１００に接続されたカメラアクセサリとの間の通信によって取得されてもよい。

ここで、図７は、本実施形態に係る操作履歴の一例について説明するための図である。図７には、操作履歴として、露出に係る操作と、ズーム操作と、ピント操作と、絞り操作との各々のタイミングが記録される場合が例として示されている。図７に示すように、操作履歴は、各々のパラメータ操作が行われたタイミングを示す時系列データであり、各々のパラメータ操作が行われた順序又は操作時間の情報を含む。図７の操作履歴のデータは、ズーム操作と、ピント操作と、絞り操作との各々の操作の有無を示す３ビットのデータである。例えば、ズーム操作及びピント操作が行われていない、かつ、絞り操作が行われているタイミングで取得される操作履歴のデータは、００１と記録される。

なお、操作の数の増減によって操作履歴のデータのビット数は増減される。操作履歴のデータは、露出操作の有無をさらに示す４ビットのデータであってもよい。例えば、露出が開始され、ズーム操作、ピント操作及び絞り操作が行われていないタイミングで取得される操作履歴のデータは、１０００と記録され得る。ここでは、もっとも単純に操作があったかどうかを示した。この場合、露出が開始されたタイミングの前後の操作履歴のデータは、１つの時系列データとして記録されていてもよいし、分割された時系列データとして記録されていてもよい。

なお、操作履歴は、各々のパラメータ操作におけるユーザの操作量又は各々のパラメータ操作に応じたカメラ１００の動作量の時間変化を含んでいてもよい。これらのパラメータは、数値又はその変化をそのまま縦軸にして、横軸を時間にしたグラフのように記録してもよい。また、操作履歴は、撮影者のカメラの取り扱い、対象物へのアプローチの仕方、各々のパラメータ操作の値、操作時間、操作量又は動作量の累積値を含んでいてもよい。撮影者のカメラの取り扱い又は対象物へのアプローチの仕方は、撮像時の対処、操作の態様等と呼んでもよい。つまり、操作履歴は、複数のユーザ操作の時間的な関係に限らず、ユーザ操作に伴うカメラ１００の動作とユーザ操作との時間的な関係であるとも表現できる。例えば、操作履歴は、２ｎｄレリーズ操作に伴いカメラ１００が露出を開始する動作タイミングと、２ｎｄレリーズ操作以外のユーザ操作の操作タイミングとの時間的な関係を含むと表現できる。

パラメータは、数値情報で規格化されたものが多いが、取り扱い、姿勢及び対処の方法のいくつかは、規格化されていない。このため、特定の加速度の変化又は推移、画像情報の変化又は推移等の生データが、センサの種類又は仕様とともに記録されていてもよい。これらの生データは、ユーザに伝えるための言葉に変換されて、記録されたりユーザに伝えられたりしてもよい。また、これらの生データは、信号に変換するデータベース等を使って異なる形に変換されて、記録されたりユーザに伝えられたりしてもよい。パラメータに変化があったかどうかが１又は０で記録されてもよい。この場合でも、どのようなパラメータ、操作又は取り扱いにユーザが最も気をかけたかを知ることができる。例えば、１になっている時間の最も長い項目が表示されてもよい。この場合の例としては、撮影前に左右に動きました、撮影前に近づいたり遠ざかったりしました、構図を決めるのに１０秒かかりました等の表示又は音声によるガイドでもよい。電源が操作されてからずっと、こうしたログが取られ続けて、その結果が撮影時点に相当するタイミングとの相対的な値に変換しなおされて画像に記録されてもよい。ここで、ログが取られ続けるとは、例えば各種項目の検出と記録とが繰り返されている状態を示す。もちろん、電源操作がなくとも検出だけはしておいてもよいが、持ち運んでいるときと構えたときとの間では情報が混在しない方がよい。このため、ログは、カメラが構えられてから取得された情報に絞って記録されてもよい。

ここで、レリーズ操作については、必ずしもメカニカルなものである必要はない。すなわち、レリーズ操作は、レリーズボタンを押下するユーザ操作に限らない。レリーズ操作は、様々な撮像トリガによって代用され得る。レリーズ操作に代わる撮像トリガは、例えば、特別なセンサで判定されたユーザのジェスチャであってもよいし、撮像部１５０で画像が判定された結果であってもよいし、生体情報が参照された結果であってもよい。

また、常に画像が記録されている状態において、その中から特定の画像が選択されるような用途に対しても、本願は有効である。つまり、情報取得の開始又は終了を指示する指示操作部は、撮影した画像等から特定の画像を選ぶような指示を行う操作部でもよい。このような操作部がないと、特定の画像や情報が選択できないという意味で、このような操作部は重要である。

また、撮像時等の情報取得時に何らかの操作が行われると、取得される情報は変化し得る。すなわち、いかなる操作があったかによって取得される情報が変化するため、いかなる操作があったかが分からないと正しい情報が取得できない。このため、情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部が情報取得装置に設けられている場合、情報記録装置には、前記変更操作の時系列操作データを操作履歴として取得する操作履歴取得部が設けられている。つまり、情報取得結果と上記時系列操作データとを関連付けて記録する記録部をさらに備えることで、情報記録装置は、撮影又は情報取得に関わるパラメータ変化を証拠として残すことができる。このような証拠データがあれば、情報取得時の操作を再現させることができる。例えば、自動で同じような情報取得を証拠データに基づいて再現させることができる。また、例えば、ロボットのようなものに証拠データに基づいて同様の操作を行わせる応用ができる。また、変更操作の時系列データは、固定のタイミングで取得される。したがって、操作履歴には、操作が行われている間のパラメータ変化に限らず、操作が行われなかったタイミング及び操作が行われなかった時間の情報が含まれ得る。この観点からも、証拠データ等の操作履歴に基づいた制御によってロボット等が情報取得を再現するときに、固定タイミング毎に取得された時系列データが有用であると言える。なお、この記載は、変更操作の時系列データが、操作が行われる毎に取得される等、可変のタイミングで取得されることを妨げるものではない。

ステップＳ２０６において、カメラ制御部１１０は、撮影操作が行われたか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。本判定では、例えば、ユーザの２ｎｄレリーズボタンの押下を検知したときに撮影操作が行われたと判定される。処理は、撮影操作が行われたと判定された場合はステップＳ２０７へ進み、判定されなかった場合はステップＳ２０２へ戻る。

なお、ここで撮影操作と書いた部分は、従来のように特定のスイッチ機構を手で操作して行うような操作のみを想定しているのではない。撮影操作は、様々な撮影トリガによって代用され得る。例えば、ユーザの生体情報等を撮影トリガとして利用して画像取得が行われてもよい。例えば、撮像中の画像変化が撮影トリガとして用いられてもよい。あるいはその他センサによる要因変化を撮影トリガとして利用した撮影タイミング決定制御でもよい。また、ユーザの意図を汲んだタイミングの画像が取得できるのであれば同様の画像取得が行われると言える。このことから、「撮影操作」は、「画像選択」といった言い方もできる。例えば、複数枚の候補の画像を自動で撮影しておき、その中から特定の画像を選択する用途もある。ユーザの操作が間に合わない場合は、このような方法は有効である。例えば、専門家が連写のような撮り方で撮影したものを、初心者が１回の撮影操作で再現することは困難であり、これはガイドに値する内容であると言える。つまり、本願はこうした画像取得方式も想定している。ただし、本実施形態では、説明の単純化のために撮影操作と記載している。

ステップＳ２０７において、カメラ制御部１１０は、撮像部１５０に記録用の撮像を開始させる。つまり、撮像部１５０は、露出を開始する。カメラ制御部１１０は、時間計測を開始し、露出開始から経過した時間を計測する。また、カメラ制御部１１０は、図７に示すように、露出が開始されたタイミングを操作履歴として記録する。露出が開始されたタイミングは、撮影タイミングと表現されてもよい。ステップＳ２０８において、カメラ制御部１１０は、ステップＳ２０２と同様にして、パラメータ操作等が行われたか否かを判定する。なお、露出中に行われ得るズーム操作、ピント操作及び絞り操作は、変更操作に含まれる。このとき、露出は、指示操作に基づく制御である。また、指示操作は、露出の開始を指示する操作であって、露出の終了を指示する操作を含んでいてもよい。つまり、例では、指示操作は、撮影操作に対応している。なお、指示操作が行われたタイミングは、指示タイミングと表現される。処理は、パラメータ操作等が行われたと判定された場合はステップＳ２０９へ進み、判定されなかった場合はステップＳ２１１へ進む。ステップＳ２０９において、カメラ制御部１１０は、ステップＳ２０３と同様にして、ユーザ操作等に応じて制御パラメータの値を更新する。ステップＳ２１０において、カメラ制御部１１０は、ステップＳ２０４と同様にして、図７に示すように、パラメータ操作等が行われたタイミング等を記録する。なお、露出中の操作履歴は、露出前の操作履歴とは分けて記録されてもよい。ステップＳ２１１において、カメラ制御部１１０は、撮影を終了するか否かを判定する。本判定は、シャッタースピードの設定及び露出開始から経過した時間に基づいて行われる。処理は、撮影を終了すると判定された場合はステップＳ２１２へ進み、判定されなかった場合はステップＳ２０８へ戻る。

ここでは、情報取得結果である画像とともにパラメータ操作が記録される場合を例として説明したが、これに限らない。適切な操作補助のためには、カメラの構え方及び画像へのアクセス又はアプローチを含めた情報を操作履歴として取得した方が良い場合もあり得る。カメラの構え方及び画像へのアクセス又はアプローチは、撮影に対するユーザの対処であると表現できる。これらの対処に係る情報が、撮影の前後又は撮影して後から選択された画像の前後に、どのような変化をしたかによって撮影の仕方の特徴が分かり、的確なガイド等の操作補助ができる。つまり、この画像取得装置は、取得した画像を選択する選択部と、上記情報の取得のための対処を判定する対処判定部とを具備する。このような画像取得装置において、画像記録装置は、操作履歴取得部と、記録部とを備える。操作履歴取得部は、選択された画像が取得されたタイミングで行われた対処と、その対処が行われた又は起こったタイミングとの時系列操作データを操作履歴として取得する。記録部は、前記画像取得結果と操作履歴とを関連付けて記録する。このような画像記録装置であれば、ユーザが何にこだわりを持って撮影したかの証拠情報を得ることができる。なお、画像記録装置は、画像記録部として、画像取得装置に搭載され得る。つまり、画像記録装置は、画像記録部が設けられた画像取得装置であるとも表現できる。ここで、画像取得装置は情報取得装置の一例であり、画像記録装置は情報記録装置の一例であり、画像記録部は情報記録部の一例である。

ステップＳ２１２において、カメラ制御部１１０は、ステップＳ２０７乃至ステップＳ２１１の間に行われた露出によって得られた画像データをカメラ記録部１３１に記録させる。このとき、カメラ制御部１１０は、画像処理部１１９に、記録用の画像処理と、サムネイル生成用の画像処理とを施させる。また、カメラ制御部１１０の操作情報取得部１１３は、記録されている操作履歴から操作情報を抽出する。操作情報として、少なくとも露出中の操作履歴が抽出される。つまり、操作記録部１０の操作情報取得部１１３は、少なくとも情報取得中に記録されたユーザ操作に係る情報の時系列データを操作情報として取得する。カメラ制御部１１０は、画像と、サムネイル画像と、操作情報とをファイル化して画像ファイルを生成し、画像ファイルをカメラ記録部１３１に記録させる。つまり、操作記録部１０のカメラ記録部１３１は、情報取得によって得られた取得データである画像と、操作情報とを関連付けて記録する。なお、本ステップにおいて、画像ファイル等をスマートフォン２００又はサーバ３００へ送信するか否かをユーザが選択できるように構成されていてもよい。

ここで、図８は、本実施形態に係る画像ファイルの一例について説明するための図である。図８に示すように、画像ファイルＤ１は、サムネイル画像Ｄ１１と、画像Ｄ１２と、操作情報Ｄ１３とを含む。サムネイル画像Ｄ１１は、例えば、画像Ｄ１２に対して縮小処理が施されて生成された画像である。なお、サムネイル画像Ｄ１１に代えて、画像Ｄ１２を示すテキストデータが格納されていてもよい。画像Ｄ１２は、カメラ１００の情報取得に係る機能で取得された取得データである。操作情報Ｄ１３は、操作記録部１０によって操作履歴から抽出されたユーザ操作に係る情報である。操作情報Ｄ１３は、例えば、アクセサリ情報・注意事項Ｄ１３ａと、撮影前操作情報Ｄ１３ｂと、撮影前操作時系列データＤ１３ｃと、撮影中操作情報Ｄ１３ｄと、撮影中操作時系列データＤ１３ｅと、機器情報Ｄ１３ｆとを含む。アクセサリ情報・注意事項Ｄ１３ａは、ステップＳ２０２で判定されたユーザ操作に応じて、ステップＳ２０４で記録される情報である。このような情報が記録されることで、ガイド装置としてのカメラ１００を利用するユーザは、撮影に必要なアクセサリの情報と撮影の注意事項とを得ることができるため、複雑な操作を伴う撮影を容易に行うことができるようになる。また、使用されるアクセサリによってユーザの操作量と制御パラメータの変化量とが異なっていたりする場合もある。このようなとき、アクセサリ情報として、カメラアクセサリの種類が記録されていれば、操作情報を、カメラアクセサリの種類に応じて換算することができる。撮影前操作情報Ｄ１３ｂは、露出開始前に行われたユーザ操作によって設定された情報であり、例えば、感度、シャッタースピード（ＳＳ）、絞り、ズーム、ピント位置等の値を含む。撮影前操作時系列データＤ１３ｃは、露出開始前に行われたユーザ操作に係る情報の時系列データである。このように、操作情報は、露出開始前の操作履歴を含んでいてもよいし、露出開始前の操作によって設定された値を含んでいてもよい。撮影中操作情報Ｄ１３ｄは、露出中に行われたユーザ操作によって設定された情報であり、例えば、撮影日時、絞り、ズーム、ピント位置等の値を含む。撮影中操作時系列データＤ１３ｅは、露出中に行われたユーザ操作に係る情報の時系列データである。機器情報Ｄ１３ｆは、カメラ１００の種類等の情報である。このような情報が記録されることで、操作情報に含まれる各種の値を、デジタルカメラの機種に応じて換算することができる。

ここで、図９は、本実施形態に係る画像ファイルの別の一例について説明するための図である。図９に示すように、操作情報Ｄ１３は、パラメータ操作のタイミングと、パラメータ操作の操作量等とを含む情報であってもよい。図９に示す操作情報Ｄ１３には、露出開始２分３０秒前から露出開始２分２０秒前にかけて、Ｆ値をＦ８からＦ１６に変化させる絞り操作が行われたことが記録されている。また、図９に示す操作情報Ｄ１３には、露出開始１分３０秒前から露出開始１分前にかけて、焦点距離を３５ｍｍから７０ｍｍに変化させるズーム操作が行われたことが記録されている。また、図９に示す操作情報Ｄ１３には、露出開始３０秒前から露出開始２５秒前にかけて、ピント位置を１ｍから３０ｍに変化させるピント操作が行われたことが記録されている。また、図９に示す操作情報Ｄ１３には、露出中において、露出開始１秒後から露出開始１４秒後にかけて、ピント位置を３０ｍから２ｍに変化させるピント操作が行われたことが記録されている。このように、操作タイミングとユーザ操作に応じたカメラ１００の動作とが操作情報Ｄ１３として記録されることで、ガイド装置としてのカメラ１００を利用するユーザは、何れのタイミングで何れの操作を行えばよいかを把握できるため、複雑な操作を伴う撮影を容易に行うことができるようになる。

（操作ガイドを伴う再生処理）
ここで、本実施形態に係るカメラ制御処理のステップＳ１０９で実行される操作ガイドを伴う再生処理について、図面を参照して説明する。図１０は、操作ガイドを伴う再生処理の一例を示すフローチャートである。図１０に示す処理は、操作ガイド装置として機能するカメラ１００の動作又は操作ガイド部２０の動作であると表現できる。

ステップＳ３０１において、カメラ制御部１１０は、カメラ記録部１３１に記録されている再生可能なコンテンツを示す情報を表示する。再生可能なコンテンツを示す情報は、サムネイル画像等の画像データであってもよいし、タイトル等のテキストデータであってもよい。再生可能なコンテンツを示す情報は、一覧表示されてもよいし、ユーザ操作等に応じて順次表示されてもよい。以下の説明は、本ステップにおいてサムネイル画像が一覧表示された場合を例として説明する。ステップＳ３０２において、カメラ制御部１１０は、何れかのサムネイル画像が選択されたか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。処理は、何れかのサムネイル画像が選択されたと判定された場合はステップＳ３０３へ進み、判定されなかった場合はステップＳ３０１へ戻る。

以下、ステップＳ３０２において、画像ファイルＤ１を示すサムネイル画像Ｄ１１が選択されたと判定された場合を例として説明を続ける。

ステップＳ３０３において、カメラ制御部１１０は、選択されたサムネイル画像Ｄ１１とともに記録されている画像Ｄ１２を表示部１７０に表示させる。図１１は、このときの表示部１７０における表示の一例である。図１１に示す表示例には、画像Ｄ１２と、参考ボタン７０１とが表示されている。参考ボタン７０１は、ガイド情報、すなわち操作情報の表示を指示するためのボタンである。なお、ガイドの出し方が音声の場合があってもよい。この場合、表示部はスピーカで代用されてもよい。

ここでは、ガイドするものの対象物のイメージとしてサムネイル画像が表示される場合を例として説明したが、これに限らない。サムネイル画像は、例えば、文字情報、その他の図や画像等で代用されてもよい。例えば、「自動車事故証拠写真」のような分類が設けられていてもよい。このとき、その中の「バンパー」及び「ボンネット」といった分類が、文字で表示されてもよい。

ステップＳ３０４において、カメラ制御部１１０は、操作情報を確認する操作が行われたか否かを判定する。本判定では、例えば図１１に示す参考ボタン７０１が選択されたとき、操作情報を確認する操作が行われたと判定される。処理は、操作情報を確認する操作が行われたと判定された場合はステップＳ３０５へ進み、判定されなかった場合はステップＳ３０６へ進む。ステップＳ３０５において、カメラ制御部１１０は、操作情報表示処理を実行する。本実施形態に係る操作情報表示処理は、操作情報を表示部１７０に表示させる処理である。処理は、操作情報表示処理の終了後、ステップＳ３０６へ進む。

ここで、図１２は、操作情報表示処理における表示部１７０の表示の一例である。図１２に示す表示例では、サムネイル画像Ｄ１１と、操作情報Ｄ１３と、戻るボタン７０２と、ガイド化ボタン７０３とが表示されている。図１２に示す表示例では、操作情報Ｄ１３として、画像Ｄ１２は露出中にフォーカスシフトが行われて撮影された画像であることを示している。つまり、本実施形態に係る操作情報表示処理は、操作情報Ｄ１３の概要の表示を含む。戻るボタン７０２は、図１１に示す表示例に戻ることを指示するためのボタンである。ガイド化ボタン７０３は、詳細な操作情報Ｄ１３の表示を指示するためのボタンである。

ここで、図１３は、ガイド化ボタン７０３が選択されたときの表示の一例である。図１３に示す表示例では、戻るボタン７０４と、操作情報Ｄ１３とが表示されている。戻るボタン７０４は、図１２に示す表示例に戻ることを指示するためのボタンである。図１３に示す表示例における操作情報Ｄ１３は、画像Ｄ１２の取得は、シャッタースピード（ＳＳ）が１秒、かつ、マニュアルフォーカス（ＭＦ）の設定で行われたことを表示している。このとき、操作情報Ｄ１３として、操作／センサ部１４０の操作方法が図示されてもよい。また、操作情報Ｄ１３は、他の露出開始前の各種制御パラメータの設定に限らず、露出中の操作タイミング、操作量、フォーカスレンズの動作量等であってもよい。

なお、図１２又は図１３に示す表示例において、通常の撮影処理への移行を指示するためのボタンが表示されていてもよい。この場合、ユーザは、操作方法を確認した後に、撮影を開始することができる。また、図１２又は図１３に示す表示例において、操作ガイドを伴う撮影処理への移行を指示するためのボタンが表示されていてもよい。この場合、ユーザは、操作情報を確認しながら、撮影を開始できる。

ステップＳ３０６において、カメラ制御部１１０は、表示する画像を変更するか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。処理は、変更すると判定された場合はステップＳ３０７へ進み、判定されなかった場合はステップＳ３０８へ進む。ステップＳ３０７において、カメラ制御部１１０は、ステップＳ３０６で検出されたユーザ操作に応じて、表示する画像を変更する。変更後の表示部１７０の表示は、例えば図１１に示す表示例と同様である。その後、処理はステップＳ３０４へ戻る。

ステップＳ３０８において、カメラ制御部１１０は、再生モードを終了するか否かを判定する。本判定は、例えば、操作／センサ部１４０の出力に基づいて行われる。処理は、終了すると判定された場合はステップＳ３０１へ戻り、判定されなかった場合は再生処理を終了し、カメラ制御処理のステップＳ１１１へ進む。

なお、カメラ１００が操作記録装置として機能する場合には、ユーザは、操作ガイドを伴う再生処理において、撮影した画像を確認したり、記録された操作情報を確認したりできる。また、操作ガイドを伴う再生処理は、ユーザが、アクセサリ情報や注意事項等を追記できるように構成されていてもよい。また、ユーザは、操作ガイドを伴う再生処理において、スマートフォン２００又はサーバ３００へ送信する画像ファイル等を選択したりできる。

（操作ガイドを伴う撮影処理）
ここで、本実施形態に係るカメラ制御処理のステップＳ１０５で実行される操作ガイドを伴う撮影処理について説明する。操作ガイドを伴う撮影処理は、操作ガイド装置として機能するカメラ１００の動作又は操作ガイド部２０の動作であると表現できる。

本実施形態に係る操作ガイドを伴う撮影処理では、図１０を参照して上述した操作ガイドを伴う再生処理と同様にして、操作情報の表示等が行われる。この場合、ユーザは、操作情報を確認しながら撮影できる。

なお、操作ガイドを伴う撮影処理では、撮影前に、撮影前の操作情報が制御に反映されてもよい。この場合、ユーザは、事前設定に係る手間を省略したり、他者の撮影を模擬して練習したりできる。

なお、操作ガイドを伴う撮影処理では、図６を参照して上述した操作記録を伴う撮影処理と同様にして、ユーザ操作が記録されてもよい。例えば、カメラ制御部１１０は、サーバ３００等から取得された操作情報と、操作ガイドを伴う撮影処理で記録された操作情報とを比較する。カメラ制御部１１０は、比較した結果から、ユーザ操作の一致の程度を評価する。カメラ制御部１１０は、評価の結果に基づいて、一致の程度が高い等、ユーザ操作が適切であった場合にはユーザに通知する。カメラ制御部１１０は、一致の程度が低い等、ユーザ操作が不適切であった場合にはユーザに警告する。この場合、ユーザは、操作の習熟度等を容易に把握できる。

ここで、本実施形態に係るスマートフォン制御処理について、図面を参照して説明する。図１４は、本実施形態に係るスマートフォン制御処理の一例を示すフローチャートである。

ステップＳ４０１において、スマートフォン制御部２１０は、ガイド情報の閲覧を指示する操作が行われたか否かを判定する。本判定では、例えば、操作部２４０の出力に基づいて撮影ガイドアプリが選択されたと判定されたとき、ガイド情報の閲覧を指示する操作が行われたと判定される。なお、撮影ガイドアプリの動作に係るプログラム等は、例えば、スマートフォン記録部２３０等に記録されている。処理は、ガイド情報の閲覧を指示する操作が行われたと判定された場合はステップＳ４０３へ進み、判定されなかった場合はステップＳ４０２へ進む。ステップＳ４０２において、スマートフォン制御部２１０は、ユーザ操作等に応じて、スマートフォン２００の動作に係る各種処理を行う。その後、処理はステップＳ４０１へ戻る。

ステップＳ４０３において、スマートフォン制御部２１０は、画像観賞を指示する操作が行われたか否かを判定する。本判定は、例えば、操作部２４０の出力に基づいて行われる。処理は、画像観賞を指示する操作が行われたと判定された場合はステップＳ４０４へ進み、判定されなかった場合はステップＳ４１２へ進む。

以下のステップＳ４０４乃至ステップＳ４１１において、スマートフォン制御部２１０は、ユーザのガイド情報の参照に係る処理を行う。これらの処理は、カメラ１００をガイド装置として利用するユーザに対するスマートフォン２００の動作であると表現できる。

ステップＳ４０４において、スマートフォン制御部２１０は、ネットワーク通信部２６２に、サーバ３００との通信を開始させる。ステップＳ４０５において、スマートフォン制御部２１０は、サーバ３００のガイド情報ＤＢから、再生可能な画像の一覧を受信する。スマートフォン制御部２１０は、受信した画像を表示部２７０に表示させる。ここで表示される画像は、例えば図１に示すように、サムネイル画像Ｄ１１，サムネイル画像Ｄ２１等の画像ファイルを示すサムネイル画像である。ステップＳ４０６において、スマートフォン制御部２１０は、何れかのサムネイル画像が選択されたか否かを判定する。本判定は、例えば、操作部２４０の出力に基づいて行われる。処理は、何れかの画像が選択されたと判定された場合はステップＳ４０７へ進み、判定されなかった場合はステップＳ４０３へ戻る。

以下、ステップＳ４０６において、画像ファイルＤ１を示すサムネイル画像Ｄ１１が選択されたと判定された場合を例として説明を続ける。

ステップＳ４０７において、スマートフォン制御部２１０は、ステップＳ４０６で選択されたサムネイル画像Ｄ１１に対応する観賞用画像である画像Ｄ１２を表示部２７０に表示させる。

ステップＳ４０８において、スマートフォン制御部２１０は、操作情報を要求する操作が行われたか否かを判定する。本判定は、例えば、操作部２４０の出力に基づいて行われる。ユーザは、表示部２７０に表示されている画像Ｄ１２の撮り方を知りたいとき等、操作情報を確認したいときに操作情報を要求する操作を行う。処理は、操作情報を要求する操作が行われたと判定された場合はステップＳ４０９へ進み、判定されなかった場合はステップＳ４１０へ進む。ステップＳ４０９において、スマートフォン制御部２１０は、サーバ３００へ操作情報を要求する要求信号を送信させる。スマートフォン制御部２１０は、サーバ３００から、操作情報Ｄ１３を受信する。ユーザは、受信された操作情報Ｄ１３を確認できる。スマートフォン制御部２１０は、受信した操作情報Ｄ１３を、既取得のサムネイル画像Ｄ１１及び画像Ｄ１２とともに、画像ファイルＤ１としてスマートフォン記録部２３０に記録する。なお、画像ファイルＤ１を記録するか否かを、ユーザが操作情報Ｄ１３を見た上で判断できるようにしてもよい。この場合、ユーザは、必要なカメラアクセサリや操作の難易度を把握した上で、画像ファイルＤ１を記録させるか否かを判断できる。

ステップＳ４１０において、スマートフォン制御部２１０は、画像Ｄ１２の表示を終了するか否かを判定する。本判定は、例えば、操作部２４０の出力に基づいて行われる。処理は、終了すると判定された場合はステップＳ４１１へ進み、判定されなかった場合はステップＳ４０７へ戻る。ステップＳ４１１において、スマートフォン制御部２１０は、サーバ３００との通信を終了させる。その後、処理はステップＳ４０３へ戻る。

ステップＳ４１２において、スマートフォン制御部２１０は、画像ファイル等の投稿を指示する操作が行われたか否かを判定する。処理は、画像ファイル等の投稿を指示する操作が行われたと判定された場合はステップＳ４１３へ進み、判定されなかった場合はステップＳ４１４へ進む。ステップＳ４１３において、スマートフォン制御部２１０は、ユーザ操作に基づいた操作部２４０の出力に応じて、画像ファイルにタイトル等を添付する。スマートフォン制御部２１０は、画像ファイル等をサーバ３００へ送信させる。なお、本ステップにおいて、スマートフォン制御部２１０は、カメラ１００と通信して、カメラ記録部１３１に記録されている画像ファイル等をユーザが選択できるようにしてもよい。なお、ステップＳ４１２及びステップＳ４１３の処理は、カメラ１００を操作記録装置として利用するユーザに対するスマートフォン２００の動作であると表現できる。

ステップＳ４１４において、スマートフォン制御部２１０は、画像ファイル等をカメラ１００へ送信するか否かを判定する。本判定は、例えば、操作部２４０の出力に基づいて行われる。処理は、カメラ１００へ送信すると判定された場合はステップＳ４１５へ進み、判定されなかった場合はステップＳ４１６へ進む。ステップＳ４１５において、スマートフォン制御部２１０は、ユーザの選択に応じて、画像ファイル等をカメラ１００へ送信させる。なお、本ステップの処理は、ステップＳ４０９又はステップＳ４１１の後に行われてもよい。なお、ステップＳ４１４及びステップＳ４１５の処理は、カメラ１００をガイド装置として利用するユーザに対するスマートフォン２００の動作であると表現できる。

ステップＳ４１６において、スマートフォン制御部２１０は、通信設定を指示する操作があったか否かを判定する。処理は、通信設定を指示する操作があったと判定された場合はステップＳ４１７へ進み、判定されなかった場合はステップＳ４１８へ進む。ステップＳ４１７において、スマートフォン制御部２１０は、ユーザ操作に応じて、通信先の設定、サーバ３００へのログイン設定等の通信に係る各種設定を行う。その後、処理はステップＳ４０３へ戻る。

ステップＳ４１８において、スマートフォン制御部２１０は、撮影ガイドアプリの終了を指示する操作が行われたか否かを判定する。処理は、撮影ガイドアプリの終了を指示する操作が行われたと判定された場合はステップＳ４０１へ戻り、判定されなかった場合はステップＳ４０３へ戻る。

ここで、本実施形態に係るサーバ制御処理について、図面を参照して説明する。図１５は、本実施形態に係るサーバ制御処理の一例を示すフローチャートである。

ステップＳ５０１において、サーバ制御部３１０は、カメラ１００又はスマートフォン２００からアクセスがあったか否かを判定する。処理は、アクセスがあったと判定されるまで待機し、判定された場合はステップＳ５０２へ進む。ステップＳ５０２において、サーバ制御部３１０は、画像を要求する通信があったか否かを判定する。処理は、画像を要求する通信があったと判定された場合はステップＳ５０３へ進み、判定されなかった場合はステップＳ５０７へ進む。

ステップＳ５０３において、サーバ制御部３１０は、要求された画像ファイルを送信させる。なお、本ステップの処理は、例えば、スマートフォン制御処理のステップＳ４０５及びステップＳ４０７の処理に対応する。ステップＳ５０４において、サーバ制御部３１０は、操作情報を要求する通信があったか否かを判定する。処理は、操作情報を要求する通信があったと判定された場合はステップＳ５０５へ進み、判定されなかった場合はステップＳ５０６へ進む。ステップＳ５０５において、サーバ制御部３１０は、要求された画像ファイルに対応する操作情報を送信させる。なお、ステップＳ５０４及びステップＳ５０５の処理は、例えば、スマートフォン制御処理のステップＳ４０９の処理に対応する。ステップＳ５０６において、サーバ制御部３１０は、画像ファイル等の送信に係る処理を終了するか否かを判定する。処理は、終了すると判定された場合はステップＳ５０１へ戻り、判定されなかった場合はステップＳ５０３へ戻る。なお、本ステップの処理は、例えば、スマートフォン制御処理のステップＳ４１１の処理に対応する。

ステップＳ５０７において、サーバ制御部３１０は、画像ファイル等を受信したか否かを判定する。処理は、受信したと判定された場合はステップＳ５０８へ進み、判定されなかった場合はステップＳ５０９へ進む。なお、本ステップの処理は、例えば、スマートフォン制御処理のステップＳ４１３の処理に対応する。ステップＳ５０８において、サーバ制御部３１０は、受信した画像ファイルについて、カテゴリ毎に分類してガイド情報ＤＢへ蓄積させる。ユーザは、撮りたいイメージに近い観賞用画像を選択したり、観賞して同様の写真を撮りたいと感じた観賞用画像を選択したりする。このため、カテゴリは、例えば撮影シーン、撮影条件又は被写体種別である。

ステップＳ５０９において、サーバ制御部３１０は、通信相手の設定、サーバ３００へのログイン設定等の通信に係る各種設定を行う。なお、本ステップの処理は、例えば、スマートフォン制御処理のステップＳ４１７の処理に対応する。

＜操作ガイドシステムの利点＞
本実施形態に係る操作記録装置としてのカメラ１００は、ユーザ操作に応じて動作する。カメラ１００は、露出中のユーザ操作に係る情報の時系列データを操作履歴として取得する。カメラ１００は、少なくとも露出中の操作履歴である操作情報を、取得された画像データに関連付けて、画像ファイルとして記録する。ここで、露出中のユーザ操作は、例えば、撮影パラメータを変更するための操作である。露出中のユーザ操作に係る情報の時系列データは、例えば、ユーザ操作のタイミングであってもよいし、ユーザ操作の操作量であってもよいし、ユーザ操作に応じた撮影パラメータの値であってもよい。また、操作情報には、露出開始前のユーザ操作に係る情報がさらに含まれていてもよい。ユーザは、本実施形態に係るカメラ１００を利用すれば、操作ガイド情報として活用できる情報を容易に生成できる。

本実施形態に係る操作ガイド装置としてのカメラ１００は、操作記録装置によって取得された操作情報が関連付けられた画像データを用いて、ユーザの操作補助を行う。ユーザの操作補助、つまり操作ガイドは、例えば、操作情報に基づいた操作内容や手順の概要である。操作ガイドは、操作手順そのものであってもよい。ユーザは、本実施形態に係るカメラ１００を利用すれば、複雑な手順の操作が要求される撮影であっても、容易に実現できる。

本実施形態に係るカメラ１００は、操作記録装置としての機能と、操作ガイド装置としての機能とを有する。ユーザは、他者の記録した操作情報に限らず、自身で記録した操作情報を用いて、同様の撮影条件下で繰り返し行う撮影を簡略化することもできる。

以上のことから、ユーザは、本実施形態に係る操作ガイドシステム１を利用すれば、複雑な手順の操作が要求される撮影を容易に実行したり、簡略化したりできる。

なお、指示操作が、露出の開始を指示する操作である場合を例として説明したが、指示操作は、露出の終了を指示する操作であってもよい。この場合、露出の終了を指示する操作から所定の時間だけ遡った時間範囲の操作履歴が、操作情報として抽出され得る。ここで、所定の時間は、例えば露出時間として撮影前に設定されている時間である。このとき、指示操作は、露出の開始を指示する操作を含んでいてもよい。このような構成であっても、上述と同様の効果が得られる。

［第２の実施形態］
本発明における第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第１の実施形態では、操作情報が表示されることによってユーザ補助が行われる操作ガイドシステム１について説明をした。また、第１の実施形態では、操作情報の表示とともに、撮影前の操作情報が制御に反映されることによってユーザ補助が行われる操作ガイドシステム１について説明をした。一方で、撮影中の操作情報が制御にさらに反映されれば、ユーザは、より簡易に複雑な操作を要する撮影ができる。そこで、本実施形態では、撮影中の操作情報を詳細に確認したり、制御に反映したりできる操作ガイドシステム１について説明をする。

＜操作ガイドシステムの構成＞
本実施形態に係る操作記録部１０は、画像処理部１１９をさらに含む。画像処理部１１９は、撮像部１５０の出力に基づいて、記録用のサムネイル画像をさらに生成する。記録用のサムネイル画像は、ユーザ操作に応じた制御のタイミング毎の制御結果を示す画像のサムネイル画像である。また、本実施形態に係る操作履歴取得部１１１は、操作／センサ部１４０の出力に加えて、画像処理部１１９の出力する記録用のサムネイル画像をさらに取得する。

＜操作ガイドシステムの動作＞
本実施形態に係るカメラ制御処理では、ステップＳ１１２の通信処理において、記録用のサムネイル画像がさらに送受信される。受信された記録用のサムネイル画像は、遷移効果画像として用いられる。

本実施形態に係る操作記録を伴う撮影処理は、図６を参照して説明した第１の実施形態に係る操作記録を伴う撮影処理と概ね同様である。ただし、本実施形態に係る操作記録を伴う撮影処理のステップＳ２０４又はステップＳ２０５において、操作履歴取得部１１１は、操作履歴として、各々のタイミング毎の遷移効果を示す記録用のサムネイル画像群Ｄ１１ｂをさらに取得する。

ここで、図１６は、本実施形態に係る操作履歴の一例について説明するための図である。図１６には、図７を参照して上述した第１の実施形態に係る操作履歴に加えて、記録用のサムネイル画像群Ｄ１１ｂがさらに記録される場合が例として示されている。記録用のサムネイル画像群Ｄ１１ｂは、所定のタイミング毎に取得されてもよいし、ユーザ操作が行われたタイミングで取得されてもよい。なお、記録用のサムネイル画像群Ｄ１１ｂは、各々のタイミングにおけるユーザ操作が反映された画像である。つまり、記録用のサムネイル画像群Ｄ１１ｂは、ユーザ操作に係る情報であると表現できる。

また、本実施形態に係る操作記録を伴う撮影処理では、ステップＳ２１２において、記録用のサムネイル画像群Ｄ１１ｂを含む操作情報が生成される。つまり、本実施形態に係る操作情報は、少なくとも露出中に取得された記録用のサムネイル画像群Ｄ１１ｂを含む。ここで、図１７は、本実施形態に係る画像ファイルの一例を示す模式図である。図１７に示すように、本実施形態に係る画像ファイルＤ１のサムネイル画像Ｄ１１は、第１の実施形態に係るサムネイル画像Ｄ１１と同様のサムネイル画像Ｄ１１ａと、記録用のサムネイル画像群Ｄ１１ｂとを含む。サムネイル画像Ｄ１１ａは、記録用のサムネイル画像群Ｄ１１ｂに含まれる画像の何れかであってもよい。なお、記録用のサムネイル画像群Ｄ１１ｂは、上述したように、操作情報Ｄ１３として記録されていてもよい。また、図１７に示す画像ファイルＤ１には、アクセサリ情報・注意事項Ｄ１３ａの項目がさらに含まれていてもよい。なお、記録用のサムネイル画像群Ｄ１１ｂは、操作ガイド装置として動作するカメラ１００において、各々の操作タイミング毎のユーザ操作の効果を示す遷移効果画像として用いられる。

ここで、本実施形態に係る操作ガイドを伴う撮影処理について、図面を参照して説明する。図１８Ａ及び図１８Ｂは、本実施形態に係る操作ガイドを伴う撮影処理の一例を示すフローチャートである。ここでは、図６を参照して上述した第１の実施形態に係る操作記録を伴う撮影処理と比較して説明を行う。ただし、本実施形態に係る操作ガイドを伴う撮影処理は、操作ガイド装置として機能するカメラ１００の動作又は操作ガイド部２０の動作である。

ステップＳ６０１乃至ステップＳ６０５において、カメラ制御部１１０は、ステップＳ２０１乃至ステップＳ２０５と同様にして、ＬＶ表示を行い、撮影前のユーザ操作に応じて動作し、撮影前のユーザ操作を記録する。

ステップＳ６０６において、カメラ制御部１１０は、ガイド情報選択処理を実行する。ここで、ガイド情報選択処理について、第１の実施形態に係る再生処理と比較しながら説明する。カメラ制御部１１０は、ステップＳ３０１乃至ステップＳ３０３の処理と同様にして、画像ファイルを示すサムネイル画像を表示し、ユーザ操作に基づいて何れの画像ファイルが選択されたか判定し、選択された画像ファイルの画像を表示する。なお、このときの表示部１７０の表示は、例えば図１１に示す表示である。以下、図１１の表示例のように、画像ファイルＤ１を示すサムネイル画像Ｄ１１ａが選択され、画像Ｄ１２が表示された場合を例として説明を続ける。カメラ制御部１１０は、ステップＳ３０４及びステップＳ３０５の処理と同様にして、操作情報Ｄ１３を確認する指示が行われたと判定された場合には、操作情報Ｄ１３を表示する。なお、このときの表示部１７０の表示は、例えば図１２に示す表示である。

ステップＳ６０７において、カメラ制御部１１０は、遷移効果を指定する遷移効果画像の選択を指示する操作が行われたか否かを判定する。本判定では、例えば、ガイド化ボタン７０３を選択する操作が行われたとき、遷移効果画像の選択を指示する操作が行われたと判定される。処理は、遷移効果画像の選択を行うと判定された場合はステップＳ６０８へ進み、判定されなかった場合はステップＳ６１１へ進む。

ステップＳ６０８において、カメラ制御部１１０は、遷移効果画像を表示部１７０に表示させる。ここで、遷移効果画像として表示される画像は、記録用のサムネイル画像群Ｄ１１ｂとして記録された画像である。遷移効果画像は、一覧表示されてもよいし、順次表示されてもよい。なお、カメラ制御部１１０は、何れの遷移効果画像が選択されたかを判定してもよい。つまり、ユーザは、撮影中の制御に反映させる遷移効果画像を、撮影中のタイミング毎に選択できる。図１９は、このときの表示部１７０における表示の一例である。図１９に示す表示例では、戻るボタン７０５と、プレビューボタン７０６と、操作情報Ｄ１３とが表示されている。戻るボタン７０５は、例えば図１２の表示例に示す表示に戻ることを指示するボタンである。プレビューボタン７０６は、現在選択されている遷移効果画像の繰り返し表示を指示するためのボタンである。図１９の表示例における操作情報Ｄ１３は、撮影中の制御に反映される制御に対応するユーザ操作と、遷移効果画像との表示を含む。

ステップＳ６０９において、カメラ制御部１１０は、遷移効果の確認表示を行うか否かを判定する。本判定では、例えば、図１９の表示例におけるプレビューボタン７０６をユーザが選択したとき、遷移効果の確認表示を行うと判定される。処理は、遷移効果の確認表示を行うと判定された場合はステップＳ６１０へ進み、判定されなかった場合はステップＳ６１１へ進む。ステップＳ６１０において、カメラ制御部１１０は、遷移効果の確認表示を行う。図２０は、このときの表示部１７０における表示の一例である。図２０に示す表示例では、戻るボタン７０７と、ロードボタン７０８と、操作情報Ｄ１３とが表示されている。戻るボタン７０７は、図１９に示す表示例に示す表示に戻ることを指示するボタンである。ロードボタン７０８は、現在選択されている遷移効果画像の示す制御を撮影中の制御として設定することを指示するボタンである。図２０の表示例における操作情報Ｄ１３は、現在選択されている遷移効果画像の繰り返し表示を含む。このように、ユーザは、撮影中の各々のタイミングで行われる制御の効果を確認できる。その後、処理はステップＳ６１１へ進む。

ステップＳ６１１において、カメラ制御部１１０は、撮影中の制御に遷移効果を付与するか否かを判定する。本判定は、遷移効果画像に対応する制御を撮影中の制御に反映させるか否かの判定とも表現できる。本判定では、例えば図２０の表示例におけるロードボタン７０８が選択されたとき、遷移効果画像に対応する制御を撮影中の制御に反映させると判定される。処理は、遷移効果を付与すると判定された場合はステップＳ６１２へ進み、判定されなかった場合はステップＳ６１３へ進む。ステップＳ６１２において、カメラ制御部１１０は、撮影中の制御に対する遷移効果の付与を有効化する。撮影中の制御に対する遷移効果の付与が有効化されているとき、撮影中の各々のタイミング毎に、ステップＳ６０６乃至ステップＳ６１０の処理で選択された遷移効果画像の示す制御が反映される。このように、ユーザは、操作情報Ｄ１３を用いて、撮影中の操作を撮影前に設定できるため、撮影中に行う操作を減らしたり、無くしたりできる。その後、処理はステップＳ６１４へ進む。ステップＳ６１３において、カメラ制御部１１０は、撮影中の制御に対する遷移効果の付与を無効化する。その後、処理はステップＳ６１４へ進む。

ステップＳ６１４乃至ステップＳ６１６において、カメラ制御部１１０は、ステップＳ２０６乃至ステップＳ２０８の処理と同様にして、ユーザ操作に応じて撮影を開始し、撮影タイミングを記録し、パラメータ操作等があったか否かを判定する。処理は、パラメータ操作等があったと判定された場合はステップＳ６１７へ進み、判定されなかった場合はステップＳ６１９へ進む。

ステップＳ６１７及びステップＳ６１８において、カメラ制御部１１０は、ステップＳ２０９及びステップＳ２１０と同様にして、パラメータ操作等の結果を制御に反映させ、パラメータ操作等と撮影タイミングとの関係を記録させる。また、カメラ制御部１１０は、ステップＳ６１２で遷移効果の付与が有効化されているときには、選択された遷移効果画像の示す制御を、撮影中の制御に反映させ、また、記録させる。その後、処理はステップＳ６２１へ進む。ステップＳ６１９及びステップＳ６２０において、カメラ制御部は、ステップＳ６１７及びステップＳ６１８の処理と同様にして、ステップＳ６１２で遷移効果の付与が有効化されているときには、選択された遷移効果画像の示す制御を、撮影中の制御に反映させ、また、記録させる。その後、処理はステップＳ６２１へ進む。

なお、ステップＳ６０８で撮影中の制御に反映させる遷移効果画像が撮影中のタイミング毎に選択されている場合には、カメラ制御部１１０は、ステップＳ６１７乃至ステップＳ６２０において、遷移効果の付与タイミングであるか否かの判定を行う。カメラ制御部１１０は、遷移効果の付与タイミングであると判定された場合のみ、上述の遷移効果画像の示す制御の反映及び記録を行えばよい。

ステップＳ６２１及びステップＳ６２２において、カメラ制御部１１０は、ステップＳ２１１及びステップＳ２１２の処理と同様にして、画像ファイルＤ１を生成する。

＜操作ガイドシステムの利点＞
本実施形態に係る操作記録装置としてのカメラ１００は、各々のタイミング毎のユーザ操作に応じた制御の効果を示す記録用のサムネイル画像群Ｄ１１ｂをさらに取得する。また、本実施形態に係る操作ガイド装置としてのカメラ１００では、記録用のサムネイル画像群Ｄ１１ｂは、ユーザに対してユーザ操作に対応する制御によって生じ得る効果を提示できる。また、ユーザは、撮影したいイメージに合わせて、適宜、遷移効果画像を選択できる。また、選択した結果は、プレビューによって確認できる。

また、本実施形態に係る操作ガイド装置としてカメラ１００では、操作ガイドとともに、操作記録が行われる。操作ガイドとともに記録された操作情報と、サーバ３００から取得された操作情報とは比較されてもよい。このとき、操作情報の比較は、記録用のサムネイル画像の比較であってもよいし、記録用のサムネイル画像から抽出された画像特徴の比較であってもよい。このような比較によって、ユーザの撮影操作の評価が可能となる。なお、操作ガイドを伴う撮影処理では、操作記録は行われなくてもよい。

［第３の実施形態］
本発明における第３の実施形態について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。本発明に係る技術は、デジタルカメラを備える内視鏡であっても適用できる。また、第２の実施形態では、撮影を制御するためのユーザ操作に係る情報が操作履歴として取得される操作ガイドシステム１を例として説明をしたが、これに限らない。例えば、操作履歴として取得されるユーザ操作は、情報取得機器において情報取得時に実行される操作であればよく、情報取得以外の機能を制御するためのユーザ操作であってもよい。そこで、本実施形態では、操作履歴として取得されるユーザ操作が、カメラ１００を備える大腸用の内視鏡の撮影時に実行される内視鏡の挿入に係るユーザ操作である場合を例として説明をする。なお、内視鏡による撮影により取得される取得データは、静止画像であってもよいし、動画であってもよい。また、内視鏡による撮影時は、内視鏡の挿入時又は内視鏡の使用時とも表現される。

＜操作ガイドシステムの構成＞
図２１は、本実施形態に係るカメラ１００を備える内視鏡４００が使用されるときの様子を示す模式図である。本実施形態では、操作ガイド装置としてのカメラ１００が、内視鏡４００に設けられている場合を例として説明をする。内視鏡４００を操作するユーザＵ２は、例えば、大腸モデル６００を用いて、内視鏡４００の操作の練習をする医学生である。

図２１に示すように、本実施形態に係る操作／センサ部１４０は、内視鏡４００の挿入に係るユーザＵ２の操作をさらに取得できるように構成されている。つまり、操作／センサ部１４０は、少なくとも、アングルノブを含む。操作／センサ部１４０は、内視鏡４００の挿入部４０２の湾曲を上下左右に制御する。操作／センサ部１４０の出力するユーザ操作に係る情報は、アングルノブの操作量であってもよいし、操作に応じて変化する挿入部４０２の湾曲の方向及び変位であってもよい。内視鏡４００は、ケーブル４０１を介してサーバ３００等に接続されている。挿入部４０２の先端部には、撮像部１５０が設けられている。挿入部４０２は、大腸モデル６００の挿入口６０１から疑似大腸６０２の内部へ挿入される。挿入部４０２は、ユーザ操作に応じて、疑似大腸６０２の内部に挿入されたり、疑似大腸６０２の内部から抜去されたり、湾曲されたりする。

＜操作ガイドシステムの動作＞
本実施形態に係るカメラ制御処理では、第２の実施形態と同様に、ステップＳ１１２の通信処理において、記録用のサムネイル画像がさらに送受信される。本ステップにおいてサーバ３００から受信された記録用のサムネイル画像は、ユーザ操作に応じた制御のタイミング毎の制御結果を示す画像である。受信された記録用のサムネイル画像は、操作判定の基準として用いられる。なお、本ステップにおいて送受信される画像ファイルＤ１は、症例を示す情報とも表現できる。

本実施形態に係る操作記録を伴う撮影処理は、第２の実施形態に係る操作記録を伴う撮影処理と概ね同様である。ここで、図２２は、本実施形態に係る画像ファイルの一例を示す模式図である。図２２に示すように、本実施形態に係る画像ファイルＤ１は、サムネイル画像Ｄ１１と、画像Ｄ１２と、挿入前操作情報Ｄ１３ｇと、挿入前操作時系列データＤ１３ｈと、挿入中操作情報Ｄ１３ｉと、挿入中時系列データＤ１３ｊと、機器情報Ｄ１３ｆとを含む。ここで、サムネイル画像Ｄ１１と、画像Ｄ１２と、機器情報Ｄ１３ｆとは、第２の実施形態に係る画像ファイルＤ１と同様である。なお、本実施形態に係る画像Ｄ１２は、例えばポリープ、潰瘍、腫瘍等を記録した症例を示すデータであると表現できる。つまり、本実施形態に係る画像ファイルＤ１は、例えば、症例毎にサーバ３００に蓄積され得る。また、挿入前操作情報Ｄ１３ｇ、挿入前操作時系列データＤ１３ｈ、挿入中操作情報Ｄ１３ｉ及び挿入中時系列データＤ１３ｊは、それぞれ、第２の実施形態に係る撮影前操作情報Ｄ１３ｂ、撮影前操作時系列データＤ１３ｃ、撮影中操作情報Ｄ１３ｄ及び撮影中操作時系列データＤ１３ｅに相当する。本実施形態に係る画像ファイルＤ１には、さらに挿入中に取得された動画データが関連付けられていてもよい。

ここで、本実施形態に係る操作ガイドを伴う撮影処理について、図面を参照して説明する。図２３は、本実施形態に係る操作ガイドを伴う撮影処理の一例を示すフローチャートである。ここでは、図１８Ａ及び図１８Ｂを参照して上述した第２の実施形態に係る操作ガイドを伴う撮影処理と比較して説明を行う。

ステップＳ７０１において、カメラ制御部１１０は、ステップＳ６０１の処理と同様にして、ＬＶ表示を行う。本ステップでは、時間計測は開始されなくてもよい。

ステップＳ７０２において、カメラ制御部１１０は、ステップＳ６０６の処理と同様にして、ガイド情報選択処理を行う。ユーザは、ガイド情報選択処理において、練習したい症例を示すサムネイル画像を選択して、症例を示すデータである画像Ｄ１２を確認したりする。ステップＳ７０３において、カメラ制御部１１０は、ステップＳ６０７の処理と同様にして、症例を示すサムネイル画像が選択されたか否かを判定する。本判定では、例えば、ガイド化ボタン７０３を選択する操作が行われたとき、症例を示すサムネイル画像が選択されたと判定される。処理は、選択されたと判定された場合はステップＳ７０４へ進み、判定されなかった場合はステップＳ７０５へ進む。ステップＳ７０４において、カメラ制御部１１０は、ステップＳ６０８乃至ステップＳ６１０の処理と同様にして、操作情報を確認したり、遷移効果画像を選択したりする。その後、処理はステップＳ７０５へ進む。

ステップＳ７０５において、カメラ制御部１１０は、練習モードを実行するか否かを判定する。本判定は、例えば、ユーザ操作に応じた操作／センサ部１４０の出力に基づいて行われる。本判定では、操作判定を行うと選択されたときに、練習モードを実行すると判定される。処理は、練習モードを実行すると判定された場合はステップＳ７０６へ進み、判定されなかった場合はステップＳ７０７へ進む。ステップＳ７０６において、カメラ制御部１１０は、撮影中の操作に対する操作判定を有効化する。撮影中の操作に対する操作判定が有効化されているとき、撮影中の各々のタイミング毎に、操作情報Ｄ１３と取得したユーザＵ２の操作に係る情報との比較に基づいて行われる操作判定が行われる。その後、処理はステップＳ７０８へ進む。ステップＳ７０７において、カメラ制御部１１０は、撮影中の操作に対する操作判定を無効化する。その後、処理はステップＳ７０８へ進む。

ステップＳ７０８において、カメラ制御部１１０は、挿入が開始されたか否かを判定する。本判定では、例えば、ステップＳ６１４の処理と同様にして、ユーザが記録用の撮影の開始を指示したときに、挿入が開始されたと判定される。なお、操作／センサ部１４０は、ユーザが挿入開始を宣言するための挿入開始ボタンを表示部１７０に表示させてもよい。また、撮像部１５０の取得するＬＶ表示用の画像データに基づく画像解析の結果に基づいて、挿入開始が判定されてもよい。また、大腸モデル６００の挿入口６０１等に挿入を検知するセンサが設けられて、当該センサの出力に基づいて、挿入開始が判定されてもよい。処理は、挿入が開始されたと判定された場合はステップＳ７０９に進み、判定されなかった場合はステップＳ７０１へ戻る。

ステップＳ７０９において、カメラ制御部１１０は、ステップＳ６１５の処理と同様にして、記録用の撮影を開始し、また、計時を開始する。ステップＳ７１０において、カメラ制御部１１０は、ステップＳ６１６と同様にして、挿入に係るユーザ操作が行われたか否かを判定する。本判定は、例えば、操作／センサ部１４０のアングルノブの出力に基づいて行われる。処理は、挿入に係るユーザ操作が行われたと判定された場合はステップＳ７１１へ進み、判定されなかった場合はステップＳ７１２へ進む。ステップＳ７１１において、カメラ制御部１１０は、ステップＳ６１７及びステップＳ６１８の処理と同様にして、ユーザ操作に応じた制御があるときには当該ユーザ操作を制御に反映させたり、ユーザ操作を記録したりする。また、本実施形態に係るカメラ制御部１１０は、ステップＳ７０６において撮影中の操作に対する操作判定が有効化されているとき、すなわち、練習モードの実行中であるとき、本ステップにおいて、挿入に係るユーザ操作と、操作情報Ｄ１３との比較に基づく操作判定を行う。操作判定は、例えば、操作量、操作時間、先端部の位置又は記録用サムネイル画像等の差異が所定の閾値未満であるか否かを判定する。操作量は、ユーザが内視鏡４００に対して行った挿入部を押し込んだり、引き抜いたりする挿入又は抜去操作の操作量を含む。つまり、撮影中のユーザ操作に係る情報は、挿入部４０２の挿入量、挿入部４０２の抜去量、挿入部４０２の湾曲量又は挿入部４０２の先端部の位置を含む。本実施形態に係る操作履歴取得部１１１は、挿入部を押し込む操作及び挿入部を引き抜く操作を取得する。これら操作は、例えば、内視鏡４００又は大腸モデル６００が備えるセンサによって検出される。センサは、位置センサ、加速度センサ、輝度センサ等を含む。先端部の位置は、例えば、先端部が挿入口６０１を通過したタイミングと、操作量の履歴とに基づいて算出される。先端部の位置は、例えば、挿入部が押し込まれた長さと、アングルノブの操作に応じた先端部の湾曲の形状とに基づいて算出される。なお、先端部の位置は、画像解析によって算出されてもよい。操作判定の結果、差異が所定の閾値以上であると判定されたときに、ユーザに対する警告が行われてもよい。同様に、操作判定の結果、差異が所定の閾値未満であると判定されたときに、ユーザに対する通知が行われてもよい。その後、処理はステップＳ７１２へ進む。

ステップＳ７１２において、カメラ制御部１１０は、ステップＳ６２１の処理と同様にして、練習が終了したか否かを判定する。本判定は、操作判定の結果に基づいて行われてもよいし、操作／センサ部１４０の出力に基づいて行われてもよい。また、本判定は、所定の位置で記録用の画像Ｄ１２が撮影されたか否かに基づいて行われてもよい。撮影処理は、練習が終了したと判定された場合は、ステップＳ７１３へ進み、判定されなかった場合はステップＳ７１０へ戻る。

ステップＳ７１３において、カメラ制御部１１０は、取得された画像Ｄ１２、記録用のサムネイル画像群Ｄ１１ｂ等の撮影データ及び判定結果を記録させる。このとき、判定結果は、操作履歴として記録され得る。

＜操作ガイドシステムの利点＞
このように、本実施形態に係る操作ガイドシステム１は、操作判定により、ユーザ操作を評価できる。したがって、ユーザは本実施形態に係る操作ガイドシステム１を使用すれば、複雑な操作手順が要求される情報取得に係る操作を容易に習得できる。

なお、本実施形態では、操作判定結果が通知又は警告される操作ガイドを行う操作ガイドシステム１について説明したが、これに限らない。操作ガイドは、表示や音声によって行われてもよいし、操作／センサ部１４０を駆動させて、ユーザに操作を促すようなものであってもよい。

なお、内視鏡がスパイラルチューブ及び駆動モータを備える場合には、スパイラルチューブの操作も操作情報として取得され得る。また、操作ガイドは、駆動モータの制御に対して反映されるものであってもよい。

上述の実施形態では、ユーザがサーバ３００にアクセスして画像Ｄ１２を参照してガイド情報を選択する場合を例として説明したが、これに限らない。例えば、記録用のサムネイル画像群Ｄ１１ｂが参照されてもよい。

上述の実施形態では、ガイドするものの対象物のイメージとしてサムネイル画像が表示される場合を例として説明したが、これに限らない。サムネイル画像は、例えば、文字情報、その他の図や画像等で代用されてもよい。例えば、図２１のような状況では、観察対象物、例えば、特定臓器の特定症例の選択等が対象物のイメージに対応する。

また、上述の本実施形態に係る技術は、操作情報を撮影中の制御に対して適用することもできる。このため、本発明に係る技術は、操作が複雑な場合に限らず、星の撮影のように長時間露光が行われるとき等、露出中のカメラ１００のブレ等が影響し易い撮影条件下でも有効である。

また、各実施形態のように操作関連のタイミング情報を記録して、情報取得時の証拠とする技術は、必ずしも画像情報取得だけでなく、コンシューマであれば音声の収録等にも応用できる。さらに、その他、各種センサが用いられる主に電気的な情報取得及び各種センサで主に電気的に取得された記録情報であっても、情報取得時のゲイン等のパラメータ変更が行われる場合は、本願の想定する範囲にあると言える。例えば、画像を作るには可視光用の撮像素子が必ずしも必要なわけではない。受光する波長を検出できるラインセンサ、エリアセンサ等の受光素子が用いられれば、超音波、Ｘ線等の電磁波も画像に変換可能なことが知られている。

各々の実施形態に係る操作情報の応用として、操作情報をロボットに伝達して人間の操作を真似させるような操作補助の用途がある。ただし、この場合には、必ずしも人間が操作するときと同じような操作部材を使って再現させる必要はない。異なる機材で同様の操作をする場合も考慮した、操作補助データ、ガイド方法等の変換が行われてもよい。なお、操作量として記述した部分は、単純にスイッチ、ダイヤル等が操作されたときの押し込み量、回転量等の値であってもよいが、それらが変換された値であってもよい。例えば、ダイヤルをタッチパネルのスライドバーに変更するような場合は、変更されるパラメータそのものの数値である方がユーザーインターフェースの変換が行いやすい。また、文中に「ガイド」又は「操作補助」と書いた部分は、人間が分かるようなビジュアル表現又は音声表現である必要はない。つまり、操作情報の変換には、操作情報に基づいた制御プログラムの生成が含まれ得る。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

なお、実施形態において、「部」、「セクション」又は「ユニット」として記載した部分は、専用の回路又は複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵ等のプロセッサ、又はＦＰＧＡ等のシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線又は無線の通信回路が介在する。通信は、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ−Ｆｉ通信、電話回線等で行われればよく、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路及び制御部を一体としてＡＳＩＣとして構成してもよい。

１…操作ガイドシステム、１０…操作記録部、２０…操作ガイド部、１００…カメラ、１０１…カメラ、１０２…カメラ、１１０…カメラ制御部、１１１…操作履歴取得部、１１２…操作判定部、１１３…操作情報取得部、１１４…記録制御部、１１５…画像記録制御部、１１６…操作記録制御部、１１７…通信制御部、１１８…表示制御部、１１９…画像処理部、１２０…時計部、１３１…カメラ記録部、１３２…カメラ仮記録部、１４０…操作／センサ部、１５０…撮像部、１５１…撮像素子、１５２…光学系、１５３…アクチュエータ、１５４…センサ、１６０…通信部、１７０…表示部、２００…スマートフォン、２１０…スマートフォン制御部、２１１…記録制御部、２１２…通信制御部、２１３…表示制御部、２２０…時計部、２３０…スマートフォン記録部、２４０…操作部、２６１…機器通信部、２６２…ネットワーク通信部、２７０…表示部、３００…サーバ、３１０…サーバ制御部、３１１…アクセス判定部、３１２…表示制御部、３１３…記録制御部、３１４…通信制御部、３１５…機器換算部、３３０…サーバ記録部、３３１…ガイド情報ＤＢ、３６０…通信部、４００…内視鏡、４０１…ケーブル、４０２…挿入部、５００…インターネット、６００…大腸モデル、６０１…挿入口、６０２…疑似大腸。

Claims (29)

1. 情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、
   前記変更操作の時系列操作データを操作履歴として取得する操作履歴取得部と、
   前記情報取得結果と前記操作履歴とを関連付けて記録する記録部と
   を備える、情報記録装置。
2. 前記操作履歴は、固定タイミング毎に取得される、請求項１に記載の情報記録装置。
3. 前記操作履歴は、前記変更操作の有無を示す時系列データである、請求項１又は２に記載の情報記録装置。
4. 前記操作履歴は、前記変更操作の操作量の時間変化を示す時系列データである、請求項１又は２に記載の情報記録装置。
5. 前記操作履歴は、前記変更操作に伴う前記情報取得パラメータの値の時間変化を示す時系列データである、請求項１又は２に記載の情報記録装置。
6. 前記操作履歴取得部は、前記指示操作部の指示タイミングをさらに取得し、
   少なくとも前記情報取得中の前記操作履歴を操作情報として取得する操作情報取得部をさらに備え、
   前記情報取得結果と関連付けて記録される前記操作履歴は、前記操作情報である、
   請求項１乃至５のうち何れか１項に記載の情報記録装置。
7. 前記操作情報取得部は、前記操作情報として、前記情報取得前の前記操作履歴をさらに取得する、請求項６に記載の情報記録装置。
8. 被写体像を撮像して画像データを生成する撮像部をさらに具備する前記情報取得装置をさらに備え、
   前記指示操作部は、前記撮像部に撮像の開始又は終了を指示し、
   前記情報取得結果は、前記撮像部の出力する前記画像データである、
   請求項１乃至７のうち何れか１項に記載の情報記録装置。
9. 前記操作履歴は、前記変更操作に伴うズームレンズの位置、フォーカスレンズの位置又は絞り値の時系列データである、請求項８に記載の情報記録装置。
10. 前記変更操作に応じて挿入、抜去又は湾曲される挿入部を具備する内視鏡をさらに備え、
    前記撮像部は、前記挿入部の先端部に設けられており、
    前記操作履歴は、前記挿入部の挿入量、前記挿入部の抜去量、前記挿入部の湾曲量又は前記先端部の位置の時系列データである、請求項８に記載の情報記録装置。
11. 前記操作履歴は、固定タイミング毎に前記変更操作の時系列データとともに取得された画像データをさらに含む、請求項８乃至１０のうち何れか１項に記載の情報記録装置。
12. 前記操作履歴に基づいて操作補助データを出力する操作補助部をさらに備える、請求項１乃至１１のうち何れか１項に記載の情報記録装置。
13. 取得した画像を選択する選択部と、前記画像の取得のための対処を判定する対処判定部とを具備する情報取得装置において、
    前記選択された画像が取得されたタイミングで行われた前記対処と、前記対処が行われたタイミングとを示す時系列操作データを操作履歴として取得する操作履歴取得部と、
    前記選択された画像と前記時系列操作データとを関連付けて記録する記録部と
    を備える、画像記録装置。
14. 情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、
    前記変更操作の時系列操作データである操作履歴が関連付けられた前記情報取得結果が記録されている記録部と、
    前記操作履歴に基づいて操作補助データを出力する操作補助部と
    を備える、操作補助装置。
15. 前記操作履歴は、前記変更操作の操作量の時間変化を示す時系列データである、請求項１４に記載の操作補助装置。
16. 前記操作履歴は、少なくとも前記情報取得中に行われた前記変更操作の時系列データである、請求項１４又は１５に記載の操作補助装置。
17. 前記操作補助部は、前記操作補助データとして、操作ガイドのための表示用の画像データ又は音声データを出力する、請求項１４乃至１６のうち何れか１項に記載の操作補助装置。
18. 前記操作補助部は、前記操作補助データとして、前記変更操作に伴う前記情報取得パラメータの時系列データに基づいた前記情報取得装置の制御パラメータを出力し、
    前記情報取得前に前記制御パラメータを前記情報取得装置に設定する制御部をさらに備える、
    請求項１４乃至１６のうち何れか１項に記載の操作補助装置。
19. 前記制御部は、前記操作補助データに基づいて、前記情報取得中に前記制御パラメータを更新する、請求項１８に記載の操作補助装置。
20. 前記操作履歴は、固定タイミング毎に前記変更操作の時系列データとともに取得された画像データであり、前記情報取得中の前記制御パラメータに対応する制御が行われた結果の遷移を示す複数の遷移効果画像である、請求項１８又は１９に記載の操作補助装置。
21. 前記制御部は、ユーザ操作に応じて、前記情報取得中の前記制御パラメータの更新に用いる前記遷移効果画像を決定する、請求項２０に記載の操作補助装置。
22. 請求項１乃至１２のうち何れか１項に記載の情報記録装置と、
    請求項１４乃至２１のうち何れか１項に記載の操作補助装置と、
    前記情報記録装置及び前記操作補助装置と通信可能に構成され、前記操作履歴が関連付けられた前記情報取得結果を、前記情報記録装置から受信して前記情報取得結果の分類毎に蓄積し、前記操作補助装置へ送信するサーバと
    を備える、操作補助システム。
23. 前記操作履歴は、前記情報記録装置に係る装置情報を含み、
    前記サーバは、前記操作履歴を前記操作補助装置に対応した値に前記装置情報に基づいて換算する換算部を備える、
    請求項２２に記載の操作補助システム。
24. 情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、
    前記変更操作の時系列操作データを操作履歴として取得することと、
    前記情報取得結果と前記操作履歴とを関連付けて記録することと
    を含む、情報記録方法。
25. 前記取得することは、
    前記指示操作部の指示タイミングを取得することと、
    少なくとも前記情報取得中に行われた前記変更操作の時系列データを操作情報として取得することとを含み、
    前記記録することは、前記情報取得結果と前記操作情報とを関連付けて記録することである、
    請求項２４に記載の情報記録方法。
26. 取得した画像を選択する選択部と、前記画像の取得のための対処を判定する対処判定部とを具備する情報取得装置において、
    前記選択された画像が取得されたタイミングで行われた前記対処と、前記対処が行われたタイミングとを示す時系列操作データを操作履歴として取得することと、
    前記選択された画像と前記時系列操作データとを関連付けて記録することと
    を含む、画像記録方法。
27. 情報取得の開始又は終了を指示する指示操作部と、前記情報取得のための情報取得パラメータを変更する変更操作が行われる変更操作部とを具備する情報取得装置において、
    前記変更操作の時系列操作データである操作履歴が関連付けられた前記情報取得結果を取得することと、
    前記操作履歴に基づいて操作補助データを出力すること
    を含む、操作補助方法。
28. 前記出力することは、前記操作補助データとして、操作ガイドのための表示用の画像データ又は音声データを出力することを含む、請求項２７に記載の操作補助方法。
29. 前記出力することは、前記操作補助データとして、前記変更操作に伴う前記情報取得パラメータの時系列データに基づいた前記情報取得装置の制御パラメータを出力することを含む、請求項２７に記載の操作補助方法。