JP2023081101A - 情報処理システム、撮像装置、方法、およびプログラム - Google Patents

Abstract

【課題】撮像装置が撮影した未転送の画像を転送する。【解決手段】本発明の一実施形態である情報処理システムは、通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、前記撮像装置は、前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と、を備える。【選択図】図５

Description

本発明は、情報処理システム、撮像装置、方法、およびプログラムに関する。

従来、撮影した画像を外部の装置へ転送することができる撮像装置が知られている。このような撮像装置において、画像の転送ができないことがある。例えば、特許文献１では、ファイルの送信中に電池の出力電圧が所定の電圧以下であることが検出されると、未送信の画像データを保存後に電源を切断し、電源が再投入された際に、保存された未送信の画像データを送信することが記載されている。

しかしながら、撮像装置が画像を転送することができない事由は様々であり、如何なる事由であっても画像を再転送できることが望まれていた。

そこで、本発明では、撮像装置が撮影した未転送の画像を転送することを目的とする。

本発明の一実施形態である情報処理システムは、通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、前記撮像装置は、前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と、を備える。

本発明によれば、撮像装置が撮影した未転送の画像を転送することができる。

本発明の一実施形態に係るサービスの概要を説明するための図である。 本発明の一実施形態に係る全体の構成図である。 本発明の一実施形態に係る情報処理装置（サーバ）のハードウェア構成図である。 本発明の一実施形態に係るデバイス（全天球撮像装置）のハードウェア構成図である。 本発明の一実施形態に係るサーバおよびデバイスの機能ブロック図である。 本発明の一実施形態に係るデバイスとアプリケーションの紐づけ処理のシーケンス図である。 本発明の一実施形態に係る基本動作に関する処理のシーケンス図である。 本発明の一実施形態に係る画像の転送・未転送の状態の管理処理のシーケンス図である。 本発明の一実施形態に係る再転送のトリガーの発生時の再転送処理のシーケンス図である。 本発明の一実施形態に係る撮影優先モードに関する処理のシーケンス図である。 本発明の一実施形態に係る画面の一例である。

以下、図面に基づいて本開示の実施の形態を説明する。

図１は、本発明の一実施形態に係るサービスの概要を説明するための図である。ユーザ（顧客の利用者、図１のＡ１）は、デバイス２０を用いて、サーバ１１～１５（以下、サーバ１０ともいう）が提供するクラウドサービスを利用する。また、デバイスパートナー（図１のＢ）は、ユーザが所属するテナント（クラウドサービスを利用するデバイスのグループ）にワークフロー（ＷＦ）アプリケーションを登録する。また、ワークフロー（ＷＦ）アプリケーションの開発者（図１のＣ（クラウドサービスパートナー））は、ＷＦアプリ開発ツールで、ＱＲコード（登録商標）連携設定の許可と入力可能なデータ種別（静止画または動画など）を設定したワークフロー（ＷＦ）アプリケーションを開発する。Ａ２は、顧客の管理者であり、Ｄは、デバイスの販売会社である。なお、以下ではデバイス２０に対してネットワークを経由して提供されるサービスとしてサーバ１０が提供するクラウドサービスを例にして説明する。ただし、デバイス２０が利用するサービスはこれに限定されず、ネットワークを経由して提供される機能を利用するサービスであればよい。例えば、デバイス２０と同じネットワーク内にサーバ１０を設置することで、サーバ１０は、デバイス２０に対してオンプレミスサービスを提供してもよい。

＜システム構成＞
図２は、本発明の一実施形態に係る全体の構成図である。システム（情報処理システムともいう）１は、サーバ１０と、デバイス２０と、を含む。サーバ１０とデバイス２０は、通信ネットワークＮを介して通信可能に接続されている。以下、それぞれについて説明する。

＜＜サーバ＞＞
サーバ（情報処理装置の一例である）１０は、クラウドサービスで提供されるアプリケーションとデバイス２０とを紐づける処理を行う。

実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、サーバ１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

＜＜デバイス＞＞
デバイス２０は、通信機能を備えた撮像装置である。デバイス２０は、クラウドサービスを利用するユーザが用いるデバイスである。例えば、デバイス２０は、撮影機能を有し、かつ、表示機能を有さないデバイス（例えば、全天球撮像装置）である。

なお、デバイス２０は、通信機能を備えた装置であれば、全天球撮像装置に限られない。デバイス２０は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

＜ハードウェア構成＞
図３は、本発明の一実施形態に係る情報処理装置（サーバの場合）１０のハードウェア構成図である。

図３に示されているように、サーバ１０は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、ＨＤ１００４、ＨＤＤ(Hard Disk Drive)コントローラ１００５、ディスプレイ１００６、外部機器接続Ｉ／Ｆ(Interface)１００７、ネットワークＩ／Ｆ１００８、データバス１００９、キーボード１０１０、ポインティングデバイス１０１１、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ１０１３、メディアＩ／Ｆ１０１５を備えている。

これらのうち、ＣＰＵ１００１は、サーバ１０全体の動作を制御する。ＲＯＭ１００２は、ＩＰＬ等のＣＰＵ１００１の駆動に用いられるプログラムを記憶する。ＲＡＭ１００３は、ＣＰＵ１００１のワークエリアとして使用される。ＨＤ１００４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ１００５は、ＣＰＵ１００１の制御にしたがってＨＤ１００４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ１００６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ１００７は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ１００８は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。バスライン１００９は、図３に示されているＣＰＵ１００１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード１０１０は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス１０１１は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ１０１３は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ１０１２に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ１０１５は、フラッシュメモリ等の記録メディア１０１４に対するデータの読み出し又は書き込み（記憶）を制御する。

図４は、本発明の一実施形態に係るデバイス（全天球撮像装置の場合）２０のハードウェア構成図である。

以下では、全天球撮影装置２０は、２つの撮像素子を使用した全天球（全方位）全天球撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置２０と同じ機能を有するようにしてもよい。

図４に示されているように、全天球撮影装置２０は、撮像ユニット２００１、画像処理ユニット２００４、撮像制御ユニット２００５、マイク２００６、音処理ユニット２００７、ＣＰＵ(Central Processing Unit)２００９、ＲＯＭ(Read Only Memory)２０１０、ＳＲＡＭ(Static Random Access Memory)２０１１、ＤＲＡＭ(Dynamic Random Access Memory)２０１２、操作部２０１３、外部機器接続Ｉ／Ｆ２０１４、通信部２０１５、アンテナ２０１５ａ、電子コンパス、ジャイロセンサ、加速度センサ、及びMicro USB用の凹状の端子によって構成されている。

このうち、撮像ユニット２００１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）２００２ａ，２００２ｂと、各広角レンズに対応させて設けられている２つの撮像素子２００３ａ，２００３ｂを備えている。撮像素子２００３ａ，２００３ｂは、魚眼レンズ２００２ａ，２００２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット２００１の撮像素子２００３ａ，２００３ｂは、各々、画像処理ユニット２００４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット２００１の撮像素子２００３ａ，２００３ｂは、撮像制御ユニット２００５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット２００４、撮像制御ユニット２００５及び音処理ユニット２００７は、バス２００８を介してＣＰＵ２００９と接続される。さらに、バス２００８には、ＲＯＭ２０１０、ＳＲＡＭ２０１１、ＤＲＡＭ２０１２、操作部２０１３、外部機器接続Ｉ／Ｆ(Interface)２０１４、通信部２０１５、及び加速度・方位センサ２０１６なども接続される。

画像処理ユニット２００４は、撮像素子２００３ａ，２００３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

撮像制御ユニット２００５は、一般に撮像制御ユニット２００５をマスタデバイス、撮像素子２００３ａ，２００３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子２００３ａ，２００３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ２００９から受け取る。また、撮像制御ユニット２００５は、同じくＩ２Ｃバスを利用して、撮像素子２００３ａ，２００３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ２００９に送る。

また、撮像制御ユニット２００５は、操作部２０１３のシャッターボタンが押下されたタイミングで、撮像素子２００３ａ，２００３ｂに画像データの出力を指示する。全天球撮影装置２０によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子２００３ａ，２００３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット２００５は、後述するように、ＣＰＵ２００９と協働して撮像素子２００３ａ，２００３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置２０にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク２００６は、音を音（信号）データに変換する。音処理ユニット２００７は、マイク２００６から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ２００９は、全天球撮影装置２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ２０１０は、ＣＰＵ２００９のための種々のプログラムを記憶している。ＳＲＡＭ２０１１及びＤＲＡＭ２０１２はワークメモリであり、ＣＰＵ２００９で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ２０１２は、画像処理ユニット２００４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部２０１３は、シャッターボタンなどの操作ボタンの総称である。ユーザは操作部２０１３を操作することで、種々の撮影モードや撮影条件などを入力する。

外部機器接続Ｉ／Ｆ２０１４は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ２０１２に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ２０１４を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ２０１４を介してスマートフォン等の外部端末（装置）に送信されたりする。

通信部２０１５は、全天球撮影装置２０に設けられたアンテナ２０１５ａを介して、Wi-Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信部２０１５によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

加速度・方位センサ２０１６は、地球の磁気から全天球撮影装置２０の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ２０１６は、全天球撮影装置２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ２０１６は、３軸方向の加速度を検出するセンサである。全天球撮影装置２０は、加速度・方位センサ２０１６が検出した加速度に基づいて、自装置（全天球撮影装置２０）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置２０に、加速度・方位センサ２０１６が設けられることによって、画像補正の精度が向上する。

＜機能ブロック＞
図５は、本発明の一実施形態に係るサーバ１０およびデバイス２０の機能ブロック図である。

＜＜サーバ＞＞
サーバ１０は、アプリ設定部１０１と、デバイス登録部１０２と、連携部１０３と、記憶部１０４と、ＷＦアプリケーション１０５と、を備える。また、サーバ１０は、プログラムを実行することで、アプリ設定部１０１、デバイス登録部１０２、連携部１０３、ＷＦアプリケーション１０５として機能する。

アプリ設定部１０１は、ＷＦアプリケーション１０５の設定を行う。例えば、アプリ設定部１０１は、オンラインストレージサービスにログインするためのアカウント設定等を行う。

デバイス登録部１０２は、デバイス２０を他のデバイスやクラウドサービスに接続するサービスを提供する。

連携部１０３は、ＷＦアプリケーション１０５とデバイス２０との紐づけを管理し、デバイス２０からのＷＦ（ワークフロー）ジョブの実行の要求を受けて、ＷＦアプリケーション１０５にジョブの実行を要求する。

記憶部１０４は、一時的に画像が記憶されるストレージである。

ＷＦ（ワークフロー）アプリケーション１０５は、機能を組み合わせてワークフローを実現するアプリケーションである。どのような入力をどのように処理してどのように出力するかという定義が定められている。

＜＜デバイス＞＞
デバイス２０は、撮影部２０１と、画像記憶部２０２と、画像転送制御部２０３と、画像状態管理部２０４と、通信部２０５と、設定値記憶部２０６と、を備える。また、デバイス２０は、プログラムを実行することで、撮影部２０１、画像転送制御部２０３、画像状態管理部２０４、通信部２０５として機能する。

撮影部２０１は、デバイス２０のシャッターボタンが押下されると撮影を行う。

画像記憶部２０２は、撮影部２０１が撮影した画像を保存するための記憶部である。なお、サーバ１０に転送された画像は削除される。

画像転送制御部２０３は、画像の転送を制御する。具体的には、画像転送制御部２０３は、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像をサーバ１０へ再転送するよう制御する。

画像状態管理部２０４は、画像記憶部２０２に記憶されている画像（つまり、撮像装置２０が撮影した画像）が未転送であることを示す情報を管理する。

通信部２０５は、画像転送制御部２０３からの要求に応じて、画像を転送したり、画像の転送の終了を通知したりする。

設定値記憶部２０６は、プラグインの動作の設定値（具体的には、撮影優先モードのＯＮとＯＦＦを切り替える閾値）を記憶する記憶部である。

＜処理方法＞
図６は、本発明の一実施形態に係るデバイスとアプリケーションの紐づけ処理のシーケンス図である。＜ＷＦアプリ登録フェーズ＞と＜ＷＦアプリ実行フェーズ＞に分けて説明する。

＜ＷＦアプリ登録フェーズ＞
クラウドサービスで提供されるワークフロー（ＷＦ）アプリケーション１０５をデバイス２０に紐づけて登録する処理について説明する。なお、ワークフロー（ＷＦ）アプリケーション１０５は、サーバ１０にある予め決められた処理を行うアプリケーションである。

なお、ＷＦアプリケーション１０５の開発者（図１のＣ（クラウドサービスパートナー））は、ＷＦアプリ開発ツールで、ＱＲコード連携設定の許可と入力可能なデータ種別（静止画または動画など）を設定したＷＦアプリケーション１０５を開発しているものとする。また、デバイスパートナー（図１のＢ）は、ユーザが所属するテナント（クラウドサービスを利用するデバイスのグループ）にＷＦアプリケーション１０５を登録する。

ステップ１１（Ｓ１１）において、サーバ（アプリ設定部）１０は、クラウドサービスで提供されるアプリケーションに関する情報およびデバイスの登録に用いられる情報が含まれるコード（例えば、ＱＲコード）を生成して配信する。

具体的には、ユーザは、ＰＣ（パーソナルコンピュータ）で、アプリケーションの設定を行うサイト（図１のＩｏＴサイト）にログインし、デバイス２０（図１のデバイスのプラグイン）と連携させるＷＦアプリケーション１０５を選択し、ＱＲコードを発行させる。

ステップ１２（Ｓ１２）において、デバイス２０のシャッターボタンが押下されたとする。

ステップ１３（Ｓ１３）において、デバイス２０は、Ｓ１１でサーバ（アプリ設定部）１０が配信してＰＣ上に表示されたＱＲコードを読み取る。

ステップ１４（Ｓ１４）において、デバイス２０は、ＱＲコードに含まれている、デバイスを識別するための情報を取得するためのサイトの接続先と、サイトにアクセスするためのトークン（アクセストークン）と、アプリケーションに関する情報（例えば、アプリケーションＩＤ（ここでは"アプリ１"とする）および入力種別（ここでは"静止画"とする））と、を取得する。

ステップ１５（Ｓ１５）において、デバイス２０は、サーバ（デバイス登録部）１０に対して、デバイス２０を登録するよう要求する。具体的には、デバイス２０は、Ｓ１４でコードを読み取ることにより取得したデバイスの登録に用いられる情報をサーバ１０に通知する（詳細には、接続先にアクセストークンを用いてデバイス２０のシリアル番号を送る）。

ステップ１６（Ｓ１６）において、サーバ（デバイス登録部）１０は、デバイスを識別するための情報（デバイスＩＤ（ここでは"デバイスＡ"とする））および証明書を、デバイス２０に通知する。

ステップ１７（Ｓ１７）において、デバイス２０は、サーバ（連携部）１０に対して、アプリケーションにデバイス２０を紐づけて登録するよう要求する。具体的には、デバイス２０は、アプリケーションＩＤ（つまり、"アプリ１"）および入力種別（つまり、"静止画"）およびデバイスＩＤ（つまり、"デバイスＡ"）を、Ｓ１６の証明書と共にサーバ（連携部）１０に通知する。その後、サーバ（連携部）１０は、アプリケーションＩＤと入力種別とデバイスＩＤとを紐づけて登録する。

＜ＷＦアプリ実行フェーズ＞
ワークフロー（ＷＦ）アプリケーションを実行する処理について説明する。

ステップ２１（Ｓ２１）において、デバイス２０のシャッターボタンが押下されたとする。

ステップ２２（Ｓ２２）において、デバイス２０は、ＵＲＬ（Uniform Resource Locator）を取得する。具体的には、デバイス２０は、サーバ（デバイス登録部）１０からＵＲＬを取得する。

ステップ２３（Ｓ２３）において、デバイス２０は、Ｓ２２のＵＲＬにＳ２１で撮影された画像をアップロードする。

ステップ２４（Ｓ２４）において、デバイス２０は、サーバ（デバイス登録部）１０に撮影を通知する。具体的には、デバイス２０は、デバイスＩＤ（つまり、"デバイスＡ"）およびＵＲＬを、サーバ（デバイス登録部）１０に通知する。

ステップ２５（Ｓ２５）において、サーバ（デバイス登録部）１０は、Ｓ２４で取得したデバイスＩＤおよびＵＲＬをサーバ（連携部）１０へ送る。

ステップ２６（Ｓ２６）において、サーバ（連携部）１０は、Ｓ２５で取得したＵＲＬにアップロードされている画像をダウンロードする。

ステップ２７（Ｓ２７）において、サーバ（連携部）１０は、ワークフロー（ＷＦ）アプリケーションにジョブを実行させる。具体的には、サーバ（連携部）１０は、デバイスＩＤに紐づけられているアプリケーション（つまり、"アプリ１"）に入力種別（つまり、"静止画"）を通知する。

ステップ２８（Ｓ２８）において、ＷＦアプリケーション１０５は、オンラインストレージサービスに画像をアップロードする。なお、オンラインストレージサービスへ画像のアップロードおよび保存は、ネットワークを経由して提供されるサービスの一例である。

図７は、本発明の一実施形態に係る基本動作に関する処理のシーケンス図である。

ステップ１０１（Ｓ１０１）において、デバイス２０のシャッターボタンが押下されると、デバイス２０の撮影部２０１は、撮影を行う。

ステップ１０２（Ｓ１０２）において、デバイス２０の撮影部２０１は、Ｓ１０１で撮影が行われた画像をデバイス２０の画像記憶部２０２に保存する。

ステップ１０３（Ｓ１０３）において、デバイス２０の撮影部２０１は、撮影が行われたことをデバイス２０の画像転送制御部２０３に通知する。具体的には、撮影部２０１は、画像ＩＤを画像転送制御部２０３に通知する。

ステップ１０４（Ｓ１０４）において、デバイス２０の画像転送制御部２０３は、Ｓ１０３の通知に応じて、画像の転送をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ファイル名を通信部２０５に通知する。

ステップ１０５（Ｓ１０５）において、デバイス２０の通信部２０５は、画像のアップロード先のＵＲＬの取得をサーバ１０のデバイス登録部１０２に要求する。

ステップ１０６（Ｓ１０６）において、デバイス２０の通信部２０５は、Ｓ１０５にて要求したＵＲＬを取得する。

ここで、画像のアップロード先のＵＲＬについて説明する。デバイス２０の通信部２０５は、画像のファイル名を指定してＵＲＬを取得する。つまり、アップロードする画像のファイルごとにＵＲＬが取得される。画像のアップロード先のＵＲＬは、テンポラリー領域であり、一定期間が経過すると無効なＵＲＬとなり、画像がアップロードされていた場合には削除される。

ステップ１０７（Ｓ１０７）において、デバイス２０の通信部２０５は、サーバ１０の記憶部１０４（Ｓ１０６のＵＲＬ）に画像をアップロードする。

ステップ１０８（Ｓ１０８）において、Ｓ１０７のアップロードが完了すると、デバイス２０の画像転送制御部２０３は、ＷＦ（ワークフロー）ジョブの実行をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ＵＲＬを通信部２０５に通知する。

ステップ１０９（Ｓ１０９）において、デバイス２０の通信部２０５は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０のデバイス登録部１０２に要求する。具体的には、通信部２０５は、ＵＲＬおよびデバイスＩＤをデバイス登録部１０２に通知する。

ステップ１１０（Ｓ１１０）において、サーバ１０のデバイス登録部１０２は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０の連携部１０３に要求する。具体的には、デバイス登録部１０２は、ＵＲＬおよびデバイスＩＤを連携部１０３に通知する。

ステップ１１１（Ｓ１１１）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の要求のパラメータであるＵＲＬから画像をダウンロードする。

ステップ１１２（Ｓ１１２）において、サーバ１０の連携部１０３は、ＷＦアプリケーション１０５にジョブの実行を要求する。具体的には、連携部１０３は、アプリＩＤおよび画像をＷＦアプリケーション１０５に通知する。

サーバ１０の連携部１０３は、図６の＜ＷＦアプリ登録フェーズ＞で実施されたアプリ紐づけ登録により、どのデバイス２０とどのＷＦ（ワークフロー）アプリケーションとが紐づいているかを管理しており、ＷＦ（ワークフロー）ジョブの実行を要求してきたデバイス２０に紐づけられたＷＦ（ワークフロー）アプリケーションを実行させる。

ステップ１１３（Ｓ１１３）において、ＷＦアプリケーション１０５は、デバイス２０からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス２０からの画像をオンラインストレージサービスにアップロードする。

ステップ１１４（Ｓ１１４）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の受付が成功したか否かを示すＷＦジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブＩＤがパラメータとして通知される。

ステップ１１５（Ｓ１１５）において、サーバ１０のデバイス登録部１０２は、ＷＦジョブ受付応答をデバイス２０の通信部２０５に通知する。

ステップ１１６（Ｓ１１６）において、デバイス２０の通信部２０５は、ＷＦジョブ受付応答をデバイス２０の画像転送制御部２０３に通知する。

ステップ１１７（Ｓ１１７）において、デバイス２０の画像転送制御部２０３は、ＷＦジョブ受付応答に応じて、ＷＦアプリケーション１０５に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部２０３は、ジョブＩＤをＷＦアプリケーション１０５に通知する。

ステップ１１８（Ｓ１１８）において、デバイス２０の画像転送制御部２０３は、ジョブの状態を取得する。ジョブが完了するまで、Ｓ１１７～Ｓ１１８が繰り返される。

図８は、本発明の一実施形態に係る画像の転送・未転送の状態の管理処理のシーケンス図である。

ステップ２０１（Ｓ２０１）において、デバイス２０のシャッターボタンが押下されると、デバイス２０の撮影部２０１は、撮影を行う。

ステップ２０２（Ｓ２０２）において、デバイス２０の撮影部２０１は、Ｓ２０１で撮影が行われた画像をデバイス２０の画像記憶部２０２に保存する。

ステップ２０３（Ｓ２０３）において、デバイス２０の撮影部２０１は、撮影が行われたことをデバイス２０の画像転送制御部２０３に通知する。具体的には、撮影部２０１は、画像ＩＤを画像転送制御部２０３に通知する。

ステップ２０４（Ｓ２０４）において、デバイス２０の画像転送制御部２０３は、画像の転送・未転送の状態の管理をデバイス２０の画像状態管理部２０４に要求する。具体的には、画像転送制御部２０３は、画像ＩＤを画像状態管理部２０４に通知する。

ステップ２０５（Ｓ２０５）において、デバイス２０の画像状態管理部２０４は、未転送の画像の一覧にＳ２０４の画像ＩＤを追加する。

ステップ２０６（Ｓ２０６）において、デバイス２０の画像転送制御部２０３は、Ｓ２０３の通知に応じて、画像の転送をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ファイル名を通信部２０５に通知する。

ステップ２０７（Ｓ２０７）において、デバイス２０の通信部２０５は、画像のアップロード先のＵＲＬの取得をサーバ１０のデバイス登録部１０２に要求する。

ステップ２０８（Ｓ２０８）において、デバイス２０の通信部２０５は、Ｓ２０７にて要求したＵＲＬを取得する。

ここで、画像のアップロード先のＵＲＬについて説明する。デバイス２０の通信部２０５は、画像のファイル名を指定してＵＲＬを取得する。つまり、アップロードする画像のファイルごとにＵＲＬが取得される。画像のアップロード先のＵＲＬは、テンポラリー領域であり、一定期間が経過すると無効なＵＲＬとなり、画像がアップロードされていた場合には削除される。

ステップ２０９（Ｓ２０９）において、デバイス２０の通信部２０５は、サーバ１０の記憶部１０４（Ｓ２０８のＵＲＬ）に画像をアップロードする。

ステップ２１０（Ｓ２１０）において、Ｓ２０９のアップロードが完了すると、デバイス２０の画像転送制御部２０３は、ＷＦ（ワークフロー）ジョブの実行をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ＵＲＬを通信部２０５に通知する。

ステップ２１１（Ｓ２１１）において、デバイス２０の通信部２０５は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０のデバイス登録部１０２に要求する。具体的には、通信部２０５は、ＵＲＬおよびデバイスＩＤをデバイス登録部１０２に通知する。

ステップ２１２（Ｓ２１２）において、サーバ１０のデバイス登録部１０２は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０の連携部１０３に要求する。具体的には、デバイス登録部１０２は、ＵＲＬおよびデバイスＩＤを連携部１０３に通知する。

ステップ２１３（Ｓ２１３）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の要求のパラメータであるＵＲＬから画像をダウンロードする。

ステップ２１４（Ｓ２１４）において、サーバ１０の連携部１０３は、ＷＦアプリケーション１０５にジョブの実行を要求する。具体的には、連携部１０３は、アプリＩＤおよび画像をＷＦアプリケーション１０５に通知する。

サーバ１０の連携部１０３は、図６の＜ＷＦアプリ登録フェーズ＞で実施されたアプリ紐づけ登録により、どのデバイス２０とどのＷＦ（ワークフロー）アプリケーションとが紐づいているかを管理しており、ＷＦ（ワークフロー）ジョブの実行を要求してきたデバイス２０に紐づけられたＷＦ（ワークフロー）アプリケーションを実行させる。

ステップ２１５（Ｓ２１５）において、ＷＦアプリケーション１０５は、デバイス２０からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス２０からの画像をオンラインストレージサービスにアップロードする。

ステップ２１６（Ｓ２１６）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の受付が成功したか否かを示すＷＦジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブＩＤがパラメータとして通知される。

ステップ２１７（Ｓ２１７）において、サーバ１０のデバイス登録部１０２は、ＷＦジョブ受付応答をデバイス２０の通信部２０５に通知する。

ステップ２１８（Ｓ２１８）において、デバイス２０の通信部２０５は、ＷＦジョブ受付応答をデバイス２０の画像転送制御部２０３に通知する。

ステップ２１９（Ｓ２１９）において、デバイス２０の画像転送制御部２０３は、ＷＦジョブ受付応答に応じて、ＷＦアプリケーション１０５に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部２０３は、ジョブＩＤをＷＦアプリケーション１０５に通知する。

ステップ２２０（Ｓ２２０）において、デバイス２０の画像転送制御部２０３は、ジョブの状態を取得する。ジョブが完了するまで、Ｓ２１９～Ｓ２２０が繰り返される。

ステップ２２１（Ｓ２２１）において、デバイス２０の画像転送制御部２０３は、ＷＦ（ワークフロー）ジョブの実行が正常に終了すると、ジョブの対象となる画像を、未転送の画像の一覧から削除するよう画像状態管理部２０４に要求する。

ステップ２２２（Ｓ２２２）において、デバイス２０の画像状態管理部２０４は、Ｓ２２１の要求に応じて、画像を未転送の画像の一覧から削除する。なお、ネットワークのエラー、障害、クラウドサービス側でのエラー、障害等によりＷＦ（ワークフロー）ジョブの実行が正常に終了しなかった場合には、未転送の画像の一覧からの削除が行われず、未転送という状態が保持される。

図９は、本発明の一実施形態に係る再転送のトリガーの発生時の再転送処理のシーケンス図である。

ステップ３０１（Ｓ３０１）において、再転送のトリガーが発生したとする。

ここで、再転送のトリガーについて説明する。例えば、再転送のトリガーは、次回撮影時（つまり、未転送の画像が生じた後に撮影される時）、次回プラグイン起動時（つまり、未転送の画像が生じた後にプラグインが起動される時）、ネットワーク接続検知時（つまり、未転送の画像が生じた後にネットワークとデバイス２０との接続が検知された時）、撮像装置２０の操作時（つまり、未転送の画像が生じた後に撮像装置２０が操作された時）、撮像装置２０の画像記憶部２０２の残量が閾値を下回った時（つまり、未転送の画像が生じた後に画像記憶部２０２の残量が閾値を下回った時）、サーバ１０からの転送要求を受信した時（つまり、未転送の画像が生じた後にサーバ１０からの転送要求を受信した時）である。

ステップ３０２（Ｓ３０２）において、デバイス２０の画像転送制御部２０３は、未転送の画像の一覧の取得を画像状態管理部２０４に要求する。

ステップ３０３（Ｓ３０３）において、デバイス２０の画像転送制御部２０３は、未転送の画像の一覧を取得する。

以下、ステップ３０４～ステップ３２０が、未転送の画像分だけ繰り返され、未転送の画像が順次転送される。

ステップ３０４（Ｓ３０４）において、デバイス２０の画像転送制御部２０３は、画像の転送をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ファイル名をデバイス２０通信部２０５に通知する。

ステップ３０５（Ｓ３０５）において、デバイス２０の通信部２０５は、画像のアップロード先のＵＲＬの取得をサーバ１０のデバイス登録部１０２に要求する。

ステップ３０６（Ｓ３０６）において、デバイス２０の通信部２０５は、Ｓ３０５にて要求したＵＲＬを取得する。

ここで、画像のファイルのアップロード先のＵＲＬについて説明する。デバイス２０の通信部２０５は、画像のファイル名を指定してＵＲＬを取得する。つまり、アップロードする画像のファイルごとにＵＲＬが取得される。画像のアップロード先のＵＲＬは、テンポラリー領域であり、一定期間が経過すると無効なＵＲＬとなり、画像がアップロードされていた場合には削除される。

ステップ３０７（Ｓ３０７）において、デバイス２０の通信部２０５は、サーバ１０の記憶部１０４（Ｓ３０６のＵＲＬ）に画像をアップロードする。

ステップ３０８（Ｓ３０８）において、Ｓ１０７のアップロードが完了すると、デバイス２０の画像転送制御部２０３は、ＷＦ（ワークフロー）ジョブの実行をデバイス２０の通信部２０５に要求する。具体的には、画像転送制御部２０３は、ＵＲＬを通信部２０５に通知する。

ステップ３０９（Ｓ３０９）において、デバイス２０の通信部２０５は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０のデバイス登録部１０２に要求する。具体的には、通信部２０５は、ＵＲＬおよびデバイスＩＤをデバイス２０のデバイス登録部１０２に通知する。

ステップ３１０（Ｓ３１０）において、サーバ１０のデバイス登録部１０２は、ＷＦ（ワークフロー）ジョブの実行をサーバ１０の連携部１０３に要求する。具体的には、デバイス登録部１０２は、ＵＲＬおよびデバイスＩＤを連携部１０３に通知する。

ステップ３１１（Ｓ３１１）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の要求のパラメータであるＵＲＬから画像をダウンロードする。

ステップ３１２（Ｓ３１２）において、サーバ１０の連携部１０３は、ＷＦアプリケーション１０５にジョブの実行を要求する。具体的には、連携部１０３は、アプリＩＤおよび画像をＷＦアプリケーション１０５に通知する。

サーバ１０の連携部１０３は、図６の＜ＷＦアプリ登録フェーズ＞で実施されたアプリ紐づけ登録により、どのデバイス２０とどのＷＦ（ワークフロー）アプリケーションとが紐づいているかを管理しており、ＷＦ（ワークフロー）ジョブの実行を要求してきたデバイス２０に紐づけられたＷＦ（ワークフロー）アプリケーションを実行させる。

ステップ３１３（Ｓ３１３）において、ＷＦアプリケーション１０５は、デバイス２０からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス２０からの画像をオンラインストレージサービスにアップロードする。

ステップ３１４（Ｓ３１４）において、サーバ１０の連携部１０３は、ＷＦ（ワークフロー）ジョブの実行の受付が成功したか否かを示すＷＦジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブＩＤがパラメータとして通知される。

ステップ３１５（Ｓ３１５）において、サーバ１０のデバイス登録部１０２は、ＷＦジョブ受付応答をデバイス２０の通信部２０５に通知する。

ステップ３１６（Ｓ３１６）において、デバイス２０の通信部２０５は、ＷＦジョブ受付応答をデバイス２０の画像転送制御部２０３に通知する。

ステップ３１７（Ｓ３１７）において、デバイス２０の画像転送制御部２０３は、ＷＦジョブ受付応答に応じて、ＷＦアプリケーション１０５に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部２０３は、ジョブＩＤをＷＦアプリケーション１０５に通知する。

ステップ３１８（Ｓ３１８）において、デバイス２０の画像転送制御部２０３は、ジョブの状態を取得する。ジョブが完了するまで、Ｓ３１７～Ｓ３１８が繰り返される。

ステップ３１９（Ｓ３１９）において、デバイス２０の画像転送制御部２０３は、ＷＦ（ワークフロー）ジョブの実行が正常に終了すると、ジョブの対象となる画像を、未転送の画像の一覧から削除するよう画像状態管理部２０４に要求する。

ステップ３１８（Ｓ３１８）において、デバイス２０の画像転送制御部２０３は、Ｓ３１９の要求に応じて、画像を未転送の画像の一覧から削除する。

図１０は、本発明の一実施形態に係る撮影優先モード（画像の撮影後の転送を行わないモード）に関する処理のシーケンス図である。

ステップ４０１（Ｓ４０１）において、デバイス２０のシャッターボタンが押下されると、デバイス２０の撮影部２０１は、撮影を行う。

ステップ４０２（Ｓ４０２）において、デバイス２０の撮影部２０１は、Ｓ４０１で撮影が行われた画像をデバイス２０の画像記憶部２０２に保存する。

ステップ４０３（Ｓ４０３）において、デバイス２０の撮影部２０１は、撮影が行われたことをデバイス２０の画像転送制御部２０３に通知する。具体的には、撮影部２０１は、画像ＩＤを画像転送制御部２０３に通知する。

ステップ４０４（Ｓ４０４）において、デバイス２０の画像転送制御部２０３は、画像の転送・未転送の状態の管理をデバイス２０の画像状態管理部２０４に要求する。具体的には、画像転送制御部２０３は、画像ＩＤを画像状態管理部２０４に通知する。

ステップ４０５（Ｓ４０５）において、デバイス２０の画像状態管理部２０４は、未転送の画像の一覧にＳ４０４の画像ＩＤを追加する。

ステップ４０６（Ｓ４０６）において、デバイス２０の画像転送制御部２０３は、デバイス２０の電池残量を参照する。

ステップ４０７（Ｓ４０７）において、デバイス２０の画像転送制御部２０３は、撮影優先モードの閾値の設定値（なお、デバイス２０は、電池残量が閾値を下回った場合には撮影優先モードで動作し、充電により電池残量が閾値を上回った場合には未転送の画像を転送する）の取得を設定値記憶部２０６に要求する。

ステップ４０８（Ｓ４０８）において、デバイス２０の画像転送制御部２０３は、撮影優先モードの閾値の設定値を取得する。

ステップ４０９（Ｓ４０９）において、デバイス２０の画像転送制御部２０３は、Ｓ４０６で参照した電池残量と、Ｓ４０８で取得した撮影優先モードの閾値の設定値と、を比較する。

ステップ４１０（Ｓ４１０）において、Ｓ４０９の比較により撮影優先モードではない場合には、デバイス２０の画像転送制御部２０３は、画像の転送をデバイス２０の通信部２０５に要求する（以降は、図８で説明したように動作する）。一方、Ｓ４０９の比較により撮影優先モードである場合には、画像の転送が行われず、未転送という状態が保持される。

＜画面例＞
図１１は、本発明の一実施形態に係る画面の一例である。図１１は、画像を撮影して、ワークフローを実行するプラグインの設定画面である。デバイス２０と無線（LAN、Bluetooth等）等で接続されたスマートフォン、タブレット等のアプリケーションから設定が行われる。アプリケーションで設定された値（閾値の設定値）は、デバイス２０内に設けられた設定値記憶部２０６に保存される。

ユーザは、図１１に示される画面で、撮影優先モードの閾値（つまり、撮影優先モードへ移行する条件）を設定することができる。デバイス２０は、電池残量が閾値を下回った場合には撮影優先モードで動作し、充電により電池残量が閾値を上回った場合には未転送の画像を転送する。

＜効果＞
このように、本発明の一実施形態では、撮像装置は、何らかの事由により転送できなかった画像を、ユーザが所望するタイミングで（例えば、複数の再転送のトリガーのうちのいずれかのトリガーの発生に応じて（つまり、画像の転送ができなかった原因が解消すると））再転送することができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１ システム
１０ サーバ
２０ デバイス
１０１ アプリ設定部
１０２ デバイス登録部
１０３ 連携部
１０４ 記憶部
１０５ ＷＦアプリ
２０１ 撮影部
２０２ 画像記憶部
２０３ 画像転送制御部
２０４ 画像状態管理部
２０５ 通信部
２０６ 設定値記憶部

特開２００５－０２０４５２号公報

Claims (7)

1. 通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、
   前記撮像装置は、
   前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、
   再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と
   を備えた、情報処理システム。
2. 前記再転送のトリガーは、次回撮影時、次回プラグイン起動時、ネットワーク接続検知時、前記撮像装置の操作時、前記撮像装置の画像記憶部の残量が閾値を下回った時、前記サーバからの転送要求を受信した時である、請求項１の情報処理システム。
3. 前記撮像装置は、前記撮像装置の電池残量が閾値を下回った場合に、画像の撮影後の転送を行わない撮影優先モードで動作する、請求項１または２に記載の情報処理システム。
4. 前記撮影優先モードへ移行する条件がユーザによって設定される、請求項３に記載の情報処理システム。
5. 撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、
   再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御する画像転送制御部と
   を備えた撮像装置。
6. 撮像装置が実行する方法であって、
   前記撮像装置が撮影した画像が未転送であることを示す情報を管理するステップと、
   再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御するステップと
   を含む方法。
7. 撮像装置を
   前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部、
   再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御する画像転送制御部
   として機能させるためのプログラム。

Images